Prof /
\ Prof

Rocks-cluster

Installation et configuration d'un cluster linux

Le document ci-dessous concerne un cluster Rocks

Documentation rocks 5.4.3

http://www.rocksclusters.org/roll-documentation/base/5.4.3

Notes

  1. Il faut d'abord télécharger les disques d'installation http://www.rocksclusters.org/wordpress/?page_id=80
  • Il faut télécharger minimalement:
    1. Kernel/Boot Roll
    2. Core Roll
    3. OS Roll - disk1
    4. OS Roll - disk2
  • Puis obtionnellement:
    1. OS Roll - disk3
    2. OS Roll - disk4
    3. OS Roll - disk5
    4. OS Roll - disk6 [not required]
  • Nous avons utilisé la version 5.1
  1. Installer Rocks sur le frontend et les compute nodes en suivant cette procédure: http://www.rocksclusters.org/roll-documentation/base/5.1/getting-started.html
  2. Exporter les répertoires sur NFS pour tous les noeuds http://www.rocksclusters.org/roll-documentation/base/5.1/faq-configuration.html#EXPORT
  3. synchroniser les comptes usagers sur les noeuds (à refaire après avoir ajouté un usager)
rocks sync users
[$[Get Code]]

Faire su nom_usager

entrer la passphrase et le compte sera transfere sur /home/nom_usager Pour les compute, il est possible qu'il soit necessaire de se logger au moins une fois sur un noeud via ssh? A vérifier!

Utilisation du cluster

  1. Manuel du Sun Grid Engine http://docs.sun.com/app/docs/doc/817-6117?q=N1GE
  2. Pour utiliser bash http://wiki.gridengine.info/wiki/index.php/Simple-Job-Array-Howto
  3. Commande utilisée par JD
qsub zenithvsrdiff_remote.csh -l walltime=100:00:00
[$[Get Code]]

Exemple de code de lancement

#!/bin/csh

# request 15 hours and 30 minutes of cpu time
#PBS -l cput=15:30:00
# mail is sent to you when the job starts and when it terminates or aborts
#PBS -m bea
# specify your email address
#PBS -M aubema@gmail.com
# By default, PBS scripts execute in your home directory, not the
# directory from which they were submitted. The following line
# places you in the directory from which the job was submitted.
# cd $PBS_O_WORKDIR
cd /home/aubema/Luminance_vs_tau

set i=0
foreach n  (0.01 0.02 0.04 0.08 0.12 0.16 0.20 0.25 0.30 0.40 0.50 0.75 1.00 1.50 2.00 2.50 3.00 4.00 6.00 8.00)
  @ i= $i + 1
  sed -e "s/0\.0000/${n}/g" illumina.in_initial > illumina.in
  /home/aubema/illumina/trunk/bin/illumina
  cp test1.out test1_$n.out
end
 
[$[Get Code]]

Installer des programmes

  • Pour rechercher un package par mot clé:
yum list available \*g77
[$[Get Code]]
  • Pour l'installer une fois que son nom est connu:
yum install compat-gcc-34-g77.i386
[$[Get Code]]

Mammouth

graphycs-ms.ccs.usherbrooke.ca

Remplacer un noeud (fonctionne sur galileo)

rocks remove host compute-0-20
rocks sync config
insert-ethers --hostname compute-0-20
[$[Get Code]]

Enlever un noeud

Cette procédure fonctionne très bien pour retirer des noeuds et ensuite recommencer leur détection/installation avec insert-ethers

rocks remove host compute-0-20
rocks sync config
[$[Get Code]]

Ensuite choisir compute et F10

Installer un noeud en particulier

insert-ethers --hostname compute-0-18

État de noeuds

rocks report host
[$[Get Code]]

Création de comptes sur galileo

Sous root faire

/usr/sbin/useradd nom_usager
rocks sync users
 
[$[Get Code]]

Ensuite il faut se logger sur le compte pour que le home devienne /home/nom_usager

Adaptation du cluster

http://blogs.sun.com/melvinkoh/entry/rocks_cluster_customization_part_1

Configurations de galileo

  • Système: Rocks 5.1
  • Rolls (jumbo dvd)
    • Area51 etc
    • Kernel
    • OS disk 1
    • OS disk 2
  • Réseau
    • eth1
      • IP=192.219.65.62
      • netmask=255.255.255.224
      • Passerelle=192.219.65.33
      • DNS=192.219.64.2
      • broadcast=192.219.65.63

Executer une commande sur tous les noeuds compute

rocks run host compute "shutdown -r now"

Edit | History | Recent Changes (all) | Search
Page last modified on September 25, 2012, at 12:31 pm UTC
Powered by PmWiki