Mise en Production AltixUV : queue PBS spécifique
Article mis en ligne le 3 janvier 2011
dernière modification le 21 mars 2012
Pour la mise en production des deux noeuds AltixUV (Noeuds ccNUMA à Mémoire Partagée) deux queues PBS spécifiques ont été créées :
- uvprod
- uvcalmip
La queue uvprod sera plutôt orientée vers la production, la queue uvcalmip sera plutôt orientée vers le développement.
La queue uvprod :
-
- réservation PBS par exemple pour 32 cores et 240 gb de ram :
| #PBS -l select=1:ncpus=32:mem=240gb -l jobtype=uvprod |
-
- Remarque : Les processeurs de uvprod sont 8-cores. Le ratio moyen mémoire physique par processeur est : 64 Go/ processeur ( soit 8 Go/core)
La queue uvcalmip :
-
- réservation PBS par exemple pour 24 cores et 240 gb de ram :
| #PBS -l select=1:ncpus=24:mem=240gb -l jobtype=uvcalmip |
-
- Remarque : Les processeurs de uvcalmip sont 6-cores. Le ratio moyen mémoire physique par processeur est : 64 Go/ processeur ( soit 10 Go/core).
Vos jobs sur les noeuds AltixUV :
- l’Hyperthreading (HT) est désactivé
- PBS crée un cpuset sur le noeud uvcalmip ou uvprod. C’est-à -dire qu’il réserve les cpus demandés, de manière exclusive pour la requête.
- Conséquence sur l’utilisation de la commande dplace/omplace :
- PBS renumérote les cpus au sein du cpuset, de 0 à (ncpus-1).
- Attention : Lorsque vous utilisez les outils de placement dplace/omplace votre script PBS doit comporter la ligne suivante :
- Conséquence sur l’utilisation de la commande dplace/omplace :
| (shell : bash) |
| export KMP_AFFINITY=disabled |
| (shell : tcsh) |
| setenv KMP_AFFINITY disabled |
-
-
- Utilisation de Gaussian : il faut utiliser les outils de placement comme suit
-
| dplace -x5 g09 |
- Jobs MPI sur noeuds AltixUV :
- La comande pour lancer vos jobs MPI est :
| mpirun -np ... |
Les processus MPI tournent sur un seul noeud. On ne peut faire tourner un job MPI "à cheval" sur la partie ICE(Cluster) et la partie UV.
- Noeuds Altix UV et version MPT (MPI SGI) :
- Il est conseillé d’utiliser la version 2.04 de MPT :
| module load mpt/2.0.4 |
-
- Version MPT 1.26 (et versions inférieures), variable d’environnement à positionner :
| (shell : bash) |
| export MPI_MEMMAP_OFF=1 |
| export MPI_MEMMAP=1 |
| (shell : tcsh) |
| setenv MPI_MEMMAP_OFF 1 |
| setenv MPI_MEMMAP 1 |