Mise en Production AltixUV : queue PBS spécifique
Article mis en ligne le 3 janvier 2011
dernière modification le 21 mars 2012
logo imprimer

Pour la mise en production des deux noeuds AltixUV (Noeuds ccNUMA à Mémoire Partagée) deux queues PBS spécifiques ont été créées :

  • uvprod
  • uvcalmip

La queue uvprod sera plutôt orientée vers la production, la queue uvcalmip sera plutôt orientée vers le développement.

- La queue uvprod :

    • réservation PBS par exemple pour 32 cores et 240 gb de ram :
#PBS -l select=1:ncpus=32:mem=240gb -l jobtype=uvprod
    • Remarque : Les processeurs de uvprod sont 8-cores. Le ratio moyen mémoire physique par processeur est : 64 Go/ processeur ( soit 8 Go/core)

- La queue uvcalmip :

    • réservation PBS par exemple pour 24 cores et 240 gb de ram :
#PBS -l select=1:ncpus=24:mem=240gb -l jobtype=uvcalmip
    • Remarque : Les processeurs de uvcalmip sont 6-cores. Le ratio moyen mémoire physique par processeur est : 64 Go/ processeur ( soit 10 Go/core).

- Vos jobs sur les noeuds AltixUV :

  • l’Hyperthreading (HT) est désactivé
  • PBS crée un cpuset sur le noeud uvcalmip ou uvprod. C’est-à-dire qu’il réserve les cpus demandés, de manière exclusive pour la requête.
    • Conséquence sur l’utilisation de la commande dplace/omplace :
      • PBS renumérote les cpus au sein du cpuset, de 0 à (ncpus-1).
      • Attention : Lorsque vous utilisez les outils de placement dplace/omplace votre script PBS doit comporter la ligne suivante :
(shell : bash)
export KMP_AFFINITY=disabled
(shell : tcsh)
setenv KMP_AFFINITY disabled
      • Utilisation de Gaussian : il faut utiliser les outils de placement comme suit
dplace -x5 g09
  • Jobs MPI sur noeuds AltixUV :
    • La comande pour lancer vos jobs MPI est :
mpirun -np ...

Les processus MPI tournent sur un seul noeud. On ne peut faire tourner un job MPI "à cheval" sur la partie ICE(Cluster) et la partie UV.

  • Noeuds Altix UV et version MPT (MPI SGI) :
    • Il est conseillé d’utiliser la version 2.04 de MPT :
module load mpt/2.0.4
    • Version MPT 1.26 (et versions inférieures), variable d’environnement à positionner :
(shell : bash)
export MPI_MEMMAP_OFF=1
export MPI_MEMMAP=1
(shell : tcsh)
setenv MPI_MEMMAP_OFF 1
setenv MPI_MEMMAP 1


Site réalisé sous SPIP
avec le squelette ESCAL-V3
Version : 3.86.44
Hébergeur : INP Toulouse