Calcul Intensif - HPC

Olympe-lanuit

 

La principale ressource de calcul est le supercalculateur Olympe mis en production au dernier trimestre 2018.

Caractéristiques techniques d'OLYMPE

Le supercalculateur OLYMPE : Cluster de calcul SEQUANA (ATOS-BULL) d’une puissance de 1,365 Pflop/s Peak

  • soit 374 nœuds de calcul (36 cœurs/nœud) soit un total de 13 464 cœurs, 48 cartes GP-CPU et 76 To de mémoire.

Tous les noeuds sont équipés de processeurs Intel® Skylake 6140 à 2.3 Ghz 18 coeurs avec :

  • 360 noeuds bi-processeur avec 192 Go de mémoire
  • 12 noeuds équipés de 4 GP-GPU Nvidia Volta (V100 - 7,8 Tflops DP) et 384 Go de mémoire
  • 2 noeuds large mémoire avec 1.5 To de mémoire.

Ce cluster intègre également :

  • un réseau d’interconnexion rapide Infiniband EDR 100 Gb/s.
  • un espace de stockage temporaire de 1.5 Po (Lustre) avec un débit de 40 Go/s.
  • un espace de stockage permanent de 60 To (NFS).

Présentation détaillée d'Olympe : ici

Gestion des ressources de calcul CALMIP

  • Une évaluation scientifique est effectuée par les experts du Comité d’Attribution. Ces experts formulent ensuite des recommandations qui permettent d’effectuer des allocations d’heures sur le supercalculateur CALMIP. Les heures attribuées sont gratuites pour les porteurs qui sont dans un laboratoire de la COMUE Université de Toulouse (universités, écoles et EPST). Pour les porteurs en dehors de la COMUE Université de Toulouse, se référer à la mise à jour des tarifications CALMIP.
  • Deux sessions d’examen de dossiers ont lieu dans l’année :
    • une première session principale "A" a lieu à l’automne, pour distribuer des heures de calcul sur la totalité de l’année suivante (1er Jan. —> 31 Déc.).
    • une seconde session complémentaire "B" a lieu au printemps, pour distribuer des heures de calcul non consommées jusqu’à la fin l’année en cours (1er Juill. —> 31 Déc.).
  • En dehors des deux appels à projet annuels, des demandes provisoires de 5 000h maximum peuvent être soumises à travers notre Interface GRAMC de gestion des attributions.

Le Comité d'Attribution des ressources

Le Comité d'Attribution est composé des experts thématiques suivants :

Conditions et Règles d'Utilisation et d'Attribution des ressources de calcul

Description des conditions d'utilisation et des règles d'attribution des ressources de calcul

Le responsable du projet doit communiquer à ses collaborateurs les présentes C.G.U., en particulier les parties C. et D.

A - Condition d’Attribution

L’attribution des heures de calcul sur le supercalculateur de CALMIP est conditionnée pour tout projet par :

- la validation de la demande de ressources par le Comité d’Attribution de CALMIP (voir l’interface Web de soumission GRAMC).

- le(a) responsable scientifique du projet doit être un membre permanent de son laboratoire situé en Région Occitanie.

- l’envoi, que ce soit pour un nouveau projet ou un renouvellement, d’un résumé de la demande de ressources signée par le directeur du laboratoire (envoi via l’application GRAMC).

- Les heures attribuées sont gratuites pour les porteurs qui sont dans un laboratoire de la COMUE Université de Toulouse (universités, écoles et CNRS (DR14)). Pour les porteurs en dehors de la COMUE Université de Toulouse, se référer à la mise à jour des tarifications CALMIP.

B - Règles concernant l’attribution des ressources

Règle 
1 
 : 
calendrier 
des 
sessions 
d’attribution

 Deux 
sessions 
d’examen 
de 
dossiers
 ont 
lieu
 dans 
l’année
 :



  1. Session
 principale
 A
  :
 elle
 a
 lieu
 au
 mois
 de
 novembre
 pour
 distribuer
 des
 heures
 de
 calcul
 sur
 la
 totalité
 de
 l’année
 suivante
 : 1er
 Janvier
 => 31
 Décembre.

  2. Session
 complémentaire
 B 
 : 
elle
 a 
lieu 
au 
mois 
de 
juin 
pour 
l’attribution
 des
 heures
 de
 calcul
 non
 encore
 affectées
 et
 utilisables
 jusqu’à
 la
 fin
 de
 l’année
 en
 cours
 (1er
 Juillet
 =>
 31
 Décembre).


Règle
 2 
 : 
rapport 
d’activité


  • Lors
 de
 la
 session
 principale
 A,
 tout
 renouvellement
 de
 projet
 doit
 être
 nécessairement
 accompagné 
d’un 
rapport 
d’activité 
au 
format 
PDF.
  • Les projets ne demandant pas de renouvellement doivent, à travers l’interface web téléverser leur rapport d’activité correspondant au projet CALMIP en cours.
  • Il n’est pas demandé de rapport en session complémentaire B.

Règle
 3 
 : 
Demande de Renouvellement lors de la session B


  • Un renouvellement en session B ne peut demander plus que son attribution en session A.
  • Pour les projets ayant obtenus une attribution supérieure à 600 000 h_cpu en session A, la demande de renouvellement pour ces projets ne peut excéder 50% de l’attribution obtenue en session A.
  • Pour les projets ayant obtenus une attribution inférieure à 600 000 h_cpu en session A, l’attribution totale session A + session B ne pourra dépasser 900 000 h_cpu.

Règle 4 
 : pénalité
 en 
cas 
de
 sous‐consommation
 d’un 
projet 
≥
300
 000h


  • Lors
 de
 la
 session
 complémentaire
 B,
 une
 pénalité
 est
 appliquée
 aux
 projets
 de
 plus
 de
 300
 000h
 qui
 auront
 consommé
 avant
 la
 session
 B
 moins
 de 
30%
 de 
leur 
allocation 
annuelle.


  • le montant de cette pénalité sera calculé sur la base du complément à 50% de consommation. Ce montant diminuera d’autant le quota du projet.
    • Exemple 1 : quota : 1 000 000 conso : 18% 50-18= 32 ; 32% de 1 000 000 =320 000 Nouveau Quota : 680 000 ( =1000000 - 320 000)
    • Exemple 2 : quota 600 000 conso : 29% 50-29 = 21 ; 21% de 600 000 = 126 000 Nouveau Quota : 474 000 ( = 600 000 - 126 000)
  • Les
 porteurs
 de
 projets
 qui
 auront
 indiqué
 leur
 intention
 de
 n’utiliser
 la
 majorité
 de
 leur
 allocation
 qu’à
 partir
 de
 la
 seconde
 moitié
 de
 l’année
 pourront 
se 
voir 
exonérés 
de 
cette 
disposition
 avec 
l’accord 
du 
Comité 
de
 Programmes.
 La
 demande,
 qui
 doit
 rester
 exceptionnelle,
 est
 à
 effectuer
 lors
 du
 montage
 du
 dossier
 scientifique
 à
 travers
 un
 calendrier
 prévisionnel 
motivé 
de 
la 
consommation
 des 
heures 
de 
calcul 
demandées.

  • Les
 modalités
 d’application
 de
 cette
 pénalité
 de
 sous‐consommation
 seront 
revues
 tous 
les 
ans.


C - Gestion des mots de passe et des connexions

Lorsque Calmip crée un compte sur la plateforme de calcul, il transmet le mot de passe correspondant au nouvel utilisateur. Celui-ci doit impérativement :

  • Changer ce mot de passe le plus rapidement possible
  • Choisir un mot de passe robuste
  • Le conserver dans un endroit sûr et ne pas le partager

Par ailleurs, toute connexion au supercalculateur est conservée dans les journaux systèmes.

D - Charte de sécurité

Toute personne ayant un compte sur le supercalculateur doit impérativement lire et respecter la Charte de la Sécurité des systèmes d’Information de l’Institut National Polytechnique de Toulouse

Charte de sécurité des systèmes d’information de l’INP de Toulouse

E - Listes de diffusion

Lorsque vous avez ou avez eu un compte sur CALMIP, vous êtes inscrit(e) sur nos listes de diffusion : les informations recueillies vous concernant vont faire l’objet d’un traitement par CALMIP et la Déléguée à la Protection des Données – dpd [dot] demandes [at] cnrs [dot] fr. Les données à caractère personnel sont collectées et traitées pour nous permettre de vous envoyer des informations générales concernant le service. Seuls les administrateurs des listes sont destinataires de ces données.

Voir aussi

Valorisation et partage de données

Cette rubrique vous indiquera quels sont les moyens que CALMIP met à votre disposition concernant la valorisation de vos données (partage, réutilisation, croisement...) et la gestion de vos Plans de Gestion de Données (PGDs, DMPs).

Stockage Recherche

ATLAS - la solution de stockage de données pour les projets de recherche Fin 2015, afin de répondre à la convergence des besoins en calcul intensif et en traitement massif de données, CALMIP a mis en oeuvre une infrastructure de stoc