Cycle de vie de la donnée sur le cluster Olympe
Article mis en ligne le 1er décembre 2020
dernière modification le 2 avril 2021

Commandes pour gérer la rotation de ses données entre les différents espaces

Copier des données d’un espace à un autre

Archiver, compresser et copier en une seule fois le dossier "/tmpdir/$USER/dossier_resultat" sur l’espace GPFS :



Dans le cas de jeux de données, afin d’optimiser les temps de transferts, on pourra omettre la compression :

tar -c --totals -C /tmpdir/${USER} -f /gpfs/work/${GROUPE}/${USER}/archive_jeu_de_donnees.tar jeu_de_donnees/


Remettre en production des données archivées "archive.tgz" dans le dossier "/tmpdir/$USER/dossier_resultat" :



Dans le cas d’un jeu de données non compressé, la commande est la suivante :

tar -x --totals -C /tmpdir/${USER}/jeu_donnees_restaure -f /gpfs/work/${GROUPE}/${USER}/jeu_donnees.tar


Espace partagé


Vous pouvez demander des espaces partagés pour faciliter le partage de fichier au sein d’un même projet ou entre différents projets. Pour cela, vous devez faire une demande au support "support.calmip(at)univ-toulouse.fr" en indiquant précisément qui doit avoir accès en lecture et/ou écriture et à quoi .

Les dossiers partagés ont des droits par défaut et tous les fichiers et dossiers créés obtiennent automatiquement les droits nécessaires.

Par contre, si vous copiez des données d’un endroit hors du partage avec la commande cp, il vous faudra positionner manuellement les droits pour que d’autres utilisateurs puissent accéder à ces données :

  • Pour autoriser les accès en lecture sur un fichier ou un dossier à un membre d’un ou plusieurs groupe vous devez "ouvrir" ces droits à l’aide de cette commande :
    chmod g+r /users/pxxxx/partage/Mon_Partage/Mon_Fichier
  • Ou récursivement pour l’arborescence complète d’un dossier :
    chmod -R g+rX /users/pxxxx/partage/Mon_Partage/Mon_Dossier
  • Ou récursivement pour l’arborescence complète d’un dossier également en écriture :
    chmod -R g+rwX /users/pxxxx/partage/Mon_Partage/Mon_Dossier

Récupérer ses données

Récupérer les données d’Atlas sur une machine locale :


  • Le / à la fin de la source est très important !
  • En cas d’interruption de la connexion, rejouer la commande reprendra le transfert là ou il s’est arrêté !