Cycle de vie de la donnée sur le cluster Olympe
Article mis en ligne le 1er décembre 2020
dernière modification le 27 novembre 2020

Commandes pour gérer la rotation de ses données entre les différents espaces

Copier des données d’un espace à un autre

Archiver, compresser et copier en une seule fois le dossier "/tmpdir/$USER/dossier_resultat" sur l’espace GPFS :



Dans le cas de jeux de données, afin d’optimiser les temps de transferts, on pourra omettre la compression :

tar -c --totals -C /tmpdir/${USER} -f /gpfs/work/${GROUPE}/${USER}/archive_jeu_de_donnees.tar jeu_de_donnees/


Remettre en production des données archivées "archive.tgz" dans le dossier "/tmpdir/$USER/dossier_resultat" :



Dans le cas d’un jeu de données non compressé, la commande est la suivante :

tar -x --totals -C /tmpdir/${USER}/jeu_donnees_restaure -f /gpfs/work/${GROUPE}/${USER}/jeu_donnees.tar


Copier des données vers un espace partagé

Copier les données sur un espace partagé et donner les droits en lecture et écriture à tous les collaborateurs de son projet :

Copier les données sur un espace partagé et donner les droits en lecture et écriture à tous les collaborateurs de tous les projets autorisés à consulter l’espace partagé :


Vous avez besoin d’un espace partagé sur l’espace tmpdir ou sur l’espace GPFS, envoyez votre demande à : support.calmip (at) univ-toulouse.fr

Récupérer ses données

Récupérer les données d’Atlas sur une machine locale :


  • Le / à la fin de la source est très important !
  • En cas d’interruption de la connexion, rejouer la commande reprend le transfert là ou il s’est arrêté !