Le cycle de vie de la donnée sur Olympe

Gérer la rotation de ses données entre les différents espaces

Copier des données d’un espace à un autre

Archiver, compresser et copier en une seule fois le dossier /tmpdir/$USER/dossier_resultat sur l’espace GPFS :

tar -c --totals -z -C /tmpdir/${USER} -f /gpfs/work/${GROUPE}/${USER}/archive.tgz dossier_resultat/

Dans le cas de jeux de données, afin d’optimiser les temps de transferts, on pourra omettre la compression :

tar -c --totals -C /tmpdir/${USER} -f /gpfs/work/${GROUPE}/${USER}/archive_jeu_de_donnees.tar jeu_de_donnees/

Remettre en production des données archivées "archive.tgz" dans le dossier "/tmpdir/$USER/dossier_resultat" :

tar -x --totals -z -C /tmpdir/${USER}/dossier_resultat -f /gpfs/work/${GROUPE}/${USER}/archive.tgz

Dans le cas d’un jeu de données non compressé, la commande est la suivante :

tar -x --totals -C /tmpdir/${USER}/jeu_donnees_restaure -f /gpfs/work/${GROUPE}/${USER}/jeu_donnees.tar

Espace partagé

Vous pouvez demander des espaces partagés pour faciliter le partage de fichier au sein d’un même projet ou entre différents projets. Pour cela, vous devez faire une demande au support: support.calmip at univ-toulouse.fr en indiquant précisément qui doit avoir accès en lecture et/ou écriture et à quoi .

Les dossiers partagés ont des droits par défaut et tous les fichiers et dossiers créés obtiennent automatiquement les droits nécessaires.

Par contre, si vous copiez des données d’un endroit hors du partage avec la commande cp, il vous faudra positionner manuellement les droits pour que d’autres utilisateurs puissent accéder à ces données :

Pour autoriser les accès en lecture sur un fichier ou un dossier à un membre d’un ou plusieurs groupe vous devez "ouvrir" ces droits à l’aide de cette commande :

chmod g+r /users/pxxxx/partage/Mon_Partage/Mon_Fichier

... Ou récursivement pour l’arborescence complète d’un dossier :

chmod -R g+rX /users/pxxxx/partage/Mon_Partage/Mon_Dossier

... Ou récursivement pour l’arborescence complète d’un dossier également en écriture :

chmod -R g+rwX /users/pxxxx/partage/Mon_Partage/Mon_Dossier

Récupérer ses données

Récupérer les données d’Atlas sur une machine locale :

rsync -av user@olympe:/gpfs/work/${GROUPE}/${USER}/data/ dossier_local

ATTENTION:

  • Le / à la fin du répertoire source est très important
  • En cas d’interruption de la connexion, rejouer la commande reprendra le transfert là ou il s’est arrêté

Le cycle de vie de la donnée en images:

 

Le cycle de vie de la données sur Olympe
Le cycle de vie de la donnée

 

Voir aussi

Editer un fichier

Comment éditer un fichier en utilisant les éditeurs d’Olympe ou en un éditeur installé sur votre poste de travail

Comment gérer ses espaces de stockage