Les espaces de stockage et jeux de données

Cet espace est votre espace de stockage utilisateur il est unique pour chaque utilisateur dans chaque projet. Vous pouvez y stocker vos environnements conda, vos bibliothèques, vos logiciels et vos configuration. Sa taille est volontairement limitée car cet espace est sauvegardé.

Il est accessible par les chemins suivants :

cd /users/${GROUP}/${USER}

ou

cd ${HOME}

Restauration de fichier

Pour demander la restauration d'un de vos fichiers, il faut en faire la demande au support (support.calmip(at)univ-toulouse.fr). 

Dans ce cas, merci de préciser :

• Le nom de votre projet
• Le nom de votre login dans ce projet
• Le chemin complet du fichier ou dossier à restaurer
• La date à laquelle vous souhaitez récupérer les données 

_{⚠️ La sauvegarde a lieu chaque nuit. Il est donc impossible de restaurer des données modifiées dans la journée.}

Cet espace est votre espace de stockage pour le calcul. Il est unique pour chaque utilisateur dans chaque projet. Vous pouvez y stocker vos données d'entrée pour vos calculs, vos résultats intermédiaires de calcul. Sa taille est volontairement limitée car la capacité de cet espace est distribuée entre tous les projets de calcul. Cet espace est également historisé. Il vous permet de récupérer un fichier effacé par erreur lors des 7 derniers jours.

Il est accessible par les chemins suivants :

cd /work/${GROUP}/${USER}

ou

cd ${WORK}

Récupération de fichiers

Une historisation quotidienne permet de retrouver une version précédente d'un fichier ou d'un dossier sur l'espace WORK. Les dossiers se trouvent dans /work/.snapshots

L'emplacement de vos fichiers est de la forme : 

 /work/ [dot] snapshots/ [at] GMT-YYYY [dot] MM [dot] DD-HH [dot] MM [dot] SS/${GROUP}/${USER}

YYYY : année | MM : mois | DD : jour | HH.MM.SS : heure, minute, seconde (peut varier selon les jours)

Pour voir toutes les versions disponibles d'un fichier 'toto' vous pouvez par exemple utiliser la commande 'ls' : 

ls -al /work/.snapshots/@GMT-*/${GROUP}/${USER}/toto

et ainsi comparer les dates de modification du fichier pour identifier la version que vous souhaitez retrouver. 

Vous ne pouvez pas modifier ces fichiers mais vous pouvez vous déplacer dans cette arborescence et copier les fichiers et dossiers historisés vers votre espace de stockage WORK. 

_{Attention :  L'historisation a lieu chaque nuit. Il est donc impossible de récupérer des données modifiées dans la journée.}

Cet espace est l'espace de stockage ultra rapide en lecture et en écriture pour vos jobs de calcul. Il est unique pour chaque utilisateur. Vous pouvez y stocker vos données fichiers temporaires de calcul, vos résultats intermédiaires de calcul. Il est limité à 10 millions de fichiers par utilisateur. 

⚠️ Les fichiers non lus ou non modifiés de plus de 60 jours sont automatiquement supprimés

Il est accessible par les chemins suivants :

cd /scratch/${USER}

ou

cd ${SCRATCH}

Cet espace est votre espace de stockage sécurisé pour les données long terme. Il est unique pour chaque utilisateur dans chaque projet. Vous pouvez y stocker des données d'entrée et de sortie de vos campagnes de calculs. Les données stockées sur cet espaces peuvent également être utilisées pour la visualisation ou le post-traitement. 

Sa taille est limitée car la capacité de cet espace est distribuée entre tous les projets de calcul.

⚠️ Cet espace n'est accessible que depuis les noeuds suivants :

• Les frontales de connexion (kairoslogin[1-3]
• Les noeuds  large mémoire de pré/post traitement (kairosmem[0-1])
• Les noeuds de visualisation (kairosvisu[0-1])

Il est accessible par les chemins suivants :

cd /store/${GROUP}/${USER}

ou

cd ${STORE}

💡 Il est recommandé de faire des archives des données conservées pour limiter le nombre de fichiers sur cet espace

⚠️ A venir !

⚠️ A venir !

⚠️ A venir !

⚠️ A venir !

⚠️ A venir !