Cycle de vie de la donnée sur KAIROS
Les espaces de stockages
Espace | Capacité par défaut | Spécificité | Utilisation |
Home ($HOME) /users/${GROUP}/${USER} |
| Sauvegardés tous les jours pendant 7 jours puis toutes les semaines pendant 4 semaines (⚠️ Non disponible pour le moment) |
|
Work ($WORK) /users/${GROUP}/${USER} |
| Historisation tous les jours pendant 7 jours (⚠️ Non disponible pour le moment) |
|
Scratch ($SCRATCH) /scratch/${USER} |
| Suppression automatiques des données inutilisées (non lues, non modifiées) de plus de 60 jours |
|
Store ($STORE) /store/${GROUP}/${USER} | ⚠️ A venir ! | ||
S3 s3://repository/${GROUP} | ⚠️ A venir ! |
(*) Le quota peut être augmenté avec une demande dûment justifiée à support.calmip(at)univ-toulouse.fr
Les spécificités des espaces de stockage
Home
Cet espace est votre espace de stockage utilisateur il est unique pour chaque utilisateur dans chaque projet. Vous pouvez y stocker vos environnements conda, vos bibliothèques, vos logiciels et vos configuration. Sa taille est volontairement limitée car cet espace est sauvegardé.
Il est accessible par les chemins suivants :
cd /users/${GROUP}/${USER}
ou
cd ${HOME}
Restauration de fichier (⚠️ Non disponible pour le moment)
Pour demander la restauration d'un de vos fichiers, il faut en faire la demande au support (support.calmip(at)univ-toulouse.fr).
Dans ce cas, merci de préciser :
- Le nom de votre projet
- Le nom de votre login dans ce projet
- Le chemin complet du fichier ou dossier à restaurer
- La date à laquelle vous souhaitez récupérer les données
⚠️ La sauvegarde a lieu chaque nuit. Il est donc impossible de restaurer des données modifiées dans la journée.
Work
Cet espace est votre espace de stockage pour le calcul. Il est unique pour chaque utilisateur dans chaque projet. Vous pouvez y stocker vos données d'entrée pour vos calculs, vos résultats intermédiaires de calcul. Sa taille est volontairement limitée car la capacité de cet espace est distribuée entre tous les projets de calcul. Cet espace est également historisé. Il vous permet de récupérer un fichier effacé par erreur lors des 7 derniers jours.
Il est accessible par les chemins suivants :
cd /work/${GROUP}/${USER}
ou
cd ${WORK}
Récupération de fichier (⚠️ Non disponible pour le moment)
⚠️ A venir !
⚠️ L'historisation a lieu chaque nuit. Il est donc impossible de récupérer des données modifiées dans la journée.
Scratch
Cet espace est l'espace de stockage ultra rapide en lecture et en écriture pour vos jobs de calcul. Il est unique pour chaque utilisateur. Vous pouvez y stocker vos données fichiers temporaires de calcul, vos résultats intermédiaires de calcul. Il est limité à 10 millions de fichiers par utilisateur.
⚠️ Les fichiers non lus ou non modifiés de plus de 60 jours sont automatiquement supprimés
Il est accessible par les chemins suivants :
cd /scratch/${USER}
ou
cd ${SCRATCH}
Store
⚠️ A venir !
Partage S3
⚠️ A venir !
Les jeux de données
Imagenet
⚠️ A venir !
Imagenet 21K
⚠️ A venir !
Kinetic 400
⚠️ A venir !
Wikipedia-EN
⚠️ A venir !