Dans cette page :
Les espaces de stockage
NFS ($HOME)
Votre home directory contient les programmes que vous avez compilés vous-même, ainsi que différents fichiers de configuration.
Conseils d’utilisation :
Votre quota s’affiche automatiquement à chaque connexion sur le supercalculateur : Lisez les messages !
Lorsque vous êtes connecté, vous pouvez encore afficher vos quotas:
quota
Lustre (/tmpdir)
Lors de campagnes de calcul volumineuses en termes de quantité de données générées, il est important d’être attentif à l’espace que vous occupez sur le tmpdir et de mettre en place une procédure de suppression des fichiers inutiles à la fin de vos traitements.
Conseils d’utilisation :
Afficher son quota:
lfs quota -h -u ${USER} /tmpdir
Afficher le quota de son groupe:
lfs quota -h -g ${GROUP} /tmpdir
Afficher les quotas de ses collaborateurs (Ce fichier est mis à jour 1 fois par jour à 14H15)
cat /users/${GROUPE}/espace.tmpdir
Lister les fichiers qui n’ont pas été utilisés depuis plus de 100 jours:
find /tmpdir/${USER} -user ${USER} -type f -atime +100 -ctime +100 -print0
Lister la taille de chaque fichier qui n’a pas été utilisé depuis plus de 100 jours avec le total au début:
/usr/local/bin/list_my_old_files
Supprimer les fichiers qui n’ont pas été utilisés depuis plus de 100 jours:
find /tmpdir/${USER} -user ${USER} -type f -atime +100 -mtime +100 -ctime +100 -print0 -exec rm -f '{}' \;
Supprimer les données inutiles:
cd repertoireASupprimer
find . -type f -exec rm -f '{}' \; # Pour supprimer les fichiers
find . -type l -exec rm -f '{}' \; # Pour supprimer les liens symbolique
find . -type d -empty -delete # Pour supprimer les repertoires
Multiplier le nombre de fichiers présents sur cet espace rend ensuite leurs suppressions délicates. Cela engendre, au moment de la suppression, un stress sur le système de fichier qui peut pénaliser les autres utilisateurs.
STORE (/store)
Avant tout dépôt sur l’espace STORE, il est conseillé de faire le tri entre les données à conserver et les données temporaires ou intermédiaires
Conseils d’utilisation :
Afficher son quota lorsqu’on est connecté (Ce fichier est mis à jour 2 fois par jour à 7H00 et 13H00):
cat /users/${GROUPE}/espace.store
Faire une archive afin de limiter le nombre de fichiers:
tar cvzf /store/${GROUPE}/${USER}/res_calcul.tgz repertoire/resultats/calcul
Supprimer les données inutiles:
cd repertoireASupprimer
find . -type f -exec rm -f '{}' \; # Pour supprimer les fichiers
find . -type l -exec rm -f '{}' \; # Pour supprimer les liens symbolique
find . -type d -empty -delete # Pour supprimer les repertoires
Multiplier le nombre de fichiers présents sur cet espace rend ensuite leur suppression délicate. Cela engendre, au moment de la suppression, un stress sur le système de fichier qui peut pénaliser les autres utilisateurs.