Gestion des espaces de stockage

Article mis en ligne le 17 avril 2019

dernière modification le 20 octobre 2020

Gestion des espaces de stockage

NFS ($HOME)

Votre home directory contient les programmes que vous avez compilé vous-mêmes, ainsi que différents fichiers de configuration

Conseils d’utilisation :

Votre quota s’affiche automatiquement à chaque connexion sur le supercalculateur : Lisez les messages !

Afficher son quota lorsqu’on est connecté :
quota

Lors de campagnes de calcul volumineuses en terme de quantité de données générées, il est important d’être attentif à l’espace que vous occupez sur le tmpdir et de mettre en place une procédure de suppression des fichiers inutiles à la fin de vos traitements.

Conseil d’utilisation :

Afficher son quota
lfs quota -h -u ${USER} /tmpdir

Afficher le quota de son groupe
lfs quota -h -g ${GROUP} /tmpdir

Lister les fichiers qui n’ont pas été utilisés depuis plus de 100 jours
find /tmpdir/${USER} -user ${USER} -type f -atime +100 -mtime +100 -ctime +100 -print0

Lister la taille de chaque fichier qui n’a pas été utilisé depuis plus de 100 jours avec le total au début
/usr/local/bin/list_my_old_files

Supprimer les fichiers qui n’ont pas été utilisés depuis plus de 100 jours
find /tmpdir/${USER} -user ${USER} -type f -atime +100 -mtime +100 -ctime +100 -print0 -exec rm -f '{}' \;

Supprimer les données inutiles
cd repertoireASupprimer find . -type f -exec rm -f '{}' \; # Pour supprimer les fichiers find . -type l -exec rm -f '{}' \; # Pour supprimer les liens symbolique find . -type d -empty -delete # Pour supprimer les repertoires

Multiplier le nombre de fichiers présents sur cet espace rend ensuite leurs suppressions délicates. Cela engendre, au moment de la suppression, un stress sur le système de fichier qui peut pénaliser les autres utilisateurs.

GPFS (/gpfs/work)

Avant tout dépot sur l’espace GPFS, il est conseillé de faire le trie entre les données à conserver et les données temporaires ou intermédiaires

Conseil d’utillisation :

Afficher son quota lorsqu’on est connecté (Ce fichier est mis à jour 2 fois par jour à 7H00 et 13H00)
cat /users/${GROUPE}/espace.work

Faire une archive afin de limiter le nombre de fichiers
tar cvzf /gpfs/work/${GROUPE}/${USER}/res_calcul.tgz repertoire/resultats/calcul

Supprimer les données inutiles
cd repertoireASupprimer find . -type f -exec rm -f '{}' \; # Pour supprimer les fichiers find . -type l -exec rm -f '{}' \; # Pour supprimer les liens symbolique find . -type d -empty -delete # Pour supprimer les repertoires