Comment gérer ses espaces de stockage

Les espaces de stockage


NFS ($HOME)

Votre home directory contient les programmes que vous avez compilés vous-même, ainsi que différents fichiers de configuration.

Conseils d’utilisation :

Votre quota s’affiche automatiquement à chaque connexion sur le supercalculateur : Lisez les messages !

Lorsque vous êtes connecté, vous pouvez encore afficher vos quotas:

quota
 

Lustre (/tmpdir)

Lors de campagnes de calcul volumineuses en termes de quantité de données générées, il est important d’être attentif à l’espace que vous occupez sur le tmpdir et de mettre en place une procédure de suppression des fichiers inutiles à la fin de vos traitements.

Conseils d’utilisation :

Afficher son quota:

lfs quota -h -u ${USER} /tmpdir

Afficher le quota de son groupe:

lfs quota -h -g ${GROUP} /tmpdir

Afficher les quotas de ses collaborateurs  (Ce fichier est mis à jour 1 fois par jour à 14H15)

cat /users/${GROUPE}/espace.tmpdir

Lister les fichiers qui n’ont pas été utilisés depuis plus de 100 jours:

find /tmpdir/${USER} -user ${USER} -type f -atime +100 -ctime +100 -print0

Lister la taille de chaque fichier qui n’a pas été utilisé depuis plus de 100 jours avec le total au début:

/usr/local/bin/list_my_old_files

Supprimer les fichiers qui n’ont pas été utilisés depuis plus de 100 jours:

find /tmpdir/${USER} -user ${USER} -type f  -atime +100 -mtime +100 -ctime +100 -print0 -exec rm -f '{}' \;

Supprimer les données inutiles:

cd repertoireASupprimer
find . -type f -exec rm -f '{}' \; # Pour supprimer les fichiers
find . -type l -exec rm -f '{}' \; # Pour supprimer les liens symbolique
find . -type d -empty -delete # Pour supprimer les repertoires

Multiplier le nombre de fichiers présents sur cet espace rend ensuite leurs suppressions délicates. Cela engendre, au moment de la suppression, un stress sur le système de fichier qui peut pénaliser les autres utilisateurs.

 

GPFS (/gpfs/work)

Avant tout dépôt sur l’espace GPFS, il est conseillé de faire le tri entre les données à conserver et les données temporaires ou intermédiaires

Conseils d’utilisation :

Afficher son quota lorsqu’on est connecté (Ce fichier est mis à jour 2 fois par jour à 7H00 et 13H00):

cat /users/${GROUPE}/espace.work

Faire une archive afin de limiter le nombre de fichiers:

tar cvzf /gpfs/work/${GROUPE}/${USER}/res_calcul.tgz repertoire/resultats/calcul

Supprimer les données inutiles:

cd repertoireASupprimer
find . -type f -exec rm -f '{}' \; # Pour supprimer les fichiers
find . -type l -exec rm -f '{}' \; # Pour supprimer les liens symbolique
find . -type d -empty -delete # Pour supprimer les repertoires
Multiplier le nombre de fichiers présents sur cet espace rend ensuite leur suppression délicate. Cela engendre, au moment de la suppression, un stress sur le système de fichier qui peut pénaliser les autres utilisateurs.

Voir aussi

Editer un fichier

Comment éditer un fichier en utilisant les éditeurs d’Olympe ou en un éditeur installé sur votre poste de travail

Le cycle de vie de la donnée sur Olympe

Gérer la rotation de ses données entre les différents espaces Copier des données d’un espace à un autre Archiver, compresser et copier en une seule fois le dossier /tmpdir/$USER/dossier_resultat sur