Vous trouverez sur cette page toutes les commandes et recommandations pour migrer vos données depuis les supercalculateur Olympe et Turpan vers le nouveau supercalculateur Kairos.
De OLYMPE vers KAIROS
Migrer les données de Olympe vers Kairos (depuis une frontale de Kairos)
Home -> Home
Copier des fichiers de son home sur olympe depuis une frontal de Kairos
Utiliser rsync (Recommandé par CALMIP) :
rsync -avh utilisateur@192.168.12.22:/users/pXXXXXX/userYYY/dossier_olympe/ ${HOME}/dossier_kairos
Utiliser scp (Pour les petites copies rapides)
scp -r utilisateur@192.168.12.22:/users/pXXXXXX/userYYY/dossier_olympe/ ${HOME}/dossier_kairos
⚠️ Attention au slash final '/' à la fin du répertoire source qui est très important en cas de reprise du transfert. Si vous l'oubliez, rsync créera un nouveau répertoire à chaque fois et resynchronisera toutes les données !
TMPDIR -> WORK
Copier des fichiers du tmpdir d'olympe depuis une frontal de Kairos
Utiliser rsync (Recommandé par CALMIP) :
rsync -avh utilisateur@192.168.12.22:/tmpdir/userYYY/dossier_olympe/ ${WORK}/dossier_kairos
Utiliser scp (Pour les petites copies rapides)
scp -r utilisateur@192.168.12.22:/tmpdir/userYYY/dossier_olympe/ ${WORK}/dossier_kairos
⚠️ Attention au slash final '/' à la fin du répertoire source qui est très important en cas de reprise du transfert. Si vous l'oubliez, rsync créera un nouveau répertoire à chaque fois et resynchronisera toutes les données !
STORE -> STORE
Copier des fichiers du store d'olympe depuis une frontal de Kairos
💡 Grouper et compresser les données sur Olympe (*) (si elles ne le sont pas déjà)
- Grouper et compresser
tar -c --totals -z -C /store/${GROUPE}/${USER} -f /store/${GROUPE}/${USER}/archive_dossier_olympe.tgz dossier_olympe/
- Dans le cas de jeux de données contenant de nombreux fichiers on pourra omettre la compression :
tar -c --totals -C /store/${GROUPE}/${USER} -f /store/${GROUPE}/${USER}/archive_dossier_olympe.tgz dossier_olympe/
Transférer les données avec rsync depuis Kairos (Recommandé par CALMIP) :
rsync -avh utilisateur@192.168.12.22:/store/pXXXXXX/userYYY/archive_dossier_olympe.tgz ${STORE}/dossier_kairos
Transférer les données avec scp depuis Kairos (Pour les petites copies rapides)
scp -r utilisateur@192.168.12.22:/store/pXXXXXX/userYYY/archive_dossier_olympe.tgz ${STORE}/dossier_kairos
(*) Si il vous manque de l'espace pour réaliser l'archivage de votre espace store sur olympe en vue d'un transfert sur Kairos, n'hésitez pas à solliciter le support support.calmip(at)univ-toulouse.fr en précisant votre demande.
De TURPAN vers KAIROS
Migrer les données de Turpan vers Kairos (depuis une frontale de Kairos)
Home->Home
Copier des fichiers de son home sur turpan depuis une frontal de Kairos
Utiliser rsync (Recommandé par CALMIP) :
rsync -avh utilisateur@10.42.22.11:/users/mXXXXXX/userYYY/dossier_turpan/ ${HOME}/dossier_kairos
Utiliser scp (Pour les petites copies rapides)
scp -r utilisateur@10.42.22.11:/users/mXXXXXX/userYYY/dossier_turpan ${HOME}/dossier_kairos
⚠️ Attention au slash final '/' à la fin du répertoire source qui est très important en cas de reprise du transfert. Si vous l'oubliez, rsync créera un nouveau répertoire à chaque fois et resynchronisera toutes les données !
WORK -> WORK
Copier des fichiers du work de turpan depuis une frontal de Kairos
Utiliser rsync (Recommandé par CALMIP) :
rsync -avh utilisateur@10.42.22.11:/work/mXXXXXX/userYYY/dossier_turpan/ ${WORK}/dossier_kairos
Utiliser scp (Pour les petites copies rapides)
scp -r utilisateur@10.42.22.11:/work/mXXXXXX/userYYY/dossier_turpan/ ${WORK}/dossier_kairos
⚠️ Attention au slash final '/' à la fin du répertoire source qui est très important en cas de reprise du transfert. Si vous l'oubliez, rsync créera un nouveau répertoire à chaque fois et resynchronisera toutes les données !