tensorflow

Le module conda "tensorflow" contient les modules python suivants :

Ainsi que les modules de l’environnement conda "python-tools"

Version des environnements conda "tensorflow" disponibles :


tensorflow-2.5.0

tensorflow-2.5.0

Tensorflow 2.5 nécessite cuda 11.2 ou supérieur.

ATTENTION: Le paquet tensorflow-gpu n’est pas disponible par conda, il faut créer un environnement personnel basé sur notre environnement python-tools.

module load conda/4.9.2
module load cuda/11.2
conda create -n MyNewEnv --clone python-tools-3.9.5
conda activate MyNewEnv

Ensuite mettre à jour l’environnement et y ajouter les librairies dont vous avez besoin (exemple : scikit-learn). Il est inutile d’installer des dépendances spécifiques à tensorflow à ce stade.

conda update --all
conda install scikit-learn

Enfin, installer tensorflow-gpu avec pip :

pip install --upgrade tensorflow-gpu==2.5.0

Attention, après l’utilisation de pip il est fortement déconseillé d’utiliser à nouveau conda pour la gestion de paquets. Il existe de fortes incompatibilités entre les deux qui pourraient rendre l’environnement non-fonctionnel.

Pour utiliser cet environnement dans vos scripts slurm utilisant des noeuds GPUs :

module purge
module load cuda/11.2
module load conda/4.9.2
conda activate MyNewEnv

tensorflow-2.4.1

tensorflow-2.4.1

tensorflow-2.4.1 est basé sur python 3.9.5 et contient les modules python suivants :

  • tensorflow (version 2.4.1)
  • tensorboard (version 2.5.0)

Pour l’utiliser :

module purge
module load tensorflow/2.4.1

Pour cloner cet environnement et ensuite l’utiliser :

module purge
module load conda/4.9.2
conda create -n MyNewEnv --clone tensorflow-2.4.1
conda activate MyNewEnv

tensorflow-2.2.0

tensorflow-2.2.0
tensorflow-2.2.0 est basé sur python 3.8.5 et contient les modules python suivants :
  • tensorflow (version 2.2.0)
  • tensorboard (version 2.3.0)

Pour l’utiliser :

module purge
module load tensorflow/2.2.0

Pour cloner cet environnement et ensuite l’utiliser :

module purge
module load conda/4.9.2
conda create -n MyNewEnv --clone tensorflow-2.2.0
conda activate MyNewEnv

tensorflow-1.15

tensorflow-1.15
tensorflow-1.15 est basé sur python 3.7.16 et contient les modules python suivants :
  • tensorflow (version 1.15)
  • tensorboard (version 1.15)

Pour l’utiliser :

module purge
module load tensorflow/1.15

Pour cloner cet environnement et ensuite l’utiliser :

module purge
module load conda/4.9.2
conda create -n MyNewEnv --clone tensorflow-1.15
conda activate MyNewEnv

Mini-tuto

Vous pouvez utiliser le script ci-joint pur vérifier que votre installation de python 2 fonctionne correctement sur les GPUs :

  • Copiez le script dans un répertoire sur Olympe
  • Suivez les instructions en début de script (en Anglais)
Fichiers attachés

Voir aussi

Réservation des noeuds GPU

Exemple pour 1 nœud et 9 tâches et 1 GPU Il faut OBLIGATOIREMENT que votre script comporte à minima les informations suivantes :

conda

L’environnement conda permet d’installer efficacement des environnements virtuels python

Tensorboard

Comment utiliser tensorboard sur Olympe (pour les utilisateurs de tensorflow)