Comment utiliser Jupyter depuis le serveur d’EOSC

Author

Damien Belvèze

EOSC

Europen Open Science Cloud est un réseau supporté par la Commission Européenne qui réunit des acteurs de la science ouverte en Europe. Le répertoire de données Recherche Data Gouv, par exemple fait partie d’EOSC.

EOSC met à disposition sur les serveurs de ses membres certains services aux chercheurs et chercheuses européen.ne.s

Il est notamment possible d’utiliser EOSC comme Cloud pour des données de recherche ou pour transférer de grands volumes de données ou encore pour faire des études computationnelles sur ces données.

Les services d’EOSC sont ouverts à toutes les communautés de recherche européennes (accès via le protocole EduGain)

Chaque chercheur ou chercheuse se voit attribuer 1000 crédits par mois. Ce crédit est aussi reproduit le mois suivant. Ces crédits permettent d’accéder à de l’espace de stockage et de la puissance de calcul ; plus le volume de données est important, plus le nombre de GPU demandé pour faire les calculs est élevé et plus vite les crédits seront décomptés.

un usage pédagogique pour l’appropriation de Jupyter Notebook avec un petit volume de données comme celui que nous proposons aura une faible consommation en termes de crédits.

accéder aux Jupyter Notebooks depuis le site d’EOSC

Ce qui suit est la traduction en français du tutoriel d’OpenPlato sur les Jupyter Notebooks d’EOSC

### 1. S’identifier via EduGain

### 2. S’allouer des crédits

Avant de pouvoir utiliser les jupyter notebooks interactifs en vous assignant des crédits pour les ressources dont vous aurez besoin, vous devez autoriser l’usage du service *File Sync & Share Service

Aller sur File Sync & Share et cliquer sur le bouton “Get Access”

Sélectionner une durée d’accès au service File Sync & Share et cliquer sur “Submit”

Dès que vous avez accès à ce service, retournez à la console des notebooks interactifs

3. Accéder au service de notebooks interactifs

Une fois authentifié.e, repérez le service “interactive notebooks” dans la console EOSC EU Node

Comment accéder au service :

Allez à “Services > Interactive Notebooks” à partir du menu latéral de gauche

Cliquez sur “Get Access” pour accéder au service

Choisissez un environnement pré-configuré ou confectionnez votre propre environnement en sélectionnant des ressources computationnelles spécifiques

Astuce: si vous avez besoin d’une accélération de la GPU pour des tâches AI/ML, sélectionnez un environnement avec un support GPU

4. Lancez et configurez votre Jupyter notebook

Une fois que vous avez accès à cet espace, vous pouvez lancer votre environnement

Voici comment débuter un Jupyter notebook :

Cliquez sur “Open in Jupyterlab” pour lancer l’interface de Jupyter Notebook

Créez un nouveau notebook et sélectionnez un noyau (kernel) pour vos calculs : Python, R, Julia, etc.

Installez des librairies additionnelles en utilisant ce type de commandes

Pour Python :

pip install package-name

Pour Conda :

conda install package-name

Astuce: les utilisateurs et utilisatrices peuvent accéder à des environnements pré-configurés pour la data science, le traitement de modèles de langage (AI/ML) ou les analyses statistiques afin de réduire le temps occupé par les installations manuelles

Par exemple, de base dans les Jupyter Notebooks, matplotlib, plotly et seaborn sont pré-installés (ce n’est pas le cas de pandas ni de numpy en revanche) Vous pouvez bien entendu charger les versions de ces dépendances qui vous conviennent le mieux.

5. Exécuter du code et analyser des données

Maintenant que votre notebook est installé, vous pouvez commencer à y écrire et exécuter du code

Comment exécuter du code dans un Notebook :

Ecrivez du code dans des cellules et exécutez-les les unes après les autres pour voir les résultats de chaque cellule

Importez des jeux de données et traitez les en utilisant des librairies comme Pandas, Numpy ou SciPy

Créez des visualisations de vos données avec MatPlotLib, Seaborn et Plotly pour générer des graphiques

Procédez à des calculs avancés pour du machine learning, des statistiques ou des simulations.

Astuce : Jupyter Notebooks sauvegarde automatique votre travail et intègre le contrôle de version, ce qui simplifie le suivi des modifications et la possibilité de revenir à des états antérieurs pour une meilleure reproductibilité.

6. Partager et Collaborer

Les Notebooks interactifs permettent une collaboration et un partage sans friction, ce qui facilite le suivi de projets entre collègues ou entre différentes équipes.

Voici comment partager un notebook :

Cliquez sur “Share” et générez un lien afficher ou éditer (view/edit) pour vos collègues

Paramétrez les permissions (par exemple : pour lire uniquement ou peut écrire) qui conviennent à votre mode de collaboration

Intégrez le notebook dans Gitlab ou un service de cloud pour faire du contrôle de version en mode collaboratif

Exportez les notebooks en HTML, PDF ou en markdown pour faire des rapports ou des publications.

Astuce : utiliser l’intégration à Git pour garder registre des modifications, avoir un développement collaboratif du code et conserver un historique des versions pour vos projets de recherche.

--- title: "Comment utiliser Jupyter depuis le serveur d'EOSC" author: "Damien Belvèze" format: html --- # EOSC Europen Open Science Cloud est un réseau supporté par la Commission Européenne qui réunit des acteurs de la science ouverte en Europe. Le répertoire de données Recherche Data Gouv, par exemple fait partie d'EOSC. EOSC met à disposition sur les serveurs de ses membres certains services aux chercheurs et chercheuses européen.ne.s Il est notamment possible d'utiliser EOSC comme Cloud pour des données de recherche ou pour transférer de grands volumes de données ou encore pour faire des études computationnelles sur ces données. Les services d'EOSC sont ouverts à toutes les communautés de recherche européennes (accès via le protocole EduGain) Chaque chercheur ou chercheuse se voit attribuer 1000 crédits par mois. Ce crédit est aussi reproduit le mois suivant. Ces crédits permettent d'accéder à de l'espace de stockage et de la puissance de calcul ; plus le volume de données est important, plus le nombre de GPU demandé pour faire les calculs est élevé et plus vite les crédits seront décomptés. un usage pédagogique pour l'appropriation de Jupyter Notebook avec un petit volume de données comme celui que nous proposons aura une faible consommation en termes de crédits. ## accéder aux Jupyter Notebooks depuis le site d'EOSC Ce qui suit est la traduction en français du [tutoriel d'OpenPlato](openplato.eu/mod/scorm/player.php?a=115&currentorg=articulate_rise&scoid=230&sesskey=ZB5CBGAhmx&display=popup&mode=normal) sur les Jupyter Notebooks d'EOSC ### 1. S'identifier [via EduGain](https://open-science-cloud.ec.europa.eu/dashboard/notebooks) ![](images/eosc_access1.jpg) ### 2. S'allouer des crédits Avant de pouvoir utiliser les jupyter notebooks interactifs en vous assignant des crédits pour les ressources dont vous aurez besoin, vous devez autoriser l'usage du service *File Sync & Share Service ![](images/eosc_access2.jpg) Aller sur File Sync & Share et cliquer sur le bouton "Get Access" Sélectionner une durée d'accès au service File Sync & Share et cliquer sur "Submit" Dès que vous avez accès à ce service, retournez à la console des notebooks interactifs ### 3. Accéder au service de notebooks interactifs ![](images/eosc_access3.jpg) Une fois authentifié.e, repérez le service "interactive notebooks" dans la console EOSC EU Node Comment accéder au service : Allez à "Services > Interactive Notebooks" à partir du menu latéral de gauche Cliquez sur "Get Access" pour accéder au service Choisissez un environnement pré-configuré ou confectionnez votre propre environnement en sélectionnant des ressources computationnelles spécifiques Astuce: si vous avez besoin d'une accélération de la GPU pour des tâches AI/ML, sélectionnez un environnement avec un support GPU ### 4. Lancez et configurez votre Jupyter notebook ![](images/eosc_access4.png) Une fois que vous avez accès à cet espace, vous pouvez lancer votre environnement Voici comment débuter un Jupyter notebook : Cliquez sur "Open in Jupyterlab" pour lancer l'interface de Jupyter Notebook Créez un nouveau notebook et sélectionnez un noyau (kernel) pour vos calculs : Python, R, Julia, etc. Installez des librairies additionnelles en utilisant ce type de commandes Pour Python : ```bash pip install package-name ``` Pour Conda : ```bash conda install package-name ``` Astuce: les utilisateurs et utilisatrices peuvent accéder à des environnements pré-configurés pour la data science, le traitement de modèles de langage (AI/ML) ou les analyses statistiques afin de réduire le temps occupé par les installations manuelles Par exemple, de base dans les Jupyter Notebooks, matplotlib, plotly et seaborn sont pré-installés (ce n'est pas le cas de pandas ni de numpy en revanche) Vous pouvez bien entendu charger les versions de ces dépendances qui vous conviennent le mieux. ### 5. Exécuter du code et analyser des données ![](images/eosc_access5.png) Maintenant que votre notebook est installé, vous pouvez commencer à y écrire et exécuter du code Comment exécuter du code dans un Notebook : Ecrivez du code dans des cellules et exécutez-les les unes après les autres pour voir les résultats de chaque cellule Importez des jeux de données et traitez les en utilisant des librairies comme Pandas, Numpy ou SciPy Créez des visualisations de vos données avec MatPlotLib, Seaborn et Plotly pour générer des graphiques Procédez à des calculs avancés pour du machine learning, des statistiques ou des simulations. Astuce : Jupyter Notebooks sauvegarde automatique votre travail et intègre le contrôle de version, ce qui simplifie le suivi des modifications et la possibilité de revenir à des états antérieurs pour une meilleure reproductibilité. ### 6. Partager et Collaborer Les Notebooks interactifs permettent une collaboration et un partage sans friction, ce qui facilite le suivi de projets entre collègues ou entre différentes équipes. Voici comment partager un notebook : Cliquez sur "Share" et générez un lien afficher ou éditer (view/edit) pour vos collègues Paramétrez les permissions (par exemple : pour lire uniquement ou peut écrire) qui conviennent à votre mode de collaboration Intégrez le notebook dans Gitlab ou un service de cloud pour faire du contrôle de version en mode collaboratif Exportez les notebooks en HTML, PDF ou en markdown pour faire des rapports ou des publications. Astuce : utiliser l'intégration à Git pour garder registre des modifications, avoir un développement collaboratif du code et conserver un historique des versions pour vos projets de recherche.