![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/03\/mae\u0308l-deschamps.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Moyen")
<\/span><\/div>Dans cet article, nous passerons en revue toutes les phases du processus qui peut \u00eatre divis\u00e9 en trois parties diff\u00e9rentes :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/1Measuring-the-CO2eq-impact-of-your-Python-Notebook.png\" "\\"1Mesurer")
<\/span><\/div>- <\/i><\/span>Au sein du\u00a0Profilage<\/strong>, o\u00f9 nous collecterons data sur la consommation de ressources de notre code.<\/div><\/li>
- <\/i><\/span>
Au sein du Calcul<\/strong>, Nous allons transformer ces ressources en consommation d'\u00e9nergie.<\/div><\/li>- <\/i><\/span>
\nAu sein du\u00a0L'\u00e9valuation<\/strong>, La consommation d'\u00e9nergie sera convertie en impact sur l'environnement.<\/p>\n<\/div><\/li><\/ul>
Chaque partie sera accompagn\u00e9e de son impl\u00e9mentation r\u00e9elle sur un notebook dans Azure ML Studio.<\/p>\n<\/div>
\u00c9tape 1 : Profilage du code<\/h2><\/div>
L'objectif de cette premi\u00e8re \u00e9tape est assez simple : d\u00e9terminer la consommation de m\u00e9moire et de CPU de votre code. Dans le cas de notre machine, trois param\u00e8tres principaux seront pris en compte :<\/p>\n<\/div>
- <\/i><\/span>l'\u00e9nergie consomm\u00e9e par le CPU \/ GPU<\/div><\/li>
- <\/i><\/span>
l'\u00e9nergie consomm\u00e9e par l'utilisation de la m\u00e9moire<\/div><\/li>- <\/i><\/span>
l'\u00e9nergie utilis\u00e9e par le syst\u00e8me de refroidissement (facteur Power Usage Effectiveness)<\/div><\/li><\/ul>Nous pouvons facilement trouver des informations en ligne pour approximer le Power Usage Effectiveness (PUE), mais mesurer la consommation CPU \/ M\u00e9moire de notre notebook Python n'est pas si simple. De nombreuses solutions existent (timeit, cProfile, psutil) mais elles sont plut\u00f4t ax\u00e9es sur le profilage du temps que sur la consommation de CPU et de m\u00e9moire.<\/p>\n
Pour des raisons de propri\u00e9t\u00e9 et de simplicit\u00e9, j'ai d\u00e9cid\u00e9 de coder mon propre script de profilage en Bash, mesurant la consommation de ma machine dans une boucle sans fin, \u00e9tant donn\u00e9 que le code que je devais \u00e9valuer se trouvait sur une instance JupyterLab fonctionnant sous Linux (18.04.1-Ubuntu SMP).<\/p>\n
Le premier script, utilis\u00e9 pour mesurer chaque seconde l'utilisation exacte de la m\u00e9moire, a \u00e9t\u00e9 enregistr\u00e9 sous la forme suivante\u00a0memory_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![\"Measuring](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.53.17.png\" "\\"article")
<\/span><\/div>Le second script, utilis\u00e9 pour mesurer chaque seconde la consommation moyenne de l'unit\u00e9 centrale au cours de la derni\u00e8re minute, a \u00e9t\u00e9 enregistr\u00e9 sous la forme suivante\u00a0cpu_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.04.png\" "\\"Capture")
<\/span><\/div>Mais avoir ces deux scripts n'\u00e9tait pas suffisant, car j'avais aussi besoin de savoir exactement quand mon code s'ex\u00e9cutait. Pour ce faire, j'ai ajout\u00e9 une cellule, en haut de mon carnet de notes :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.08.png\" "\\"Capture")
<\/span><\/div>Et une autre cellule, au bas de mon carnet :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.13.png\" "\\"Capture")
<\/span><\/div>Maintenant que tout est pr\u00eat, il ne me reste plus qu'\u00e0 :<\/p>\n
1. Assurez-vous que mon environnement n'est pas pollu\u00e9 par d'autres t\u00e2ches en cours d'ex\u00e9cution en arri\u00e8re-plan et fermez toutes les instances en cours en cliquant sur le bouton \"Shut Down All\".<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/4Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"4Mesurer")
<\/span><\/div>2. Ouvrez une instance de terminal pour ex\u00e9cuter le script memory_log.sh en arri\u00e8re-plan.<\/p>\n
.\/memory_log.sh<\/span><\/strong><\/pre>\n3. Ouvrez une autre instance de terminal pour ex\u00e9cuter le scriptu_log.sh en arri\u00e8re-plan.<\/p>\n
.\/cpu_log.sh<\/span><\/strong><\/pre>\n4. Instanciez et ex\u00e9cutez toutes les cellules de mon bloc-notes.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/5Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"5Mesurer")
<\/span><\/div>Une fois que l'ensemble du cahier s'est ex\u00e9cut\u00e9, je peux arr\u00eater les deux scripts Linux en appuyant sur CTRL + C dans chaque terminal, v\u00e9rifier si mes fichiers memory.log et cpu.log ont \u00e9t\u00e9 cr\u00e9\u00e9s avec succ\u00e8s, et noter l'heure de d\u00e9but et l'heure de fin de l'ex\u00e9cution de mon cahier en utilisant les deux cellules ajout\u00e9es avec datetime.now().<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/6Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"6Mesurer")
<\/span><\/div>J'avais maintenant tout ce qu'il me fallait pour la prochaine phase de calcul.<\/p>\n<\/div>
\u00c9tape 2 : Calcul de l'\u00e9nergie<\/h2><\/div>
Maintenant que nous avons collect\u00e9 toutes les data sur la consommation des ressources, nous pouvons commencer \u00e0 convertir le tout en kWh, mesure repr\u00e9sentant la consommation d'\u00e9nergie.
\nPour ce faire, nous utiliserons l'\u00e9quation suivante :<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/7Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"7Mesurer")
<\/span><\/div>Commen\u00e7ons par les mesures relatives aux processeurs.<\/strong>
\nDans un premier temps, je copie le contenu du fichier cpu.log dans une feuille de calcul Google que j'utiliserai plus tard pour obtenir ma consommation moyenne de CPU :<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/8Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"8Mesurer")
<\/span><\/div>Je fais quelques manipulations sur ma feuille, (Diviser le texte en colonnes, Supprimer les colonnes inutilis\u00e9es, Ajouter des noms de colonnes) afin d'obtenir quelque chose de plus pratique \u00e0 exploiter :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/9Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"9Mesurer")
<\/span><\/div>Mon ordinateur portable a fonctionn\u00e9 de 12:33:20 \u00e0 13:14:09, il me suffit donc d'ajouter une formule pour obtenir la moyenne de cpu_1 entre ces p\u00e9riodes, et de diviser cette moyenne par le nombre d'unit\u00e9s centrales de ma machine :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/10Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"10Mesurer")
<\/span><\/div>Je comprends maintenant que mon carnet de notes utilise en moyenne\u00a08.038 CPU<\/strong>\u00a0pendant ses 40 minutes d'ex\u00e9cution qui correspondent \u00e0\u00a0100,47% d'utilisation moyenne du CPU.<\/strong>
\nMais quelle est la consommation de mon processeur ?<\/strong>
\nCela d\u00e9pend du mod\u00e8le de CPU utilis\u00e9. J'ai trouv\u00e9 plus d'informations sur le CPU utilis\u00e9 par ma machine dans la rubrique\u00a0Azure Documentation Microsoft<\/a>. Au moment de mes exp\u00e9riences (octobre 2021), ma machine utilisait l'un des 4 diff\u00e9rents types de CPU Intel Xeon :
\n- Intel Xeon Platinum 8270
\n- Intel Xeon Platinum 8171M
\n- Processeur Intel Xeon E5-2697 v4
\n- Intel Xeon E5-2673 v3 @ 2.40GHz<\/p>\nApr\u00e8s avoir consult\u00e9 le site web d'Intel, j'ai pu faire correspondre les mod\u00e8les de CPU avec leur consommation d'\u00e9nergie, en utilisant la puissance thermique (TDP) qui repr\u00e9sente la puissance moyenne, en watts, que le processeur dissipe lorsqu'il fonctionne \u00e0 la fr\u00e9quence de base avec tous les c\u0153urs actifs.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/11Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"11Mesurer")
<\/span><\/div>Comme le processeur utilis\u00e9 peut changer \u00e0 chaque ex\u00e9cution de mon code, j'ai d\u00e9cid\u00e9 de prendre le TDP moyen de ces quatre processeurs, soit\u00a0158.75<\/strong>\u00a0dans ce cas.
\nJ'ai maintenant trouv\u00e9 les deux\u00a0Pc<\/strong>\u00a0(=1,0047) et\u00a0Cc<\/strong>\u00a0(=158.75)<\/p>\n<\/div>Jetons maintenant un coup d'\u0153il au fichier memory.log<\/strong><\/p>\n
En suivant les m\u00eames processus que pr\u00e9c\u00e9demment, je copie le contenu de mon fichier dans une feuille Google, divise le texte en colonnes et les arrange pour obtenir le format suivant :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/12Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"12Mesurer")
<\/span><\/div>J'applique ensuite une formule de calcul de la moyenne \u00e0 la colonne C, afin d'obtenir le r\u00e9sultat suivant\u00a0utilisation moyenne de la m\u00e9moire<\/strong>\u00a0entre 12:33:20 et 13:14:09 en Mo. Je divise ce nombre par 1024 pour le convertir en Go.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/13Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"13Mesurer")
<\/span><\/div>Pour estimer la consommation d'\u00e9nergie d'un Go de data, je suivrai la r\u00e8gle empirique suivante\u00a0ici<\/a>\u00a0: 3W par 8GB soit 0.375W\/GB et\u00a01.88W<\/strong>\u00a0au total pour mon utilisation de 5,015 Go de m\u00e9moire.<\/p>\n
J'ai maintenant trouv\u00e9\u00a0Pm<\/strong>\u00a0(=1.88). Notez que la puissance consomm\u00e9e par ma m\u00e9moire semble \u00eatre 85 fois moins importante que celle consomm\u00e9e par mon CPU et peut \u00eatre ignor\u00e9e pour obtenir une \u00e9valuation l\u00e9g\u00e8rement moins pr\u00e9cise mais plus rapide.<\/p>\n
Comme je n'utilise pas de GPU, je peux directement passer au dernier terme manquant : le Power Usage Effectiveness (PUE). Le PUE est un ratio qui d\u00e9termine l'\u00e9nergie utilis\u00e9e par le centre data pour tout ce qui n'est pas l'h\u00e9bergement des services cloud comme le refroidissement, la compensation de la puissance r\u00e9active, les lumi\u00e8res ...<\/p>\n
En regardant la\u00a0Fiche d'information Microsoft Datacenter de 2015<\/a>, Le PUE moyen dans son nouveau centre data a \u00e9t\u00e9 de\u00a01.125<\/strong>. C'est le chiffre que nous retiendrons pour cet exemple, mais une approche plus disciplin\u00e9e consisterait \u00e0 trouver le PUE r\u00e9el du centre data utilis\u00e9 pour nos calculs.<\/p>\n
Nous avons maintenant tous les termes de notre \u00e9quation, faisons le calcul !<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/14Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"14Mesurer")
<\/span><\/div>Comme notre code a \u00e9t\u00e9 ex\u00e9cut\u00e9 entre 12:33:20 et 13:14:09, il a pris 40 minutes et 49 secondes pour s'ex\u00e9cuter (ce qui \u00e9quivaut \u00e0 0,68 heure). Cela signifie qu'au total il a consomm\u00e9 : 0.182 * 0.68 =\u00a00,1238 kW<\/strong><\/p>\n<\/div>
\u00c9tape 3 : \u00c9valuer l'impact<\/h2><\/div>
Derni\u00e8re \u00e9tape de notre parcours de mesure du carbone, nous devons maintenant \u00e9valuer l'impact de cette consommation d'\u00e9lectricit\u00e9 qui d\u00e9pend fortement de l'endroit o\u00f9 l'\u00e9nergie a \u00e9t\u00e9 consomm\u00e9e. Pour le calculer, nous utiliserons le facteur d'intensit\u00e9 carbone que nous pouvons facilement trouver dans\u00a0Site web de la carte de l'\u00e9lectricit\u00e9<\/a>, Le projet de collecte, de pr\u00e9traitement et d'unification de l'\u00e9lectricit\u00e9 publique data provenant de 150 zones g\u00e9ographiques.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/15Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"15Mesurer")
<\/span><\/div>Lorsque j'ai calcul\u00e9 l'impact CO2eq de mon code fonctionnant aux Pays-Bas, la valeur de l'impact carbone \u00e9tait de 487 grammes par kW. Cela porte l'impact de mon code \u00e0 487 * 0.1238 =\u00a060,3 gCO2eq.<\/strong><\/p>\n
Cette valeur peut sembler faible, mais sachant que mon morceau de code fonctionnait tous les jours et toute l'ann\u00e9e, l'impact a \u00e9t\u00e9 port\u00e9 \u00e0 60.3 * 365.25 =\u00a022,0 kgCO2eq par an.<\/strong>
\nMais que repr\u00e9sente-t-elle par rapport \u00e0 d'autres activit\u00e9s ?<\/strong>\u00a0Si nous comparons cela \u00e0 l'utilisation d'une voiture par exemple et que nous prenons les\u00a0Moyenne 2019 des \u00e9missions de C02 pour toutes les voitures neuves<\/a>, Cela \u00e9quivaut \u00e0 l'empreinte d'un voyage de 180 km.<\/p>\nL'utilisation\u00a0monconvertisseurco2.fr<\/a>\u00a0J'ai pu obtenir plus d'activit\u00e9s \u00e9quivalentes en utilisant la \u201cBase Carbone\u201d ouverte data, collect\u00e9e par un organisme de l'Etat fran\u00e7ais : l'Agence Nationale de l'Environnement et de la Ma\u00eetrise de l'Energie (ADEME).<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/17Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"17Mesurer")
<\/span><\/div>Conclusion<\/h2><\/div>
Nous avons r\u00e9ussi !<\/h3><\/div>
Apr\u00e8s avoir profil\u00e9 notre code pour obtenir l'utilisation de la m\u00e9moire et du processeur, calcul\u00e9 ces chiffres en consommation d'\u00e9lectricit\u00e9 et \u00e9valu\u00e9 l'impact en CO2eq, nous avons r\u00e9ussi \u00e0 mieux comprendre l'empreinte carbone de notre code. Il s'agit d'une \u00e9tape importante pour prendre du recul sur l'impact environnemental de notre code et pour souligner l'importance de l'optimisation du code.<\/p>\n
Dans ce cas pr\u00e9cis, comme indiqu\u00e9\u00a0dans la premi\u00e8re partie sur la fa\u00e7on de rep\u00e9rer et d'\u00e9viter les goulets d'\u00e9tranglement dans Jupiter Lab<\/a>, Ainsi, la simple optimisation d'une ligne de code m'a permis d'\u00e9conomiser 90% de mon temps de calcul et 92% de mon impact CO2eq, passant de 22kgCO2eq \u00e0 moins de 2kgCO2eq par an.<\/p>\n
Aujourd'hui, la plupart des plateformes des fournisseurs cloud, y compris Azure, promettent\u00a0avoir un impact neutre sur l'environnement<\/a>\u00a0gr\u00e2ce aux projets de compensation des \u00e9missions de carbone. Cependant, les experts en environnement s'accordent \u00e0 dire que, bien qu'efficaces et importants,\u00a0les projets de compensation carbone ne suffisent pas \u00e0 ma\u00eetriser l'impact de notre activit\u00e9 sur la plan\u00e8te<\/strong>, et que le\u00a0la meilleure solution reste la r\u00e9duction des \u00e9missions \u00e0 la source<\/strong><\/a>, comme dans ce projet d'optimisation.
\nC'est ce que nous essayons de promouvoir chez Artefact \u00e0 travers nos diff\u00e9rentes initiatives environnementales !<\/p>\n<\/div><\/div><\/div><\/div><\/article> - <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"moyen\\"")
<\/span><\/div>