![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/03\/mae\u0308l-deschamps.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Medium")
<\/span><\/div>In dit artikel doorlopen we elke fase van het proces, dat in drie verschillende delen kan worden opgesplitst:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/1Measuring-the-CO2eq-impact-of-your-Python-Notebook.png\" "\\"1Meten")
<\/span><\/div>- <\/i><\/span>De\u00a0Profilering<\/strong>, waar we data zullen verzamelen over het brongebruik van onze code<\/div><\/li>
- <\/i><\/span>
De Berekening<\/strong>, waar we deze bronnen zullen omzetten in energieverbruik<\/div><\/li>- <\/i><\/span>
\nDe\u00a0Beoordeling<\/strong>, waar we dit energieverbruik zullen omzetten in impact op het milieu<\/p>\n<\/div><\/li><\/ul>
Elk onderdeel zal vergezeld gaan van de daadwerkelijke implementatie ervan op een notebook in Azure ML Studio.<\/p>\n<\/div>
Stap 1: De code profileren<\/h2><\/div>
Het doel van deze eerste stap is vrij eenvoudig: het vinden van het geheugen- en CPU-verbruik van uw code. In het geval van onze machine wordt er rekening gehouden met drie belangrijke parameters:<\/p>\n<\/div>
- <\/i><\/span>de energie die wordt verbruikt door de CPU\/GPU<\/div><\/li>
- <\/i><\/span>
de energie die wordt verbruikt door het geheugengebruik<\/div><\/li>- <\/i><\/span>
de energie die door het koelsysteem wordt gebruikt (Power Usage Effectiveness factor)<\/div><\/li><\/ul>We kunnen online gemakkelijk informatie vinden om de Power Usage Effectiveness (PUE) te schatten, maar het meten van het CPU- \/ Geheugenverbruik van onze Python-notebook is niet zo eenvoudig. Er bestaan veel oplossingen (timeit, cProfile, psutil), maar die zijn meer gericht op tijdsprofilering dan op CPU- en geheugenverbruik.<\/p>\n
Omwille van eigendom en eenvoud besloot ik mijn eigen profileringsscript in Bash te coderen en het verbruik van mijn machine in een oneindige lus te meten, aangezien de code die ik moest beoordelen zich op een JupyterLab-instance bevond die op Linux (18.04.1-Ubuntu SMP) draaide.<\/p>\n
Het eerste script, dat werd gebruikt om elke seconde het exacte geheugengebruik te meten, werd opgeslagen als\u00a0geheugen_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![\"Measuring](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.53.17.png\" "\\"artikel")
<\/span><\/div>Het tweede script, dat werd gebruikt om elke seconde het gemiddelde CPU-verbruik tijdens de laatste minuut te meten, werd opgeslagen als\u00a0cpu_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.04.png\" "\\"Beeldschermafdruk")
<\/span><\/div>Maar het was niet genoeg om deze twee scripts te hebben, want ik moest ook precies weten wanneer mijn code werd uitgevoerd. Hiervoor voegde ik een cel toe bovenaan mijn notitieblok:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.08.png\" "\\"Beeldschermafdruk")
<\/span><\/div>En nog een cel, onderaan mijn notitieblok:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.13.png\" "\\"Beeldschermafdruk")
<\/span><\/div>Nu alles klaar was, hoefde ik alleen nog maar :<\/p>\n
1. Zorg ervoor dat mijn omgeving niet vervuild is met andere taken die op de achtergrond draaien en sluit alle lopende instanties door op de knop Shut Down All (Alles afsluiten) te klikken.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/4Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"4Meten")
<\/span><\/div>2. Open een terminalinstantie om het script memory_log.sh op de achtergrond uit te voeren<\/p>\n
.\/geheugen_log.sh<\/span><\/strong><\/pre>\n3. Open een andere terminalinstantie om het script cpu_log.sh op de achtergrond uit te voeren<\/p>\n
.\/cpu_log.sh<\/span><\/strong><\/pre>\n4. Instanti\u00ebren en uitvoeren van al mijn notebookcellen<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/5Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"5Meten")
<\/span><\/div>Zodra het hele notitieboek is uitgevoerd, kan ik beide Linux scripts stoppen door CTRL + C in elke terminal in te drukken, controleren of mijn memory.log en cpu.log bestanden met succes zijn aangemaakt, en de begintijd en eindtijd van de uitvoering van mijn notitieboek noteren door gebruik te maken van de twee toegevoegde cellen met datetime.now().<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/6Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"6Meten")
<\/span><\/div>Ik had nu alles wat ik nodig had voor de volgende rekenfase.<\/p>\n<\/div>
Stap 2: Omrekenen naar energie<\/h2><\/div>
Nu we alle data over het grondstofverbruik hebben verzameld, kunnen we beginnen met alles om te zetten in kWh, een maat voor het energieverbruik.
\nOm dat te bereiken, zullen we de volgende vergelijking gebruiken:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/7Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"7Meten")
<\/span><\/div>Laten we eerst beginnen met de CPU-gerelateerde statistieken.<\/strong>
\nAls eerste stap kopieer ik de inhoud van het cpu.log-bestand in een Google Spreadsheet die ik later zal gebruiken om mijn gemiddelde CPU-verbruik te krijgen:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/8Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"8Meten")
<\/span><\/div>Ik doe een paar manipulaties op mijn Sheet (Tekst naar kolom splitsen, Ongebruikte kolommen verwijderen, Kolomnamen toevoegen) om iets handigers te krijgen om te gebruiken:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/9Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"9Meten")
<\/span><\/div>Mijn notebook liep van 12:33:20 tot 13:14:09, dus ik kan gewoon een formule toevoegen om het gemiddelde van cpu_1 tussen die tijden weer te geven, en dat gemiddelde delen door het aantal CPU's van mijn machine:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/10Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"10Meten")
<\/span><\/div>Ik begrijp nu dat mijn Notebook gemiddeld het volgende gebruikt\u00a08.038 CPU's<\/strong>\u00a0tijdens de 40 minuten van uitvoering die overeenkomen met\u00a0100,47% gemiddeld CPU-gebruik.<\/strong>
\nMaar wat is het verbruik van mijn CPU?<\/strong>
\nDit hangt af van het model CPU dat wordt gebruikt, ik heb meer informatie over de CPU die door mijn machine wordt gebruikt gevonden in de\u00a0Azure Microsoft Documentatie<\/a>. Op het moment van mijn experimenten (oktober 2021) gebruikte mijn machine een van de 4 verschillende types Intel Xeon CPU:
\n- Intel Xeon Platinum 8270
\n- Intel Xeon Platinum 8171M
\n- Intel Xeon-processor E5-2697 v4
\n- Intel Xeon E5-2673 v3 @ 2,40 GHz<\/p>\nNadat ik online op de website van Intel had gekeken, kon ik CPU-modellen vergelijken met hun stroomverbruik, door gebruik te maken van het Thermal Design Power (TDP), dat staat voor het gemiddelde vermogen, in watt, dat de processor afgeeft wanneer deze op basisfrequentie werkt met alle kernen actief.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/11Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"11Meten")
<\/span><\/div>Aangezien de gebruikte CPU bij elke uitvoering van mijn code kan veranderen, heb ik besloten om de gemiddelde TDP van deze vier CPU's te nemen, namelijk\u00a0158.75<\/strong>\u00a0in dat geval.
\nIk heb nu beide gevonden\u00a0Pc<\/strong>\u00a0(=1,0047) en\u00a0Cc<\/strong>\u00a0(=158.75)<\/p>\n<\/div>Laten we nu eens kijken naar het bestand memory.log<\/strong><\/p>\n
Volgens dezelfde processen als voorheen kopieer ik de inhoud van mijn bestand naar een Google Sheet, verdeel de tekst in kolommen en rangschik ze om het volgende formaat te krijgen:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/12Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"12Meten")
<\/span><\/div>Vervolgens pas ik een gemiddeldeformule toe op kolom C, om de\u00a0gemiddeld geheugengebruik<\/strong>\u00a0tussen 12:33:20 en 13:14:09 in MB. Ik deel dit getal door 1024 om het om te zetten in GB.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/13Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"13Meten")
<\/span><\/div>Om het stroomverbruik van \u00e9\u00e9n GB data te schatten, zal ik een vuistregel volgen die gevonden is\u00a0hier<\/a>\u00a0: 3W per 8GB dus 0,375W\/GB en\u00a01.88W<\/strong>\u00a0in totaal voor mijn geheugengebruik van 5.015GB.<\/p>\n
Ik heb nu het volgende gevonden\u00a0Pm<\/strong>\u00a0(=1.88). Merk op dat het vermogen dat wordt verbruikt door mijn geheugen 85 keer minder belangrijk lijkt te zijn dan het vermogen dat wordt verbruikt door mijn CPU en kan worden overgeslagen om een iets minder nauwkeurige maar snellere beoordeling te krijgen.<\/p>\n
Aangezien ik geen GPU gebruik, kan ik direct overgaan naar de laatste ontbrekende term: de Power Usage Effectiveness. PUE is een verhouding die bepaalt hoeveel energie het data centrum gebruikt voor iets anders dan het hosten van cloud diensten zoals koeling, compensatie van reactief vermogen, verlichting ...<\/p>\n
Kijken naar de\u00a0Microsoft Datacenter Factsheet van 2015<\/a>, was de gemiddelde PUE in zijn nieuwe datacenter\u00a01.125<\/strong>. Dit is het getal dat we voor dit voorbeeld zullen gebruiken, maar een meer gedisciplineerde aanpak zal zijn om de werkelijke PUE van het data center te vinden dat we voor onze berekeningen gebruiken.<\/p>\n
We hebben nu alle termen van onze vergelijking, laten we gaan rekenen!<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/14Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"14Meten")
<\/span><\/div>Aangezien onze code werd uitgevoerd tussen 12:33:20 en 13:14:09, duurde het 40 minuten en 49 seconden om uit te voeren (wat gelijk is aan 0,68 uur). Dit betekent dat het in totaal verbruikt : 0.182 * 0.68 =\u00a00,1238 kW<\/strong><\/p>\n<\/div>
Stap 3: De impact beoordelen<\/h2><\/div>
Als laatste stap van onze koolstofmeetreis moeten we nu de impact van dit elektriciteitsverbruik beoordelen, die sterk afhangt van de plaats waar de energie is verbruikt. Om dit te berekenen gebruiken we de Carbon Intensity factor die we gemakkelijk kunnen vinden in\u00a0Elektriciteitskaart website<\/a>, een project om openbare elektriciteit data uit 150 landen te verzamelen, voorbewerken en verenigen.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/15Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"15Meten")
<\/span><\/div>Toen ik de CO2eq impact van mijn in Nederland draaiende code berekende, was de Carbon Impact waarde 487 gram per kW. Dat brengt de impact van mijn code op 487 * 0,1238 =\u00a060,3 gCO2eq.<\/strong><\/p>\n
Deze waarde lijkt misschien laag, maar wetende dat mijn stukje code elke dag en het hele jaar draaide, werd de impact gebracht op 60,3 * 365,25 =\u00a022,0 kgCO2eq per jaar.<\/strong>
\nMaar wat stelt het voor in vergelijking met andere activiteiten?<\/strong>\u00a0Als we het bijvoorbeeld vergelijken met het gebruik van een auto en de\u00a02019 gemiddelde C02-uitstoot voor alle nieuwe auto's<\/a>, is gelijk aan de voetafdruk van een reis van 180 km.<\/p>\nGebruik\u00a0monconvertisseurco2.fr<\/a>\u00a0Ik kan meer equivalente activiteiten krijgen door \u201cBase Carbon\u201d open data te gebruiken, verzameld door een organisatie van de Franse staat: het \u201cNationaal Agentschap voor Milieu en Energiebeheer\u201d of ADEME.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/17Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"17Meten")
<\/span><\/div>Conclusie<\/h2><\/div>
Het is ons gelukt!<\/h3><\/div>
Na het profileren van onze code om het geheugen- en cpu-gebruik te achterhalen, het omrekenen van deze getallen naar elektriciteitsverbruik en het beoordelen van de impact in CO2eq, zijn we erin geslaagd om de CO2-voetafdruk van onze code beter te begrijpen. Dit is een belangrijke mijlpaal om een stap terug te doen wat betreft de impact van onze code op het milieu, en om het belang van codeoptimalisaties te benadrukken.<\/p>\n
In dit specifieke geval, zoals vermeld\u00a0in het eerste deel over het opsporen en vermijden van prestatieproblemen in Jupiter Lab<\/a>, Door slechts \u00e9\u00e9n regel code te optimaliseren, kon ik 90% van mijn rekentijd en 92% van mijn CO2eq-impact besparen, waardoor ik van 22kgCO2eq naar minder dan 2kgCO2eq per jaar ging.<\/p>\n
Tegenwoordig beloven de meeste cloud providerplatformen, inclusief Azure, het volgende\u00a0een neutraal effect op het milieu hebben<\/a>\u00a0dankzij koolstofcompensatieprojecten. Milieudeskundigen zijn het er echter over eens dat, hoewel effectief en belangrijk,\u00a0koolstofcompensatieprojecten alleen zijn niet genoeg om de impact van onze activiteiten op de planeet te beheersen<\/strong>, en dat de\u00a0de beste oplossing is nog steeds om de uitstoot bij de bron te verminderen<\/strong><\/a>, zoals in dit optimalisatieproject.
\nDit is wat we bij Artefact proberen te promoten door middel van onze verschillende milieu-initiatieven!<\/p>\n<\/div><\/div><\/div><\/div><\/article> - <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"middelgrote\\"")
<\/span><\/div>