![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/03\/mae\u0308l-deschamps.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mittel")
<\/span><\/div>In diesem Artikel werden wir jede Phase des Prozesses durchlaufen, der in drei verschiedene Teile unterteilt werden kann:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/1Measuring-the-CO2eq-impact-of-your-Python-Notebook.png\" "\\"1Messung")
<\/span><\/div>- <\/i><\/span>Die\u00a0Profiling<\/strong>, wo wir data \u00fcber den Ressourcenverbrauch unseres Codes sammeln werden<\/div><\/li>
- <\/i><\/span>
Die Berechnung<\/strong>, wo wir diese Ressourcen in Energieverbrauch umwandeln werden<\/div><\/li>- <\/i><\/span>
\nDie\u00a0Bewertung<\/strong>, wo wir diesen Energieverbrauch in Auswirkungen auf die Umwelt umrechnen werden<\/p>\n<\/div><\/li><\/ul>
Jeder Teil wird von seiner tats\u00e4chlichen Implementierung auf einem Notebook in Azure ML Studio begleitet.<\/p>\n<\/div>
Schritt 1: Profiling des Codes<\/h2><\/div>
Das Ziel dieses ersten Schrittes ist recht einfach: die Ermittlung des Speicher- und CPU-Verbrauchs Ihres Codes. Im Falle unseres Rechners werden drei Hauptparameter ber\u00fccksichtigt:<\/p>\n<\/div>
- <\/i><\/span>die von der CPU\/GPU verbrauchte Energie<\/div><\/li>
- <\/i><\/span>
die durch die Speichernutzung verbrauchte Energie<\/div><\/li>- <\/i><\/span>
die vom K\u00fchlsystem verbrauchte Energie (Power Usage Effectiveness-Faktor)<\/div><\/li><\/ul>Wir k\u00f6nnen online leicht Informationen finden, um die Power Usage Effectiveness (PUE) abzusch\u00e4tzen, aber die Messung des CPU-\/Speicherverbrauchs unseres Python-Notebooks ist nicht so einfach. Es gibt viele L\u00f6sungen (timeit, cProfile, psutil), die sich aber eher auf die Erstellung von Zeitprofilen als auf den CPU- und Speicherverbrauch konzentrieren.<\/p>\n
Der Einfachheit halber beschloss ich, mein eigenes Profiling-Skript in der Bash zu programmieren und den Verbrauch meines Rechners in einer Endlosschleife zu messen, da sich der Code, den ich bewerten musste, auf einer JupyterLab-Instanz befand, die auf Linux (18.04.1-Ubuntu SMP) lief.<\/p>\n
Das erste Skript, mit dem jede Sekunde der genaue Speicherverbrauch gemessen wird, wurde gespeichert als\u00a0memory_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![\"Measuring](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.53.17.png\" "\\"Artikel")
<\/span><\/div>Das zweite Skript, mit dem jede Sekunde der durchschnittliche CPU-Verbrauch w\u00e4hrend der letzten Minute gemessen wurde, wurde gespeichert als\u00a0cpu_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.04.png\" "\\"Bildschirmfoto")
<\/span><\/div>Aber diese beiden Skripte waren nicht genug, denn ich musste auch genau wissen, wann mein Code ausgef\u00fchrt wurde. Zu diesem Zweck f\u00fcgte ich eine Zelle am oberen Rand meines Notizbuchs hinzu:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.08.png\" "\\"Bildschirmfoto")
<\/span><\/div>Und eine weitere Zelle, ganz unten in meinem Notizbuch:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.13.png\" "\\"Bildschirmfoto")
<\/span><\/div>Jetzt, wo alles fertig war, musste ich nur noch :<\/p>\n
1. Vergewissern Sie sich, dass meine Umgebung nicht durch andere im Hintergrund laufende Aufgaben verschmutzt wurde, und schlie\u00dfen Sie alle laufenden Instanzen, indem Sie auf die Schaltfl\u00e4che Alle herunterfahren klicken<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/4Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"4Messung")
<\/span><\/div>2. \u00d6ffnen Sie eine Terminalinstanz, um das Skript memory_log.sh im Hintergrund auszuf\u00fchren<\/p>\n
.\/memory_log.sh<\/span><\/strong><\/pre>\n3. \u00d6ffnen Sie eine weitere Terminalinstanz, um das Skript cpu_log.sh im Hintergrund auszuf\u00fchren<\/p>\n
.\/cpu_log.sh<\/span><\/strong><\/pre>\n4. Alle meine Notebook-Zellen instanziieren und ausf\u00fchren<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/5Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"5Messung")
<\/span><\/div>Sobald das gesamte Notebook ausgef\u00fchrt wurde, kann ich beide Linux-Skripte durch Dr\u00fccken der Tastenkombination STRG + C in jedem Terminal stoppen, \u00fcberpr\u00fcfen, ob meine Dateien memory.log und cpu.log erfolgreich erstellt wurden, und die Start- und Endzeit der Ausf\u00fchrung meines Notebooks notieren, indem ich die beiden hinzugef\u00fcgten Zellen mit datetime.now() verwende.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/6Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"6Messung")
<\/span><\/div>Ich hatte jetzt alles, was ich f\u00fcr die n\u00e4chste Berechnungsphase brauchte.<\/p>\n<\/div>
Schritt 2: In Energie umrechnen<\/h2><\/div>
Nun, da wir alle data zum Ressourcenverbrauch gesammelt haben, k\u00f6nnen wir damit beginnen, alles in kWh umzurechnen, eine Ma\u00dfeinheit, die den Energieverbrauch darstellt.
\nUm dies zu erreichen, verwenden wir die folgende Gleichung:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/7Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"7Messung")
<\/span><\/div>Beginnen wir zun\u00e4chst mit den CPU-bezogenen Metriken.<\/strong>
\nIn einem ersten Schritt kopiere ich den Inhalt der Datei cpu.log in ein Google Spreadsheet, das ich sp\u00e4ter verwenden werde, um meinen durchschnittlichen CPU-Verbrauch zu ermitteln:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/8Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"8Messung")
<\/span><\/div>Ich f\u00fchre ein paar Manipulationen an meinem Sheet durch (Text in Spalten aufteilen, nicht verwendete Spalten l\u00f6schen, Spaltennamen hinzuf\u00fcgen), um etwas Handlicheres zu erhalten, das ich nutzen kann:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/9Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"9Messung")
<\/span><\/div>Mein Notebook lief von 12:33:20 bis 13:14:09, also kann ich einfach eine Formel hinzuf\u00fcgen, die den Durchschnitt von cpu_1 zwischen diesen Zeiten zur\u00fcckgibt, und diesen Durchschnitt durch die Anzahl der CPUs meines Rechners dividieren:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/10Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"10Messung")
<\/span><\/div>Ich verstehe jetzt, dass mein Notebook im Durchschnitt\u00a08.038 CPUs<\/strong>\u00a0w\u00e4hrend seiner 40-min\u00fctigen Ausf\u00fchrung, die einer\u00a0100,47% durchschnittliche CPU-Auslastung.<\/strong>
\nAber wie hoch ist der Verbrauch meiner CPU?<\/strong>
\nDas h\u00e4ngt vom Modell der verwendeten CPU ab. Weitere Informationen \u00fcber die von meinem Rechner verwendete CPU finden Sie in der\u00a0Azure Microsoft Dokumentation<\/a>. Zum Zeitpunkt meiner Experimente (Oktober 2021) verwendete mein Rechner eine der 4 verschiedenen Arten von Intel Xeon CPUs:
\n- Intel Xeon Platinum 8270
\n- Intel Xeon Platinum 8171M
\n- Intel Xeon Prozessor E5-2697 v4
\n- Intel Xeon E5-2673 v3 @ 2.40GHz<\/p>\nNachdem ich online auf der Intel-Website nachgeschaut habe, konnte ich die CPU-Modelle mit ihrem Stromverbrauch abgleichen. Dabei habe ich die Thermal Design Power (TDP) verwendet, die die durchschnittliche Leistung in Watt angibt, die der Prozessor abgibt, wenn er mit der Basisfrequenz und allen aktiven Kernen arbeitet.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/11Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"11Messung")
<\/span><\/div>Da sich die verwendete CPU bei jeder Ausf\u00fchrung meines Codes \u00e4ndern kann, habe ich mich entschieden, die durchschnittliche TDP dieser vier CPUs zu nehmen, d.h.\u00a0158.75<\/strong>\u00a0in diesem Fall.
\nIch habe jetzt beides gefunden\u00a0Pc<\/strong>\u00a0(=1.0047) und\u00a0Cc<\/strong>\u00a0(=158.75)<\/p>\n<\/div>Werfen wir nun einen Blick auf die Datei memory.log<\/strong><\/p>\n
Nach demselben Verfahren wie zuvor kopiere ich den Inhalt meiner Datei in ein Google Sheet, teile den Text in Spalten auf und ordne sie so an, dass das folgende Format entsteht:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/12Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"12Messung")
<\/span><\/div>Ich wende dann eine Durchschnittsformel auf die Spalte C an, um die\u00a0durchschnittliche Nutzung des Arbeitsspeichers<\/strong>\u00a0zwischen 12:33:20 und 13:14:09 in MB. Ich teile diese Zahl durch 1024, um sie in GB umzurechnen.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/13Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"13Messung")
<\/span><\/div>Um den Stromverbrauch eines GB data abzusch\u00e4tzen, werde ich einer Faustregel folgen, die ich gefunden habe\u00a0Hier<\/a>\u00a0: 3W pro 8GB also 0.375W\/GB und\u00a01.88W<\/strong>\u00a0insgesamt f\u00fcr meine 5,015 GB Speicherverbrauch.<\/p>\n
Ich habe jetzt gefunden\u00a0Pm<\/strong>\u00a0(=1.88). Beachten Sie, dass der Stromverbrauch meines Arbeitsspeichers 85 Mal weniger wichtig zu sein scheint als der meiner CPU und daher \u00fcbersprungen werden k\u00f6nnte, um eine etwas weniger genaue, aber schnellere Bewertung zu erhalten.<\/p>\n
Da ich keine GPUs verwende, kann ich direkt zum letzten fehlenden Begriff \u00fcbergehen: der Power Usage Effectiveness. PUE ist eine Kennzahl, die den Energieverbrauch des data-Zentrums f\u00fcr alles andere als das Hosting von cloud-Diensten wie K\u00fchlung, Blindleistungskompensation, Beleuchtung ... bestimmt.<\/p>\n
Der Blick auf die\u00a0Microsoft Datacenter Datenblatt von 2015<\/a>, waren die durchschnittlichen PUE-Werte in seinem neuen data-Center\u00a01.125<\/strong>. Dies ist die Zahl, die wir f\u00fcr dieses Beispiel verwenden werden. Ein disziplinierterer Ansatz w\u00e4re jedoch, die tats\u00e4chliche PUE des f\u00fcr unsere Berechnungen verwendeten data-Centers zu ermitteln.<\/p>\n
Wir haben jetzt alle Terme unserer Gleichung, lassen Sie uns die Rechnung machen!<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/14Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"14Messung")
<\/span><\/div>Da unser Code zwischen 12:33:20 und 13:14:09 lief, ben\u00f6tigte er 40 Minuten und 49 Sekunden f\u00fcr die Ausf\u00fchrung (was 0,68 Stunden entspricht). Das bedeutet, dass er insgesamt verbraucht hat: 0,182 * 0,68 =\u00a00,1238 kW<\/strong><\/p>\n<\/div>
Schritt 3: Bewertung der Auswirkungen<\/h2><\/div>
Im letzten Schritt unserer Reise zur Messung des Kohlenstoffaussto\u00dfes m\u00fcssen wir nun die Auswirkungen dieses Stromverbrauchs bewerten, die in hohem Ma\u00dfe von dem Ort abh\u00e4ngen, an dem die Energie verbraucht wurde. Um dies zu berechnen, verwenden wir den Kohlenstoffintensit\u00e4tsfaktor, den wir leicht in\u00a0Website von Electricity Map<\/a>, ein Projekt zur Erfassung, Vorverarbeitung und Vereinheitlichung des \u00f6ffentlichen Stroms data aus 150 Regionen.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/15Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"15Messung")
<\/span><\/div>Als ich die CO2eq-Belastung meines Codes in den Niederlanden berechnete, lag der Wert f\u00fcr die Kohlenstoffbelastung bei 487 Gramm pro kW. Damit betr\u00e4gt die Auswirkung meines Codes 487 * 0,1238 =\u00a060,3 gCO2eq.<\/strong><\/p>\n
Dieser Wert mag niedrig erscheinen, aber wenn man bedenkt, dass mein St\u00fcck Code jeden Tag und das ganze Jahr \u00fcber lief, ergibt sich eine Auswirkung von 60,3 * 365,25 =\u00a022,0 kgCO2eq pro Jahr.<\/strong>
\nAber was bedeutet das im Vergleich zu anderen Aktivit\u00e4ten?<\/strong>\u00a0Wenn wir es zum Beispiel mit der Nutzung eines Autos vergleichen und die\u00a02019 durchschnittliche C02-Emissionen f\u00fcr alle Neuwagen<\/a>, Das entspricht dem Fu\u00dfabdruck einer 180 km langen Reise.<\/p>\nVerwendung von\u00a0monconvertisseurco2.fr<\/a>\u00a0Ich bin in der Lage, mehr gleichwertige Aktivit\u00e4ten zu erhalten, indem ich \u201cBase Carbon\u201d open data verwende, das von einer Organisation des franz\u00f6sischen Staates gesammelt wird: der \u201cNationalen Agentur f\u00fcr Umwelt und Energiemanagement\u201d oder ADEME.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/17Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"17Messung")
<\/span><\/div>Fazit<\/h2><\/div>
Wir haben es geschafft!<\/h3><\/div>
Nach einem Profiling unseres Codes, um sowohl die Speicher- als auch die CPU-Nutzung zu ermitteln, diese Zahlen in den Stromverbrauch umzurechnen und die Auswirkungen in CO2eq zu bewerten, ist es uns gelungen, den CO2-Fu\u00dfabdruck unseres Codes besser zu verstehen. Dies ist ein wichtiger Meilenstein, um einen Schritt zur\u00fcck auf die Umweltauswirkungen unseres Codes zu machen und die Bedeutung von Code-Optimierungen hervorzuheben.<\/p>\n
In diesem speziellen Fall, wie erw\u00e4hnt\u00a0im ersten Teil dar\u00fcber, wie Sie Leistungsengp\u00e4sse in Jupiter Lab aufsp\u00fcren und vermeiden k\u00f6nnen<\/a>, Durch die Optimierung einer einzigen Codezeile konnte ich 90% an Rechenzeit und 92% an CO2eq einsparen, wodurch ich von 22kgCO2eq auf weniger als 2kgCO2eq pro Jahr kam.<\/p>\n
Heutzutage versprechen die meisten cloud-Anbieterplattformen, einschlie\u00dflich Azure\u00a0eine neutrale Auswirkung auf die Umwelt zu haben<\/a>\u00a0dank der Kompensationsprojekte. Umweltexperten sind sich jedoch einig, dass sie zwar effektiv und wichtig sind,\u00a0Kompensationsprojekte allein reichen nicht aus, um die Auswirkungen unserer Aktivit\u00e4ten auf den Planeten zu kontrollieren<\/strong>, und dass die\u00a0die beste L\u00f6sung ist immer noch, die Emissionen an der Quelle zu reduzieren<\/strong><\/a>, wie in diesem Optimierungsprojekt.
\nDas ist es, was wir bei Artefact durch unsere verschiedenen Umweltinitiativen zu f\u00f6rdern versuchen!<\/p>\n<\/div><\/div><\/div><\/div><\/article> - <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"mittel\\"")
<\/span><\/div>