![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/03\/mae\u0308l-deschamps.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mediano")
<\/span><\/div>Durante este art\u00edculo, recorreremos cada fase del proceso que puede dividirse en tres partes diferentes :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/1Measuring-the-CO2eq-impact-of-your-Python-Notebook.png\" "\\"1Medir")
<\/span><\/div>- <\/i><\/span>El\u00a0Perfilado<\/strong>, donde recogeremos data sobre el consumo de recursos de nuestro c\u00f3digo<\/div><\/li>
- <\/i><\/span>
El C\u00f3mputo<\/strong>, donde transformaremos esos recursos, en consumo de energ\u00eda<\/div><\/li>- <\/i><\/span>
\nEl\u00a0Evaluaci\u00f3n<\/strong>, donde convertiremos este consumo de energ\u00eda en impacto sobre el medio ambiente<\/p>\n<\/div><\/li><\/ul>
Cada parte ir\u00e1 acompa\u00f1ada de su implementaci\u00f3n real en un cuaderno en Azure ML Studio.<\/p>\n<\/div>
Paso 1: Perfilado del c\u00f3digo<\/h2><\/div>
El objetivo de este primer paso es bastante sencillo: averiguar el consumo de memoria y de CPU de su c\u00f3digo. En el caso de nuestra m\u00e1quina, se tendr\u00e1n en cuenta tres par\u00e1metros principales:<\/p>\n<\/div>
- <\/i><\/span>la energ\u00eda consumida por la CPU \/ GPU<\/div><\/li>
- <\/i><\/span>
la energ\u00eda consumida por el uso de la memoria<\/div><\/li>- <\/i><\/span>
la energ\u00eda utilizada por el sistema de refrigeraci\u00f3n (factor de eficacia del uso de la energ\u00eda)<\/div><\/li><\/ul>Podemos encontrar f\u00e1cilmente informaci\u00f3n en l\u00ednea para aproximar la Eficacia del Uso de la Energ\u00eda (PUE), pero medir el consumo de CPU \/ Memoria de nuestro cuaderno Python no es tan sencillo. Existen muchas soluciones (timeit, cProfile, psutil) pero se centran m\u00e1s en el perfilado del tiempo que en el consumo de CPU y Memoria.<\/p>\n
En aras de la propiedad y la simplicidad, decid\u00ed codificar mi propio script de perfilado en Bash, midiendo el consumo de mi m\u00e1quina en un bucle eterno, ya que el c\u00f3digo que necesitaba evaluar se encontraba en una instancia de JupyterLab que se ejecutaba en Linux (18.04.1-Ubuntu SMP).<\/p>\n
El primer script, utilizado para medir cada segundo el uso exacto de Memoria se guard\u00f3 como\u00a0perfil_de_memoria.sh<\/strong>\u00a0:<\/p>\n<\/div>
![\"Measuring](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.53.17.png\" "\\"art\u00edculo")
<\/span><\/div>El segundo script, utilizado para medir cada segundo el consumo medio de CPU durante el \u00faltimo minuto se guard\u00f3 como\u00a0cpu_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.04.png\" "\\"Captura")
<\/span><\/div>Pero tener esos dos scripts no era suficiente, ya que tambi\u00e9n necesitaba saber exactamente cu\u00e1ndo se estaba ejecutando mi c\u00f3digo. Para servir a este prop\u00f3sito a\u00f1ad\u00ed una celda, en la parte superior de mi cuaderno :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.08.png\" "\\"Captura")
<\/span><\/div>Y otra celda, en el fondo de mi cuaderno :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.13.png\" "\\"Captura")
<\/span><\/div>Ahora que todo estaba listo, s\u00f3lo ten\u00eda que :<\/p>\n
1. Aseg\u00farese de que mi entorno no estaba contaminado con otras tareas ejecut\u00e1ndose en segundo plano y cierre todas las instancias en curso pulsando el bot\u00f3n Apagar todo<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/4Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"4Medici\u00f3n")
<\/span><\/div>2. Abra una instancia de terminal para ejecutar el script memory_log.sh en segundo plano<\/p>\n
.\/registro_de_memoria.sh<\/span><\/strong><\/pre>\n3. Abra otra instancia de terminal para ejecutar el script cpu_log.sh en segundo plano<\/p>\n
.\/cpu_log.sh<\/span><\/strong><\/pre>\n4. Instanciar y ejecutar todas las celdas de mi bloc de notas<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/5Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"5Medici\u00f3n")
<\/span><\/div>Una vez ejecutado todo el cuaderno, puedo detener ambos scripts Linux pulsando CTRL + C en cada terminal, comprobar si mis archivos memory.log y cpu.log se crearon correctamente, y anotar la hora de inicio y la hora de finalizaci\u00f3n de la ejecuci\u00f3n de mi cuaderno aprovechando las dos celdas a\u00f1adidas con datetime.now().<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/6Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"6Medici\u00f3n")
<\/span><\/div>Ahora ten\u00eda todo lo que necesitaba para la siguiente fase de c\u00e1lculo.<\/p>\n<\/div>
Paso 2: Calcular en energ\u00eda<\/h2><\/div>
Ahora que hemos recopilado todos los data sobre el consumo de recursos, podemos empezar a convertirlo todo en kWh, medida que representa el consumo de energ\u00eda.
\nPara ello, utilizaremos la siguiente ecuaci\u00f3n:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/7Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"7Medici\u00f3n")
<\/span><\/div>Empecemos primero con las m\u00e9tricas relacionadas con las CPU.<\/strong>
\nComo primer paso copio el contenido del archivo cpu.log en una hoja de c\u00e1lculo de Google que luego utilizar\u00e9 para obtener mi consumo medio de CPU :<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/8Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"8Medici\u00f3n")
<\/span><\/div>Hago algunas manipulaciones en mi Hoja, (Dividir texto en columnas, Borrar columnas no utilizadas, A\u00f1adir nombres de columnas) con el fin de obtener algo m\u00e1s a mano para explotar :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/9Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"9Medici\u00f3n")
<\/span><\/div>Mi port\u00e1til funcion\u00f3 desde las 12:33:20 hasta las 13:14:09, as\u00ed que s\u00f3lo tengo que a\u00f1adir una f\u00f3rmula que devuelva la media de cpu_1 entre esos tiempos, y dividir esa Media por el n\u00famero de CPUs de mi m\u00e1quina :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/10Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"10Medici\u00f3n")
<\/span><\/div>Ahora entiendo que mi port\u00e1til est\u00e1 utilizando en promedio\u00a08.038 CPU<\/strong>\u00a0durante sus 40 minutos de ejecuci\u00f3n que corresponden a\u00a0100,47% de uso medio de la CPU.<\/strong>
\nPero, \u00bfcu\u00e1l es el consumo de mi CPU?<\/strong>
\nDepende del modelo de CPU utilizado, he encontrado m\u00e1s informaci\u00f3n sobre la CPU utilizada por mi m\u00e1quina en el\u00a0Azure Documentaci\u00f3n de Microsoft<\/a>. En el momento de mis experimentos (octubre de 2021), mi m\u00e1quina utilizaba uno de los 4 tipos diferentes de CPU Intel Xeon :
\n- Intel Xeon Platinum 8270
\n- Intel Xeon Platinum 8171M
\n- Procesador Intel Xeon E5-2697 v4
\n- Intel Xeon E5-2673 v3 a 2,40GHz<\/p>\nDespu\u00e9s de mirar en l\u00ednea en el sitio web de Intel, pude emparejar los modelos de CPU con su consumo de energ\u00eda, utilizando la Potencia de Dise\u00f1o T\u00e9rmico (TDP) que representa la potencia media, en vatios, que disipa el procesador cuando funciona a la Frecuencia Base con todos los n\u00facleos activos.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/11Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"11Medici\u00f3n")
<\/span><\/div>Como la CPU utilizada puede cambiar en cada ejecuci\u00f3n de mi c\u00f3digo, decid\u00ed escoger el TDP medio de estas cuatro CPU, que es de\u00a0158.75<\/strong>\u00a0en ese caso.
\nAhora he encontrado ambos\u00a0Pc<\/strong>\u00a0(=1,0047) y\u00a0Cc<\/strong>\u00a0(=158.75)<\/p>\n<\/div>Echemos ahora un vistazo al archivo memory.log<\/strong><\/p>\n
Siguiendo los mismos procesos que antes, copio el contenido de mi archivo en una hoja de Google, divido el texto en columnas y las ordeno para obtener el siguiente formato :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/12Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"12Medici\u00f3n")
<\/span><\/div>A continuaci\u00f3n, aplico una f\u00f3rmula de promedio en la columna C, para obtener el\u00a0uso medio de la memoria<\/strong>\u00a0entre las 12:33:20 y las 13:14:09 en MB. Divido este n\u00famero por 1024 para convertirlo en GB.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/13Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"13Medici\u00f3n")
<\/span><\/div>Para estimar el uso de energ\u00eda de un GB de data, seguir\u00e9 una regla emp\u00edrica encontrada\u00a0aqu\u00ed<\/a>\u00a0: 3W por 8GB por lo que 0,375W\/GB y\u00a01.88W<\/strong>\u00a0en total para mi uso de 5,015 GB de memoria.<\/p>\n
Ahora he encontrado\u00a0Pm<\/strong>\u00a0(=1.88). Tenga en cuenta que la energ\u00eda consumida por la memoria parece ser 85 veces menos importante que la consumida por la CPU y podr\u00eda omitirse para obtener una evaluaci\u00f3n algo menos precisa pero m\u00e1s r\u00e1pida.<\/p>\n
Como no utilizo ninguna GPU, puedo pasar directamente al \u00faltimo t\u00e9rmino que falta: la Eficacia del Uso de la Energ\u00eda. El PUE es un ratio que determina la energ\u00eda utilizada por el centro data para todo lo que no sea alojar servicios cloud como refrigeraci\u00f3n, compensaci\u00f3n de potencia reactiva, luces...<\/p>\n
Mirando el\u00a0Hoja informativa Microsoft Datacenter de 2015<\/a>, la PUE media en su nuevo centro data fue de\u00a01.125<\/strong>. Esta es la cifra que tomaremos para este ejemplo, pero un enfoque m\u00e1s disciplinado consistir\u00e1 en hallar el PUE real del centro data utilizado para nuestros c\u00e1lculos.<\/p>\n
Ya tenemos todos los t\u00e9rminos de nuestra ecuaci\u00f3n, \u00a1hagamos los c\u00e1lculos!<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/14Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"14Medici\u00f3n")
<\/span><\/div>Como nuestro c\u00f3digo se ejecut\u00f3 entre las 12:33:20 y las 13:14:09, tard\u00f3 40 minutos y 49 segundos en ejecutarse (lo que equivale a 0,68 horas). Significa que en total consumi\u00f3 : 0,182 * 0,68 =\u00a00,1238 kW<\/strong><\/p>\n<\/div>
Paso 3: Evaluar el impacto<\/h2><\/div>
\u00daltimo paso de nuestro viaje por la Medici\u00f3n del Carbono, ahora tenemos que evaluar el impacto de este consumo de electricidad, que depende en gran medida del lugar donde se haya consumido la energ\u00eda. Para calcularlo utilizaremos el factor de Intensidad de Carbono que podemos encontrar f\u00e1cilmente en\u00a0P\u00e1gina web del mapa el\u00e9ctrico<\/a>, un proyecto para recopilar, preprocesar y unificar la electricidad p\u00fablica data de 150 geograf\u00edas.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/15Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"15Medici\u00f3n")
<\/span><\/div>Cuando calcul\u00e9 el impacto de CO2eq de mi c\u00f3digo funcionando en Holanda, el valor del impacto de carbono se situ\u00f3 en 487 gramos por kW. Eso eleva el impacto de mi c\u00f3digo a 487 * 0,1238 =\u00a060,3 gCO2eq.<\/strong><\/p>\n
Este valor puede parecer bajo, pero sabiendo que mi trozo de c\u00f3digo se ejecutaba todos los d\u00edas y durante todo el a\u00f1o el impacto se elev\u00f3 a 60,3 * 365,25 =\u00a022,0 kgCO2eq al a\u00f1o.<\/strong>
\nPero, \u00bfqu\u00e9 representa en comparaci\u00f3n con otras actividades?<\/strong>\u00a0Si lo comparamos con el uso de un coche, por ejemplo, y tomamos la\u00a0Emisiones medias de C02 en 2019 para todos los coches nuevos<\/a>, equivale a la huella de un viaje de 180 km.<\/p>\nUtilizando\u00a0monconvertisseurco2.fr<\/a>\u00a0Puedo obtener m\u00e1s actividades equivalentes utilizando el \u201cCarbono Base\u201d abierto data, recogido por un organismo del Estado franc\u00e9s: la \u201cAgencia Nacional para el Medio Ambiente y la Gesti\u00f3n de la Energ\u00eda\u201d o ADEME.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/17Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"17Medici\u00f3n")
<\/span><\/div>Conclusi\u00f3n<\/h2><\/div>
\u00a1Lo hemos conseguido!<\/h3><\/div>
Tras un perfilado de nuestro c\u00f3digo para obtener el uso tanto de memoria como de cpu, computar esas cifras en consumo el\u00e9ctrico y evaluar el impacto en CO2eq, conseguimos comprender mejor la huella de carbono de nuestro c\u00f3digo. Se trata de un hito importante para dar un paso atr\u00e1s en el impacto medioambiental de nuestro c\u00f3digo y para destacar la importancia de las optimizaciones del c\u00f3digo.<\/p>\n
En este caso concreto, como se ha mencionado\u00a0en la primera parte sobre c\u00f3mo rastrear y evitar los cuellos de botella de rendimiento en Jupiter Lab<\/a>, s\u00f3lo optimizar una l\u00ednea de c\u00f3digo me permiti\u00f3 ahorrar 90% de mi tiempo de c\u00e1lculo y 92% de mi impacto CO2eq, pasando de 22kgCO2eq a menos de 2kgCO2eq al a\u00f1o.<\/p>\n
Hoy en d\u00eda, la mayor\u00eda de las plataformas proveedoras de cloud, incluida Azure, prometen\u00a0tener un impacto neutro en el medio ambiente<\/a>\u00a0gracias a los proyectos de compensaci\u00f3n de emisiones de carbono. Sin embargo, los expertos en medio ambiente coinciden en que, aunque eficaces e importantes,\u00a0los proyectos de compensaci\u00f3n de emisiones de carbono no bastan por s\u00ed solos para controlar el impacto de nuestra actividad sobre el planeta<\/strong>, y que el\u00a0la mejor soluci\u00f3n sigue siendo reducir las emisiones en la fuente<\/strong><\/a>, como en este proyecto de optimizaci\u00f3n.
\n\u00a1Esto es lo que intentamos promover en Artefact a trav\u00e9s de nuestras diferentes iniciativas medioambientales!<\/p>\n<\/div><\/div><\/div><\/div><\/article> - <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"medio\\"")
<\/span><\/div>