![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/03\/mae\u0308l-deschamps.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"M\u00e9dio")
<\/span><\/div>Neste artigo, analisaremos cada fase do processo, que pode ser dividido em tr\u00eas partes diferentes:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/1Measuring-the-CO2eq-impact-of-your-Python-Notebook.png\" "\\"1Medindo")
<\/span><\/div>- <\/i><\/span>O\u00a0Perfilamento<\/strong>, onde coletaremos data sobre o consumo de recursos de nosso c\u00f3digo<\/div><\/li>
- <\/i><\/span>
O Computa\u00e7\u00e3o<\/strong>, onde transformaremos esses recursos em consumo de energia<\/div><\/li>- <\/i><\/span>
\nO\u00a0Avalia\u00e7\u00e3o<\/strong>, Se o senhor tiver uma vis\u00e3o geral da situa\u00e7\u00e3o, converta esse consumo de energia em impacto no meio ambiente<\/p>\n<\/div><\/li><\/ul>
Cada parte ser\u00e1 acompanhada de sua implementa\u00e7\u00e3o real em um notebook no Azure ML Studio.<\/p>\n<\/div>
Etapa 1: cria\u00e7\u00e3o de perfil do c\u00f3digo<\/h2><\/div>
O objetivo dessa primeira etapa \u00e9 bastante simples: encontrar o consumo de mem\u00f3ria e CPU do seu c\u00f3digo. No caso da nossa m\u00e1quina, tr\u00eas par\u00e2metros principais ser\u00e3o levados em conta:<\/p>\n<\/div>
- <\/i><\/span>A energia consumida pela CPU\/GPU<\/div><\/li>
- <\/i><\/span>
A energia consumida pelo uso da mem\u00f3ria<\/div><\/li>- <\/i><\/span>
a energia usada pelo sistema de resfriamento (fator de efic\u00e1cia do uso de energia)<\/div><\/li><\/ul>Podemos encontrar facilmente informa\u00e7\u00f5es on-line para aproximar a efici\u00eancia do uso de energia (PUE), mas medir o consumo de CPU\/mem\u00f3ria do nosso notebook Python n\u00e3o \u00e9 t\u00e3o simples assim. Existem muitas solu\u00e7\u00f5es (timeit, cProfile, psutil), mas elas se concentram mais na cria\u00e7\u00e3o de perfis de tempo do que no consumo de CPU e mem\u00f3ria.<\/p>\n
Por uma quest\u00e3o de propriedade e simplicidade, decidi codificar meu pr\u00f3prio script de cria\u00e7\u00e3o de perfil no Bash, medindo o consumo da minha m\u00e1quina em um loop infinito, pois o c\u00f3digo que eu precisava avaliar estava localizado em uma inst\u00e2ncia do JupyterLab em execu\u00e7\u00e3o no Linux (18.04.1-Ubuntu SMP).<\/p>\n
O primeiro script, usado para medir a cada segundo o uso exato da mem\u00f3ria, foi salvo como\u00a0memory_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![\"Measuring](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.53.17.png\" "\\"artigo")
<\/span><\/div>O segundo script, usado para medir a cada segundo o consumo m\u00e9dio da CPU durante o \u00faltimo minuto, foi salvo como\u00a0cpu_profiler.sh<\/strong>\u00a0:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.04.png\" "\\"Captura")
<\/span><\/div>Mas ter esses dois scripts n\u00e3o era suficiente, pois eu tamb\u00e9m precisava saber exatamente quando meu c\u00f3digo estava sendo executado. Para isso, adicionei uma c\u00e9lula, na parte superior do meu notebook :<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.08.png\" "\\"Captura")
<\/span><\/div>E outra c\u00e9lula, no final do meu caderno:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/Capture-de\u0301cran-2022-07-20-a\u0300-14.54.13.png\" "\\"Captura")
<\/span><\/div>Agora que tudo estava pronto, eu s\u00f3 tinha que :<\/p>\n
1. Certifique-se de que meu ambiente n\u00e3o esteja polu\u00eddo com outras tarefas em execu\u00e7\u00e3o em segundo plano e feche todas as inst\u00e2ncias em andamento pressionando o bot\u00e3o Shut Down All<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/4Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"4Medindo")
<\/span><\/div>2. Abra uma inst\u00e2ncia de terminal para executar o script memory_log.sh em segundo plano<\/p>\n
.\/memory_log.sh<\/span><\/strong><\/pre>\n3. Abra outra inst\u00e2ncia de terminal para executar o script cpu_log.sh em segundo plano<\/p>\n
.\/cpu_log.sh<\/span><\/strong><\/pre>\n4. Instanciar e executar todas as c\u00e9lulas do meu notebook<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/5Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"5Medindo")
<\/span><\/div>Depois que todo o notebook foi executado, posso interromper os dois scripts do Linux pressionando CTRL + C em cada terminal, verificar se os arquivos memory.log e cpu.log foram criados com \u00eaxito e anotar a hora de in\u00edcio e a hora de t\u00e9rmino da execu\u00e7\u00e3o do meu notebook usando as duas c\u00e9lulas adicionadas com datetime.now().<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/6Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"6Medindo")
<\/span><\/div>Agora eu tinha tudo o que precisava para a pr\u00f3xima fase de computa\u00e7\u00e3o.<\/p>\n<\/div>
Etapa 2: Calcular a energia<\/h2><\/div>
Agora que coletamos todos os data sobre o consumo de recursos, podemos come\u00e7ar a converter tudo em kWh, medida que representa o consumo de energia.
\nPara isso, usaremos a seguinte equa\u00e7\u00e3o:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/7Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"7Medindo")
<\/span><\/div>Vamos come\u00e7ar com as m\u00e9tricas relacionadas \u00e0s CPUs.<\/strong>
\nComo primeira etapa, copio o conte\u00fado do arquivo cpu.log em uma planilha do Google que usarei posteriormente para obter meu consumo m\u00e9dio de CPU:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/8Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"8Medindo")
<\/span><\/div>Fa\u00e7o algumas manipula\u00e7\u00f5es em minha planilha (dividir o texto em colunas, excluir colunas n\u00e3o utilizadas, adicionar nomes de colunas) para obter algo mais pr\u00e1tico para explorar:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/9Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"9Medindo")
<\/span><\/div>Meu notebook funcionou das 12:33:20 \u00e0s 13:14:09, ent\u00e3o posso simplesmente adicionar uma f\u00f3rmula para retornar a m\u00e9dia de cpu_1 entre esses hor\u00e1rios e dividir essa m\u00e9dia pelo n\u00famero de CPUs da minha m\u00e1quina:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/10Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"10Medindo")
<\/span><\/div>Agora entendo que meu Notebook est\u00e1 usando em m\u00e9dia\u00a08.038 CPUs<\/strong>\u00a0durante seus 40 minutos de execu\u00e7\u00e3o, que correspondem a\u00a0100,47% de uso m\u00e9dio da CPU.<\/strong>
\nMas qual \u00e9 o consumo da minha CPU?<\/strong>
\nIsso depende do modelo de CPU usado. Encontrei mais informa\u00e7\u00f5es sobre a CPU usada pela minha m\u00e1quina no\u00a0Documenta\u00e7\u00e3o da Microsoft sobre o Azure<\/a>. Na \u00e9poca dos meus experimentos (outubro de 2021), minha m\u00e1quina estava usando um dos 4 tipos diferentes de CPU Intel Xeon:
\n- Intel Xeon Platinum 8270
\n- Intel Xeon Platinum 8171M
\n- Processador Intel Xeon E5-2697 v4
\n- Intel Xeon E5-2673 v3 a 2,40 GHz<\/p>\nDepois de pesquisar on-line no site da Intel, consegui associar os modelos de CPU ao seu consumo de energia, usando o Thermal Design Power (TDP), que representa a energia m\u00e9dia, em watts, que o processador dissipa ao operar na frequ\u00eancia b\u00e1sica com todos os n\u00facleos ativos.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/11Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"11Medindo")
<\/span><\/div>Como a CPU usada pode mudar a cada execu\u00e7\u00e3o do meu c\u00f3digo, decidi escolher o TDP m\u00e9dio dessas quatro CPUs, que \u00e9\u00a0158.75<\/strong>\u00a0nesse caso.
\nAgora encontrei os dois\u00a0Pc<\/strong>\u00a0(=1,0047) e\u00a0Cc<\/strong>\u00a0(=158.75)<\/p>\n<\/div>Vamos agora dar uma olhada no arquivo memory.log<\/strong><\/p>\n
Seguindo os mesmos processos de antes, copio o conte\u00fado do meu arquivo em um Google Sheet, divido o texto em colunas e as organizo para obter o seguinte formato:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/12Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"12Medindo")
<\/span><\/div>Em seguida, aplico uma f\u00f3rmula m\u00e9dia na coluna C para obter o\u00a0uso m\u00e9dio da mem\u00f3ria<\/strong>\u00a0entre 12:33:20 e 13:14:09 em MB. Eu divido esse n\u00famero por 1024 para convert\u00ea-lo em GB.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/13Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"13Medindo")
<\/span><\/div>Para estimar o uso de energia de um GB de data, seguirei uma regra geral encontrada\u00a0aqui<\/a>\u00a0: 3W por 8GB, portanto, 0,375W\/GB e\u00a01.88W<\/strong>\u00a0no total para meu uso de 5,015 GB de mem\u00f3ria.<\/p>\n
Agora encontrei\u00a0Pm<\/strong>\u00a0(=1.88). Observe que a energia consumida pela minha mem\u00f3ria parece ser 85 vezes menos importante do que a consumida pela minha CPU e pode ser ignorada para obter uma avalia\u00e7\u00e3o um pouco menos precisa, mas mais r\u00e1pida.<\/p>\n
Como n\u00e3o uso nenhuma GPU, posso passar diretamente para o \u00faltimo termo que falta: o Power Usage Effectiveness. A PUE \u00e9 uma taxa que determina a energia usada pelo centro data para qualquer outra coisa que n\u00e3o seja hospedar servi\u00e7os cloud, como resfriamento, compensa\u00e7\u00e3o de energia reativa, luzes...<\/p>\n
Olhando para o\u00a0Ficha t\u00e9cnica do Microsoft Datacenter de 2015<\/a>, Em seu novo centro data, a PUE m\u00e9dia foi de\u00a01.125<\/strong>. Esse \u00e9 o n\u00famero que usaremos para este exemplo, mas uma abordagem mais disciplinada ser\u00e1 encontrar a PUE real do centro data usado para nossos c\u00e1lculos.<\/p>\n
Agora temos todos os termos de nossa equa\u00e7\u00e3o, vamos fazer as contas!<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/14Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"14Medindo")
<\/span><\/div>Como nosso c\u00f3digo foi executado entre 12:33:20 e 13:14:09, ele levou 40 minutos e 49 segundos para ser executado (o que equivale a 0,68 horas). Isso significa que, no total, ele consumiu: 0,182 * 0,68 =\u00a00,1238 kW<\/strong><\/p>\n<\/div>
Etapa 3: Avaliar o impacto<\/h2><\/div>
Na \u00faltima etapa de nossa jornada de medi\u00e7\u00e3o de carbono, precisamos agora avaliar o impacto desse consumo de eletricidade, que depende muito do local onde a energia foi consumida. Para calcular esse impacto, usaremos o fator de intensidade de carbono que podemos encontrar facilmente em\u00a0Site do Electricity Map<\/a>, O senhor est\u00e1 trabalhando em um projeto para reunir, pr\u00e9-processar e unificar a eletricidade p\u00fablica data de 150 regi\u00f5es geogr\u00e1ficas.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/15Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"15Medindo")
<\/span><\/div>Quando calculei o impacto de CO2eq do meu c\u00f3digo em execu\u00e7\u00e3o na Holanda, o valor do impacto de carbono foi de 487 gramas por kW. Isso faz com que o impacto do meu c\u00f3digo seja de 487 * 0,1238 =\u00a060,3 gCO2eq.<\/strong><\/p>\n
Esse valor pode parecer baixo, mas, sabendo que meu c\u00f3digo estava sendo executado todos os dias e durante todo o ano, o impacto foi aumentado para 60,3 * 365,25 =\u00a022,0 kgCO2eq por ano.<\/strong>
\nMas o que isso representa em compara\u00e7\u00e3o com outras atividades?<\/strong>\u00a0Se compararmos com o uso de um carro, por exemplo, e considerarmos o\u00a0Emiss\u00f5es m\u00e9dias de C02 em 2019 para todos os carros novos<\/a>, O que o senhor acha que \u00e9 o equivalente \u00e0 pegada de uma viagem de 180 km?.<\/p>\nUsando\u00a0monconvertisseurco2.fr<\/a>\u00a0Consegui obter mais atividades equivalentes usando o \u201cBase Carbon\u201d aberto data, coletado por uma organiza\u00e7\u00e3o do estado franc\u00eas: a \u201cAg\u00eancia Nacional para o Meio Ambiente e Gerenciamento de Energia\u201d ou ADEME.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/07\/17Measuring-the-CO2eq-impact-of-your-Python-Notebook-Azure-ML.png\" "\\"17Medindo")
<\/span><\/div>Conclus\u00e3o<\/h2><\/div>
Conseguimos!<\/h3><\/div>
Depois de criar um perfil do nosso c\u00f3digo para obter o uso da mem\u00f3ria e da CPU, computar esses n\u00fameros em consumo de eletricidade e avaliar o impacto em CO2eq, conseguimos entender melhor a pegada de carbono do nosso c\u00f3digo. Esse \u00e9 um marco importante para dar um passo atr\u00e1s no impacto ambiental do nosso c\u00f3digo e para destacar a import\u00e2ncia das otimiza\u00e7\u00f5es de c\u00f3digo.<\/p>\n
Nesse caso espec\u00edfico, conforme mencionado\u00a0na primeira parte sobre como rastrear e evitar gargalos de desempenho no Jupiter Lab<\/a>, Com a otimiza\u00e7\u00e3o de apenas uma linha de c\u00f3digo, economizei 90% do meu tempo de computa\u00e7\u00e3o e 92% do meu impacto de CO2eq, passando de 22kgCO2eq para menos de 2kgCO2eq por ano.<\/p>\n
Atualmente, a maioria das plataformas de provedores cloud, incluindo o Azure, promete\u00a0ter um impacto neutro sobre o meio ambiente<\/a>\u00a0gra\u00e7as aos projetos de compensa\u00e7\u00e3o de carbono. No entanto, os especialistas em meio ambiente concordam que, apesar de eficazes e importantes, os projetos de compensa\u00e7\u00e3o de carbono n\u00e3o s\u00e3o suficientes,\u00a0os projetos de compensa\u00e7\u00e3o de carbono por si s\u00f3 n\u00e3o s\u00e3o suficientes para controlar o impacto de nossa atividade no planeta<\/strong>, e que o\u00a0a melhor solu\u00e7\u00e3o ainda \u00e9 reduzir as emiss\u00f5es na fonte<\/strong><\/a>, como neste projeto de otimiza\u00e7\u00e3o.
\n\u00c9 isso que tentamos promover na Artefact por meio de nossas diferentes iniciativas ambientais!<\/p>\n<\/div><\/div><\/div><\/div><\/article> - <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"m\u00e9dio\\"")
<\/span><\/div>