![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mediano")
<\/span><\/div>![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/yague-thiam.jpeg\")
Introducci\u00f3n<\/h2><\/div>Este proyecto forma parte de la contribuci\u00f3n de Artefact en Tech for Good. El proyecto se ha llevado a cabo en colaboraci\u00f3n con el Instituto Carnot CALYM, un consorcio dedicado a la investigaci\u00f3n en asociaci\u00f3n sobre el linfoma, y Microsoft.<\/p>\n
En oto\u00f1o de 2019, el Institut Carnot CALYM lanz\u00f3 un programa de estructuraci\u00f3n destinado a establecer una hoja de ruta para optimizar la valorizaci\u00f3n y la explotaci\u00f3n del data a partir de la investigaci\u00f3n cl\u00ednica, traslacional y precl\u00ednica llevada a cabo por los miembros del consorcio desde hace m\u00e1s de 20 a\u00f1os. Este proyecto, propuesto por el Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Francia) y la Pr Christiane Copie (LYSARC, Pierre-B\u00e9nite, Francia), ambos miembros del Institut Carnot CALYM, forma parte de este programa de estructuraci\u00f3n.<\/p>\n<\/div>
El objetivo principal de este proyecto de investigaci\u00f3n es desarrollar un algoritmo de aprendizaje profundo para ayudar a los pat\u00f3logos a diagnosticar el linfoma folicular. Un objetivo secundario es identificar criterios informativos que puedan ayudar a los expertos m\u00e9dicos a comprender las diferencias morfol\u00f3gicas entre el linfoma folicular y la hiperplasia folicular, a los que nos referiremos a continuaci\u00f3n como FL y FH.<\/p>\n<\/div>
\u00bfQu\u00e9 es el linfoma folicular? \u00bfCu\u00e1les son los retos en su diagn\u00f3stico?<\/h2><\/div>El FL es un subtipo de Linfoma, el c\u00e1ncer de la sangre m\u00e1s frecuente en el mundo. Existen m\u00e1s de 80 tipos de linfoma y esta diversidad dificulta su diagn\u00f3stico, incluso para los expertos. Adem\u00e1s, el FL es muy similar al FH, que no es canceroso, lo que a\u00f1ade dificultades a su diagn\u00f3stico.<\/p>\n
En este art\u00edculo describiremos nuestro enfoque en la construcci\u00f3n de un clasificador para FL y FH utilizando \u00fanicamente im\u00e1genes de portaobjetos enteros etiquetadas. Las im\u00e1genes de portaobjetos completos son archivos digitales de alta resoluci\u00f3n de portaobjetos de microscopio escaneados. En nuestro caso contienen extractos de ganglios linf\u00e1ticos.<\/p>\n<\/div>
\u00bfC\u00f3mo podr\u00eda ayudar el aprendizaje profundo en su detecci\u00f3n?<\/h2><\/div>Utilizando im\u00e1genes de diapositivas completas de FL y FH, entrenamos un clasificador binario mediante un enfoque basado en parches. La arquitectura de nuestro modelo es una simple Resnet-18 entrenada en unas pocas \u00e9pocas (~10).<\/p>\n
Tras predecir la clase de una observaci\u00f3n con el clasificador, extraemos la \u00faltima capa de activaci\u00f3n para construir un mapa de calor sobre la imagen de entrada para resaltar las partes que han incitado al modelo a definir una clase determinada.<\/p>\n<\/div>
\u00bfPor qu\u00e9 utilizamos una clasificaci\u00f3n basada en parches?<\/h2><\/div>La clasificaci\u00f3n basada en parches es una t\u00e9cnica de clasificaci\u00f3n en la que la clase de una observaci\u00f3n dada se construye a partir de la agregaci\u00f3n de las predicciones de sus componentes (parches). En nuestro caso se utiliza porque las im\u00e1genes son demasiado grandes para utilizarlas directamente en el modelo.<\/p>\n
De hecho, las im\u00e1genes de diapositivas completas son muy grandes (~10\u2075 p\u00edxeles cuadrados). Su tama\u00f1o hace que el entrenamiento de un modelo de aprendizaje profundo sea casi imposible con las herramientas habituales. Para resolver este problema, las dividimos en parches del mismo tama\u00f1o siguiendo dos criterios importantes:<\/p>\n<\/div>
- <\/i><\/span>los parches deben ser lo suficientemente grandes para que los fol\u00edculos permanezcan visibles en ellos<\/div><\/li>
- <\/i><\/span>los parches deben ser lo suficientemente peque\u00f1os para que el entrenamiento de un modelo pueda realizarse en un tiempo razonable<\/div><\/li><\/ul>
En la clasificaci\u00f3n basada en parches, el resultado del modelo puede interpretarse como el de una clasificaci\u00f3n cl\u00e1sica, salvo que la primera capa de c\u00e1lculo es a nivel de todo el tobog\u00e1n. Por ejemplo, al predecir la clase de una diapositiva de FL, una puntuaci\u00f3n de 98% significar\u00eda que se ha predicho que 98 % de los parches que la componen son FL.<\/p>\n
En el nivel dataset, esta diapositiva se predecir\u00e1 con una puntuaci\u00f3n de 0,98 para la clase FL.<\/p>\n
PD: Hicimos la hip\u00f3tesis de dividir las im\u00e1genes en parches bas\u00e1ndonos en las conclusiones de los expertos m\u00e9dicos que afirman que en una diapositiva completa de FL, se espera que los fol\u00edculos est\u00e9n presentes en todas partes.<\/p>\n<\/div>
Conjunto de entrenamiento<\/h2><\/div>Nuestro conjunto de entrenamiento se compone de 58k parches seleccionados al azar\u00a0(cuadrado de 1024 p\u00edxeles)<\/em>\u00a0de FL y FH extra\u00eddas de un conjunto de 30 im\u00e1genes de diapositivas enteras de cada una de las 2 clases.<\/p>\n<\/div>Conjunto de validaci\u00f3n<\/h2><\/div>Se tomaron muestras de 20% de los parches para validar el rendimiento del modelo en el momento del entrenamiento.<\/p>\n<\/div>
Conjunto de pruebas<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Modelado<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Antes de entrenar el clasificador de aprendizaje profundo Preparaci\u00f3n y procesamiento de im\u00e1genes<\/h3><\/div>![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/photo-1-1-1.png\")
<\/p>\n
\n(Arriba: Las im\u00e1genes se dividen primero en parches y luego se normalizan antes de introducirlas en el modelo para su entrenamiento).<\/em><\/p>\n<\/div>Despu\u00e9s de la formaci\u00f3n: Inferencia e interpretaci\u00f3n<\/h3><\/div>![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-2-1.png\")
<\/p>\n
(Arriba: En el momento de la inferencia, las nuevas diapositivas enteras se dividen en parches antes de que el modelo prediga una clase para<\/em>
\ncada una de ellas. Las partes de las im\u00e1genes responsables de la predicci\u00f3n de la clase FL est\u00e1n resaltadas para ayudar al seguimiento<\/em>
\nlos resultados).<\/em><\/p>\n<\/figure>\nEn las secciones siguientes, daremos los detalles sobre estos diferentes pasos de la canalizaci\u00f3n.<\/p>\n<\/div>
Data preparaci\u00f3n y procesamiento<\/h2><\/div>1 - Alicatado<\/h3><\/div>Como ya se ha dicho, las im\u00e1genes de diapositivas enteras son muy grandes y no se pueden alimentar directamente a un modelo de clasificaci\u00f3n a menos que se utilice un hardware supergal\u00e1ctico. Utilizamos la biblioteca openslide<\/strong><\/a>\u00a0para leer las diapositivas y su\u00a0deepzoom<\/strong>\u00a0para dividir las im\u00e1genes en azulejos relativamente peque\u00f1os de un tama\u00f1o de 1024 p\u00edxeles cuadrados. Tras dividirlas en mosaicos, las pasamos por un limpiador b\u00e1sico que descart\u00f3 todos los mosaicos que no estaban en el centro del tejido (bordes, agujeros, etc.).<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-3-1.png\")
<\/p>\n<\/div>
2 - Normalizaci\u00f3n de las manchas<\/h3><\/div>El segundo paso de nuestro procesamiento data, que es tambi\u00e9n el m\u00e1s importante, es la normalizaci\u00f3n del color de la tinci\u00f3n. La tinci\u00f3n es el proceso de resaltar los rasgos importantes de los portaobjetos y realzar el contraste entre ellos. El sistema de tinci\u00f3n utilizado es el com\u00fan\u00a0H&E<\/strong>\u00a0(Hematoxilina y eosina).
\nSin embargo, como las im\u00e1genes proceden de muchos laboratorios diferentes, hemos observado variaciones en la coloraci\u00f3n de las l\u00e1minas. Provienen principalmente de las diferencias en el proceso de te\u00f1ido de un laboratorio a otro. Estas diferencias pueden afectar mucho al rendimiento del modelo.<\/p>\nUtilizamos t\u00e9cnicas cl\u00e1sicas para normalizar la coloraci\u00f3n del conjunto data antes de entrenar el modelo.<\/p>\n<\/div>
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-3-1-1.png\")
<\/p>\n
(Arriba: Resultados de tres normalizaciones de tinci\u00f3n diferentes: una coloraci\u00f3n de la imagen objetivo se normaliza con respecto a una distribuci\u00f3n del color de la imagen base).<\/em><\/p>\nElegimos el\u00a0Reinhard<\/strong><\/a> t\u00e9cnica para ver el impacto en el modelo.<\/p>\n<\/div>Entrenamiento de un clasificador Resnet-18<\/h2><\/div>Tras procesar las im\u00e1genes de diapositivas enteras, el entrenamiento transcurri\u00f3 sin problemas (abandono, decaimiento del peso, etc.). Nada del otro mundo, salvo por la adici\u00f3n de la mezcla en el aumento data. Utilizamos un\u00a0Resnet18<\/strong>\u00a0entrenados desde cero ya que los modelos preentrenados no mejoraban significativamente nuestros resultados. Tambi\u00e9n preferimos el Resnet-18 ya que el Resnet-34 y el Resnet-56 no mejoraban nuestros resultados. Despu\u00e9s de ~10 epochs, nuestro modelo estaba listo para la prueba.
\nUtilizamos el muy pr\u00e1ctico\u00a0<\/em>Fastai<\/em><\/a>\u00a0biblioteca para construir nuestros modelos con pocos esfuerzos.<\/em><\/p>\n<\/div>Pruebas<\/h2><\/div>Merece la pena mencionar los resultados de 3 experimentos:<\/p>\n<\/div>
- <\/i><\/span>Una simple resnet-18 como l\u00ednea de base<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el dataset<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el conjunto data + mezcla como aumento data<\/div><\/li><\/ul>
A continuaci\u00f3n se muestran los resultados en el conjunto de pruebas de estos 3 experimentos:<\/p>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-4-1.png\")
<\/p>\n
(Arriba: Los resultados de 3 modelos diferentes en las 16 preparaciones seleccionadas de linfoma folicular. Podemos ver el efecto de la normalizaci\u00f3n de la tinci\u00f3n y la mezcla en el rendimiento).<\/em><\/p>\nLa normalizaci\u00f3n de las manchas es, con diferencia, el paso m\u00e1s importante de nuestro enfoque de modelizaci\u00f3n. Est\u00e1bamos experimentando problemas de generalizaci\u00f3n (l\u00ednea roja), pero sin duda ayuda a resolver el problema. Si a\u00f1adimos la mezcla y un embaldosado en dos pasos, la cosa mejora a\u00fan m\u00e1s.<\/p>\n
Este proyecto forma parte de la contribuci\u00f3n de Artefact en Tech for Good. El proyecto se ha llevado a cabo en colaboraci\u00f3n con el Instituto Carnot CALYM, un consorcio dedicado a la investigaci\u00f3n en asociaci\u00f3n sobre el linfoma, y Microsoft.<\/p>\n
En oto\u00f1o de 2019, el Institut Carnot CALYM lanz\u00f3 un programa de estructuraci\u00f3n destinado a establecer una hoja de ruta para optimizar la valorizaci\u00f3n y la explotaci\u00f3n del data a partir de la investigaci\u00f3n cl\u00ednica, traslacional y precl\u00ednica llevada a cabo por los miembros del consorcio desde hace m\u00e1s de 20 a\u00f1os. Este proyecto, propuesto por el Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Francia) y la Pr Christiane Copie (LYSARC, Pierre-B\u00e9nite, Francia), ambos miembros del Institut Carnot CALYM, forma parte de este programa de estructuraci\u00f3n.<\/p>\n<\/div>
El objetivo principal de este proyecto de investigaci\u00f3n es desarrollar un algoritmo de aprendizaje profundo para ayudar a los pat\u00f3logos a diagnosticar el linfoma folicular. Un objetivo secundario es identificar criterios informativos que puedan ayudar a los expertos m\u00e9dicos a comprender las diferencias morfol\u00f3gicas entre el linfoma folicular y la hiperplasia folicular, a los que nos referiremos a continuaci\u00f3n como FL y FH.<\/p>\n<\/div>
\u00bfQu\u00e9 es el linfoma folicular? \u00bfCu\u00e1les son los retos en su diagn\u00f3stico?<\/h2><\/div>El FL es un subtipo de Linfoma, el c\u00e1ncer de la sangre m\u00e1s frecuente en el mundo. Existen m\u00e1s de 80 tipos de linfoma y esta diversidad dificulta su diagn\u00f3stico, incluso para los expertos. Adem\u00e1s, el FL es muy similar al FH, que no es canceroso, lo que a\u00f1ade dificultades a su diagn\u00f3stico.<\/p>\n
En este art\u00edculo describiremos nuestro enfoque en la construcci\u00f3n de un clasificador para FL y FH utilizando \u00fanicamente im\u00e1genes de portaobjetos enteros etiquetadas. Las im\u00e1genes de portaobjetos completos son archivos digitales de alta resoluci\u00f3n de portaobjetos de microscopio escaneados. En nuestro caso contienen extractos de ganglios linf\u00e1ticos.<\/p>\n<\/div>
\u00bfC\u00f3mo podr\u00eda ayudar el aprendizaje profundo en su detecci\u00f3n?<\/h2><\/div>Utilizando im\u00e1genes de diapositivas completas de FL y FH, entrenamos un clasificador binario mediante un enfoque basado en parches. La arquitectura de nuestro modelo es una simple Resnet-18 entrenada en unas pocas \u00e9pocas (~10).<\/p>\n
Tras predecir la clase de una observaci\u00f3n con el clasificador, extraemos la \u00faltima capa de activaci\u00f3n para construir un mapa de calor sobre la imagen de entrada para resaltar las partes que han incitado al modelo a definir una clase determinada.<\/p>\n<\/div>
\u00bfPor qu\u00e9 utilizamos una clasificaci\u00f3n basada en parches?<\/h2><\/div>La clasificaci\u00f3n basada en parches es una t\u00e9cnica de clasificaci\u00f3n en la que la clase de una observaci\u00f3n dada se construye a partir de la agregaci\u00f3n de las predicciones de sus componentes (parches). En nuestro caso se utiliza porque las im\u00e1genes son demasiado grandes para utilizarlas directamente en el modelo.<\/p>\n
De hecho, las im\u00e1genes de diapositivas completas son muy grandes (~10\u2075 p\u00edxeles cuadrados). Su tama\u00f1o hace que el entrenamiento de un modelo de aprendizaje profundo sea casi imposible con las herramientas habituales. Para resolver este problema, las dividimos en parches del mismo tama\u00f1o siguiendo dos criterios importantes:<\/p>\n<\/div>
- <\/i><\/span>los parches deben ser lo suficientemente grandes para que los fol\u00edculos permanezcan visibles en ellos<\/div><\/li>
- <\/i><\/span>los parches deben ser lo suficientemente peque\u00f1os para que el entrenamiento de un modelo pueda realizarse en un tiempo razonable<\/div><\/li><\/ul>
En la clasificaci\u00f3n basada en parches, el resultado del modelo puede interpretarse como el de una clasificaci\u00f3n cl\u00e1sica, salvo que la primera capa de c\u00e1lculo es a nivel de todo el tobog\u00e1n. Por ejemplo, al predecir la clase de una diapositiva de FL, una puntuaci\u00f3n de 98% significar\u00eda que se ha predicho que 98 % de los parches que la componen son FL.<\/p>\n
En el nivel dataset, esta diapositiva se predecir\u00e1 con una puntuaci\u00f3n de 0,98 para la clase FL.<\/p>\n
PD: Hicimos la hip\u00f3tesis de dividir las im\u00e1genes en parches bas\u00e1ndonos en las conclusiones de los expertos m\u00e9dicos que afirman que en una diapositiva completa de FL, se espera que los fol\u00edculos est\u00e9n presentes en todas partes.<\/p>\n<\/div>
Conjunto de entrenamiento<\/h2><\/div>Nuestro conjunto de entrenamiento se compone de 58k parches seleccionados al azar\u00a0(cuadrado de 1024 p\u00edxeles)<\/em>\u00a0de FL y FH extra\u00eddas de un conjunto de 30 im\u00e1genes de diapositivas enteras de cada una de las 2 clases.<\/p>\n<\/div>Conjunto de validaci\u00f3n<\/h2><\/div>Se tomaron muestras de 20% de los parches para validar el rendimiento del modelo en el momento del entrenamiento.<\/p>\n<\/div>
Conjunto de pruebas<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Modelado<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Antes de entrenar el clasificador de aprendizaje profundo Preparaci\u00f3n y procesamiento de im\u00e1genes<\/h3><\/div><\/p>\n
\n(Arriba: Las im\u00e1genes se dividen primero en parches y luego se normalizan antes de introducirlas en el modelo para su entrenamiento).<\/em><\/p>\n<\/div>Despu\u00e9s de la formaci\u00f3n: Inferencia e interpretaci\u00f3n<\/h3><\/div><\/p>\n
(Arriba: En el momento de la inferencia, las nuevas diapositivas enteras se dividen en parches antes de que el modelo prediga una clase para<\/em>
\ncada una de ellas. Las partes de las im\u00e1genes responsables de la predicci\u00f3n de la clase FL est\u00e1n resaltadas para ayudar al seguimiento<\/em>
\nlos resultados).<\/em><\/p>\n<\/figure>\nEn las secciones siguientes, daremos los detalles sobre estos diferentes pasos de la canalizaci\u00f3n.<\/p>\n<\/div>
Data preparaci\u00f3n y procesamiento<\/h2><\/div>1 - Alicatado<\/h3><\/div>Como ya se ha dicho, las im\u00e1genes de diapositivas enteras son muy grandes y no se pueden alimentar directamente a un modelo de clasificaci\u00f3n a menos que se utilice un hardware supergal\u00e1ctico. Utilizamos la biblioteca openslide<\/strong><\/a>\u00a0para leer las diapositivas y su\u00a0deepzoom<\/strong>\u00a0para dividir las im\u00e1genes en azulejos relativamente peque\u00f1os de un tama\u00f1o de 1024 p\u00edxeles cuadrados. Tras dividirlas en mosaicos, las pasamos por un limpiador b\u00e1sico que descart\u00f3 todos los mosaicos que no estaban en el centro del tejido (bordes, agujeros, etc.).<\/p>\n<\/p>\n<\/div>
2 - Normalizaci\u00f3n de las manchas<\/h3><\/div>El segundo paso de nuestro procesamiento data, que es tambi\u00e9n el m\u00e1s importante, es la normalizaci\u00f3n del color de la tinci\u00f3n. La tinci\u00f3n es el proceso de resaltar los rasgos importantes de los portaobjetos y realzar el contraste entre ellos. El sistema de tinci\u00f3n utilizado es el com\u00fan\u00a0H&E<\/strong>\u00a0(Hematoxilina y eosina).
\nSin embargo, como las im\u00e1genes proceden de muchos laboratorios diferentes, hemos observado variaciones en la coloraci\u00f3n de las l\u00e1minas. Provienen principalmente de las diferencias en el proceso de te\u00f1ido de un laboratorio a otro. Estas diferencias pueden afectar mucho al rendimiento del modelo.<\/p>\nUtilizamos t\u00e9cnicas cl\u00e1sicas para normalizar la coloraci\u00f3n del conjunto data antes de entrenar el modelo.<\/p>\n<\/div>
<\/p>\n
(Arriba: Resultados de tres normalizaciones de tinci\u00f3n diferentes: una coloraci\u00f3n de la imagen objetivo se normaliza con respecto a una distribuci\u00f3n del color de la imagen base).<\/em><\/p>\nElegimos el\u00a0Reinhard<\/strong><\/a> t\u00e9cnica para ver el impacto en el modelo.<\/p>\n<\/div>Entrenamiento de un clasificador Resnet-18<\/h2><\/div>Tras procesar las im\u00e1genes de diapositivas enteras, el entrenamiento transcurri\u00f3 sin problemas (abandono, decaimiento del peso, etc.). Nada del otro mundo, salvo por la adici\u00f3n de la mezcla en el aumento data. Utilizamos un\u00a0Resnet18<\/strong>\u00a0entrenados desde cero ya que los modelos preentrenados no mejoraban significativamente nuestros resultados. Tambi\u00e9n preferimos el Resnet-18 ya que el Resnet-34 y el Resnet-56 no mejoraban nuestros resultados. Despu\u00e9s de ~10 epochs, nuestro modelo estaba listo para la prueba.
\nUtilizamos el muy pr\u00e1ctico\u00a0<\/em>Fastai<\/em><\/a>\u00a0biblioteca para construir nuestros modelos con pocos esfuerzos.<\/em><\/p>\n<\/div>Pruebas<\/h2><\/div>Merece la pena mencionar los resultados de 3 experimentos:<\/p>\n<\/div>
- <\/i><\/span>Una simple resnet-18 como l\u00ednea de base<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el dataset<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el conjunto data + mezcla como aumento data<\/div><\/li><\/ul>
A continuaci\u00f3n se muestran los resultados en el conjunto de pruebas de estos 3 experimentos:<\/p>\n
<\/p>\n
(Arriba: Los resultados de 3 modelos diferentes en las 16 preparaciones seleccionadas de linfoma folicular. Podemos ver el efecto de la normalizaci\u00f3n de la tinci\u00f3n y la mezcla en el rendimiento).<\/em><\/p>\nLa normalizaci\u00f3n de las manchas es, con diferencia, el paso m\u00e1s importante de nuestro enfoque de modelizaci\u00f3n. Est\u00e1bamos experimentando problemas de generalizaci\u00f3n (l\u00ednea roja), pero sin duda ayuda a resolver el problema. Si a\u00f1adimos la mezcla y un embaldosado en dos pasos, la cosa mejora a\u00fan m\u00e1s.<\/p>\n
El FL es un subtipo de Linfoma, el c\u00e1ncer de la sangre m\u00e1s frecuente en el mundo. Existen m\u00e1s de 80 tipos de linfoma y esta diversidad dificulta su diagn\u00f3stico, incluso para los expertos. Adem\u00e1s, el FL es muy similar al FH, que no es canceroso, lo que a\u00f1ade dificultades a su diagn\u00f3stico.<\/p>\n
En este art\u00edculo describiremos nuestro enfoque en la construcci\u00f3n de un clasificador para FL y FH utilizando \u00fanicamente im\u00e1genes de portaobjetos enteros etiquetadas. Las im\u00e1genes de portaobjetos completos son archivos digitales de alta resoluci\u00f3n de portaobjetos de microscopio escaneados. En nuestro caso contienen extractos de ganglios linf\u00e1ticos.<\/p>\n<\/div>
\u00bfC\u00f3mo podr\u00eda ayudar el aprendizaje profundo en su detecci\u00f3n?<\/h2><\/div>Utilizando im\u00e1genes de diapositivas completas de FL y FH, entrenamos un clasificador binario mediante un enfoque basado en parches. La arquitectura de nuestro modelo es una simple Resnet-18 entrenada en unas pocas \u00e9pocas (~10).<\/p>\n
Tras predecir la clase de una observaci\u00f3n con el clasificador, extraemos la \u00faltima capa de activaci\u00f3n para construir un mapa de calor sobre la imagen de entrada para resaltar las partes que han incitado al modelo a definir una clase determinada.<\/p>\n<\/div>
\u00bfPor qu\u00e9 utilizamos una clasificaci\u00f3n basada en parches?<\/h2><\/div>La clasificaci\u00f3n basada en parches es una t\u00e9cnica de clasificaci\u00f3n en la que la clase de una observaci\u00f3n dada se construye a partir de la agregaci\u00f3n de las predicciones de sus componentes (parches). En nuestro caso se utiliza porque las im\u00e1genes son demasiado grandes para utilizarlas directamente en el modelo.<\/p>\n
De hecho, las im\u00e1genes de diapositivas completas son muy grandes (~10\u2075 p\u00edxeles cuadrados). Su tama\u00f1o hace que el entrenamiento de un modelo de aprendizaje profundo sea casi imposible con las herramientas habituales. Para resolver este problema, las dividimos en parches del mismo tama\u00f1o siguiendo dos criterios importantes:<\/p>\n<\/div>
- <\/i><\/span>los parches deben ser lo suficientemente grandes para que los fol\u00edculos permanezcan visibles en ellos<\/div><\/li>
- <\/i><\/span>los parches deben ser lo suficientemente peque\u00f1os para que el entrenamiento de un modelo pueda realizarse en un tiempo razonable<\/div><\/li><\/ul>
En la clasificaci\u00f3n basada en parches, el resultado del modelo puede interpretarse como el de una clasificaci\u00f3n cl\u00e1sica, salvo que la primera capa de c\u00e1lculo es a nivel de todo el tobog\u00e1n. Por ejemplo, al predecir la clase de una diapositiva de FL, una puntuaci\u00f3n de 98% significar\u00eda que se ha predicho que 98 % de los parches que la componen son FL.<\/p>\n
En el nivel dataset, esta diapositiva se predecir\u00e1 con una puntuaci\u00f3n de 0,98 para la clase FL.<\/p>\n
PD: Hicimos la hip\u00f3tesis de dividir las im\u00e1genes en parches bas\u00e1ndonos en las conclusiones de los expertos m\u00e9dicos que afirman que en una diapositiva completa de FL, se espera que los fol\u00edculos est\u00e9n presentes en todas partes.<\/p>\n<\/div>
Conjunto de entrenamiento<\/h2><\/div>Nuestro conjunto de entrenamiento se compone de 58k parches seleccionados al azar\u00a0(cuadrado de 1024 p\u00edxeles)<\/em>\u00a0de FL y FH extra\u00eddas de un conjunto de 30 im\u00e1genes de diapositivas enteras de cada una de las 2 clases.<\/p>\n<\/div>Conjunto de validaci\u00f3n<\/h2><\/div>Se tomaron muestras de 20% de los parches para validar el rendimiento del modelo en el momento del entrenamiento.<\/p>\n<\/div>
Conjunto de pruebas<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Modelado<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Antes de entrenar el clasificador de aprendizaje profundo Preparaci\u00f3n y procesamiento de im\u00e1genes<\/h3><\/div><\/p>\n
\n(Arriba: Las im\u00e1genes se dividen primero en parches y luego se normalizan antes de introducirlas en el modelo para su entrenamiento).<\/em><\/p>\n<\/div>Despu\u00e9s de la formaci\u00f3n: Inferencia e interpretaci\u00f3n<\/h3><\/div><\/p>\n
(Arriba: En el momento de la inferencia, las nuevas diapositivas enteras se dividen en parches antes de que el modelo prediga una clase para<\/em>
\ncada una de ellas. Las partes de las im\u00e1genes responsables de la predicci\u00f3n de la clase FL est\u00e1n resaltadas para ayudar al seguimiento<\/em>
\nlos resultados).<\/em><\/p>\n<\/figure>\nEn las secciones siguientes, daremos los detalles sobre estos diferentes pasos de la canalizaci\u00f3n.<\/p>\n<\/div>
Data preparaci\u00f3n y procesamiento<\/h2><\/div>1 - Alicatado<\/h3><\/div>Como ya se ha dicho, las im\u00e1genes de diapositivas enteras son muy grandes y no se pueden alimentar directamente a un modelo de clasificaci\u00f3n a menos que se utilice un hardware supergal\u00e1ctico. Utilizamos la biblioteca openslide<\/strong><\/a>\u00a0para leer las diapositivas y su\u00a0deepzoom<\/strong>\u00a0para dividir las im\u00e1genes en azulejos relativamente peque\u00f1os de un tama\u00f1o de 1024 p\u00edxeles cuadrados. Tras dividirlas en mosaicos, las pasamos por un limpiador b\u00e1sico que descart\u00f3 todos los mosaicos que no estaban en el centro del tejido (bordes, agujeros, etc.).<\/p>\n<\/p>\n<\/div>
2 - Normalizaci\u00f3n de las manchas<\/h3><\/div>El segundo paso de nuestro procesamiento data, que es tambi\u00e9n el m\u00e1s importante, es la normalizaci\u00f3n del color de la tinci\u00f3n. La tinci\u00f3n es el proceso de resaltar los rasgos importantes de los portaobjetos y realzar el contraste entre ellos. El sistema de tinci\u00f3n utilizado es el com\u00fan\u00a0H&E<\/strong>\u00a0(Hematoxilina y eosina).
\nSin embargo, como las im\u00e1genes proceden de muchos laboratorios diferentes, hemos observado variaciones en la coloraci\u00f3n de las l\u00e1minas. Provienen principalmente de las diferencias en el proceso de te\u00f1ido de un laboratorio a otro. Estas diferencias pueden afectar mucho al rendimiento del modelo.<\/p>\nUtilizamos t\u00e9cnicas cl\u00e1sicas para normalizar la coloraci\u00f3n del conjunto data antes de entrenar el modelo.<\/p>\n<\/div>
<\/p>\n
(Arriba: Resultados de tres normalizaciones de tinci\u00f3n diferentes: una coloraci\u00f3n de la imagen objetivo se normaliza con respecto a una distribuci\u00f3n del color de la imagen base).<\/em><\/p>\nElegimos el\u00a0Reinhard<\/strong><\/a> t\u00e9cnica para ver el impacto en el modelo.<\/p>\n<\/div>Entrenamiento de un clasificador Resnet-18<\/h2><\/div>Tras procesar las im\u00e1genes de diapositivas enteras, el entrenamiento transcurri\u00f3 sin problemas (abandono, decaimiento del peso, etc.). Nada del otro mundo, salvo por la adici\u00f3n de la mezcla en el aumento data. Utilizamos un\u00a0Resnet18<\/strong>\u00a0entrenados desde cero ya que los modelos preentrenados no mejoraban significativamente nuestros resultados. Tambi\u00e9n preferimos el Resnet-18 ya que el Resnet-34 y el Resnet-56 no mejoraban nuestros resultados. Despu\u00e9s de ~10 epochs, nuestro modelo estaba listo para la prueba.
\nUtilizamos el muy pr\u00e1ctico\u00a0<\/em>Fastai<\/em><\/a>\u00a0biblioteca para construir nuestros modelos con pocos esfuerzos.<\/em><\/p>\n<\/div>Pruebas<\/h2><\/div>Merece la pena mencionar los resultados de 3 experimentos:<\/p>\n<\/div>
- <\/i><\/span>Una simple resnet-18 como l\u00ednea de base<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el dataset<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el conjunto data + mezcla como aumento data<\/div><\/li><\/ul>
A continuaci\u00f3n se muestran los resultados en el conjunto de pruebas de estos 3 experimentos:<\/p>\n
<\/p>\n
(Arriba: Los resultados de 3 modelos diferentes en las 16 preparaciones seleccionadas de linfoma folicular. Podemos ver el efecto de la normalizaci\u00f3n de la tinci\u00f3n y la mezcla en el rendimiento).<\/em><\/p>\nLa normalizaci\u00f3n de las manchas es, con diferencia, el paso m\u00e1s importante de nuestro enfoque de modelizaci\u00f3n. Est\u00e1bamos experimentando problemas de generalizaci\u00f3n (l\u00ednea roja), pero sin duda ayuda a resolver el problema. Si a\u00f1adimos la mezcla y un embaldosado en dos pasos, la cosa mejora a\u00fan m\u00e1s.<\/p>\n
Utilizando im\u00e1genes de diapositivas completas de FL y FH, entrenamos un clasificador binario mediante un enfoque basado en parches. La arquitectura de nuestro modelo es una simple Resnet-18 entrenada en unas pocas \u00e9pocas (~10).<\/p>\n
Tras predecir la clase de una observaci\u00f3n con el clasificador, extraemos la \u00faltima capa de activaci\u00f3n para construir un mapa de calor sobre la imagen de entrada para resaltar las partes que han incitado al modelo a definir una clase determinada.<\/p>\n<\/div>
\u00bfPor qu\u00e9 utilizamos una clasificaci\u00f3n basada en parches?<\/h2><\/div>La clasificaci\u00f3n basada en parches es una t\u00e9cnica de clasificaci\u00f3n en la que la clase de una observaci\u00f3n dada se construye a partir de la agregaci\u00f3n de las predicciones de sus componentes (parches). En nuestro caso se utiliza porque las im\u00e1genes son demasiado grandes para utilizarlas directamente en el modelo.<\/p>\n
De hecho, las im\u00e1genes de diapositivas completas son muy grandes (~10\u2075 p\u00edxeles cuadrados). Su tama\u00f1o hace que el entrenamiento de un modelo de aprendizaje profundo sea casi imposible con las herramientas habituales. Para resolver este problema, las dividimos en parches del mismo tama\u00f1o siguiendo dos criterios importantes:<\/p>\n<\/div>
- <\/i><\/span>los parches deben ser lo suficientemente grandes para que los fol\u00edculos permanezcan visibles en ellos<\/div><\/li>
- <\/i><\/span>los parches deben ser lo suficientemente peque\u00f1os para que el entrenamiento de un modelo pueda realizarse en un tiempo razonable<\/div><\/li><\/ul>
En la clasificaci\u00f3n basada en parches, el resultado del modelo puede interpretarse como el de una clasificaci\u00f3n cl\u00e1sica, salvo que la primera capa de c\u00e1lculo es a nivel de todo el tobog\u00e1n. Por ejemplo, al predecir la clase de una diapositiva de FL, una puntuaci\u00f3n de 98% significar\u00eda que se ha predicho que 98 % de los parches que la componen son FL.<\/p>\n
En el nivel dataset, esta diapositiva se predecir\u00e1 con una puntuaci\u00f3n de 0,98 para la clase FL.<\/p>\n
PD: Hicimos la hip\u00f3tesis de dividir las im\u00e1genes en parches bas\u00e1ndonos en las conclusiones de los expertos m\u00e9dicos que afirman que en una diapositiva completa de FL, se espera que los fol\u00edculos est\u00e9n presentes en todas partes.<\/p>\n<\/div>
Conjunto de entrenamiento<\/h2><\/div>Nuestro conjunto de entrenamiento se compone de 58k parches seleccionados al azar\u00a0(cuadrado de 1024 p\u00edxeles)<\/em>\u00a0de FL y FH extra\u00eddas de un conjunto de 30 im\u00e1genes de diapositivas enteras de cada una de las 2 clases.<\/p>\n<\/div>Conjunto de validaci\u00f3n<\/h2><\/div>Se tomaron muestras de 20% de los parches para validar el rendimiento del modelo en el momento del entrenamiento.<\/p>\n<\/div>
Conjunto de pruebas<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Modelado<\/h2><\/div>Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Antes de entrenar el clasificador de aprendizaje profundo Preparaci\u00f3n y procesamiento de im\u00e1genes<\/h3><\/div><\/p>\n
\n(Arriba: Las im\u00e1genes se dividen primero en parches y luego se normalizan antes de introducirlas en el modelo para su entrenamiento).<\/em><\/p>\n<\/div>Despu\u00e9s de la formaci\u00f3n: Inferencia e interpretaci\u00f3n<\/h3><\/div><\/p>\n
(Arriba: En el momento de la inferencia, las nuevas diapositivas enteras se dividen en parches antes de que el modelo prediga una clase para<\/em>
\ncada una de ellas. Las partes de las im\u00e1genes responsables de la predicci\u00f3n de la clase FL est\u00e1n resaltadas para ayudar al seguimiento<\/em>
\nlos resultados).<\/em><\/p>\n<\/figure>\nEn las secciones siguientes, daremos los detalles sobre estos diferentes pasos de la canalizaci\u00f3n.<\/p>\n<\/div>
Data preparaci\u00f3n y procesamiento<\/h2><\/div>1 - Alicatado<\/h3><\/div>Como ya se ha dicho, las im\u00e1genes de diapositivas enteras son muy grandes y no se pueden alimentar directamente a un modelo de clasificaci\u00f3n a menos que se utilice un hardware supergal\u00e1ctico. Utilizamos la biblioteca openslide<\/strong><\/a>\u00a0para leer las diapositivas y su\u00a0deepzoom<\/strong>\u00a0para dividir las im\u00e1genes en azulejos relativamente peque\u00f1os de un tama\u00f1o de 1024 p\u00edxeles cuadrados. Tras dividirlas en mosaicos, las pasamos por un limpiador b\u00e1sico que descart\u00f3 todos los mosaicos que no estaban en el centro del tejido (bordes, agujeros, etc.).<\/p>\n<\/p>\n<\/div>
2 - Normalizaci\u00f3n de las manchas<\/h3><\/div>El segundo paso de nuestro procesamiento data, que es tambi\u00e9n el m\u00e1s importante, es la normalizaci\u00f3n del color de la tinci\u00f3n. La tinci\u00f3n es el proceso de resaltar los rasgos importantes de los portaobjetos y realzar el contraste entre ellos. El sistema de tinci\u00f3n utilizado es el com\u00fan\u00a0H&E<\/strong>\u00a0(Hematoxilina y eosina).
\nSin embargo, como las im\u00e1genes proceden de muchos laboratorios diferentes, hemos observado variaciones en la coloraci\u00f3n de las l\u00e1minas. Provienen principalmente de las diferencias en el proceso de te\u00f1ido de un laboratorio a otro. Estas diferencias pueden afectar mucho al rendimiento del modelo.<\/p>\nUtilizamos t\u00e9cnicas cl\u00e1sicas para normalizar la coloraci\u00f3n del conjunto data antes de entrenar el modelo.<\/p>\n<\/div>
<\/p>\n
(Arriba: Resultados de tres normalizaciones de tinci\u00f3n diferentes: una coloraci\u00f3n de la imagen objetivo se normaliza con respecto a una distribuci\u00f3n del color de la imagen base).<\/em><\/p>\nElegimos el\u00a0Reinhard<\/strong><\/a> t\u00e9cnica para ver el impacto en el modelo.<\/p>\n<\/div>Entrenamiento de un clasificador Resnet-18<\/h2><\/div>Tras procesar las im\u00e1genes de diapositivas enteras, el entrenamiento transcurri\u00f3 sin problemas (abandono, decaimiento del peso, etc.). Nada del otro mundo, salvo por la adici\u00f3n de la mezcla en el aumento data. Utilizamos un\u00a0Resnet18<\/strong>\u00a0entrenados desde cero ya que los modelos preentrenados no mejoraban significativamente nuestros resultados. Tambi\u00e9n preferimos el Resnet-18 ya que el Resnet-34 y el Resnet-56 no mejoraban nuestros resultados. Despu\u00e9s de ~10 epochs, nuestro modelo estaba listo para la prueba.
\nUtilizamos el muy pr\u00e1ctico\u00a0<\/em>Fastai<\/em><\/a>\u00a0biblioteca para construir nuestros modelos con pocos esfuerzos.<\/em><\/p>\n<\/div>Pruebas<\/h2><\/div>Merece la pena mencionar los resultados de 3 experimentos:<\/p>\n<\/div>
- <\/i><\/span>Una simple resnet-18 como l\u00ednea de base<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el dataset<\/div><\/li>
- <\/i><\/span>Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el conjunto data + mezcla como aumento data<\/div><\/li><\/ul>
A continuaci\u00f3n se muestran los resultados en el conjunto de pruebas de estos 3 experimentos:<\/p>\n
<\/p>\n
(Arriba: Los resultados de 3 modelos diferentes en las 16 preparaciones seleccionadas de linfoma folicular. Podemos ver el efecto de la normalizaci\u00f3n de la tinci\u00f3n y la mezcla en el rendimiento).<\/em><\/p>\nLa normalizaci\u00f3n de las manchas es, con diferencia, el paso m\u00e1s importante de nuestro enfoque de modelizaci\u00f3n. Est\u00e1bamos experimentando problemas de generalizaci\u00f3n (l\u00ednea roja), pero sin duda ayuda a resolver el problema. Si a\u00f1adimos la mezcla y un embaldosado en dos pasos, la cosa mejora a\u00fan m\u00e1s.<\/p>\n
La clasificaci\u00f3n basada en parches es una t\u00e9cnica de clasificaci\u00f3n en la que la clase de una observaci\u00f3n dada se construye a partir de la agregaci\u00f3n de las predicciones de sus componentes (parches). En nuestro caso se utiliza porque las im\u00e1genes son demasiado grandes para utilizarlas directamente en el modelo.<\/p>\n
De hecho, las im\u00e1genes de diapositivas completas son muy grandes (~10\u2075 p\u00edxeles cuadrados). Su tama\u00f1o hace que el entrenamiento de un modelo de aprendizaje profundo sea casi imposible con las herramientas habituales. Para resolver este problema, las dividimos en parches del mismo tama\u00f1o siguiendo dos criterios importantes:<\/p>\n<\/div>
- <\/i><\/span>los parches deben ser lo suficientemente grandes para que los fol\u00edculos permanezcan visibles en ellos<\/div><\/li>
- <\/i><\/span>
los parches deben ser lo suficientemente peque\u00f1os para que el entrenamiento de un modelo pueda realizarse en un tiempo razonable<\/div><\/li><\/ul>En la clasificaci\u00f3n basada en parches, el resultado del modelo puede interpretarse como el de una clasificaci\u00f3n cl\u00e1sica, salvo que la primera capa de c\u00e1lculo es a nivel de todo el tobog\u00e1n. Por ejemplo, al predecir la clase de una diapositiva de FL, una puntuaci\u00f3n de 98% significar\u00eda que se ha predicho que 98 % de los parches que la componen son FL.<\/p>\n
En el nivel dataset, esta diapositiva se predecir\u00e1 con una puntuaci\u00f3n de 0,98 para la clase FL.<\/p>\n
PD: Hicimos la hip\u00f3tesis de dividir las im\u00e1genes en parches bas\u00e1ndonos en las conclusiones de los expertos m\u00e9dicos que afirman que en una diapositiva completa de FL, se espera que los fol\u00edculos est\u00e9n presentes en todas partes.<\/p>\n<\/div>
Conjunto de entrenamiento<\/h2><\/div>
Nuestro conjunto de entrenamiento se compone de 58k parches seleccionados al azar\u00a0(cuadrado de 1024 p\u00edxeles)<\/em>\u00a0de FL y FH extra\u00eddas de un conjunto de 30 im\u00e1genes de diapositivas enteras de cada una de las 2 clases.<\/p>\n<\/div>
Conjunto de validaci\u00f3n<\/h2><\/div>
Se tomaron muestras de 20% de los parches para validar el rendimiento del modelo en el momento del entrenamiento.<\/p>\n<\/div>
Conjunto de pruebas<\/h2><\/div>
Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Modelado<\/h2><\/div>
Nuestro conjunto de pruebas se compone de 15 im\u00e1genes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de entrenamiento que precisaremos a continuaci\u00f3n.<\/p>\n<\/div>
Antes de entrenar el clasificador de aprendizaje profundo Preparaci\u00f3n y procesamiento de im\u00e1genes<\/h3><\/div>
<\/p>\n\n(Arriba: Las im\u00e1genes se dividen primero en parches y luego se normalizan antes de introducirlas en el modelo para su entrenamiento).<\/em><\/p>\n<\/div>
Despu\u00e9s de la formaci\u00f3n: Inferencia e interpretaci\u00f3n<\/h3><\/div>
<\/p>\n(Arriba: En el momento de la inferencia, las nuevas diapositivas enteras se dividen en parches antes de que el modelo prediga una clase para<\/em>
\ncada una de ellas. Las partes de las im\u00e1genes responsables de la predicci\u00f3n de la clase FL est\u00e1n resaltadas para ayudar al seguimiento<\/em>
\nlos resultados).<\/em><\/p>\n<\/figure>\n En las secciones siguientes, daremos los detalles sobre estos diferentes pasos de la canalizaci\u00f3n.<\/p>\n<\/div>
Data preparaci\u00f3n y procesamiento<\/h2><\/div>
1 - Alicatado<\/h3><\/div>
Como ya se ha dicho, las im\u00e1genes de diapositivas enteras son muy grandes y no se pueden alimentar directamente a un modelo de clasificaci\u00f3n a menos que se utilice un hardware supergal\u00e1ctico. Utilizamos la biblioteca openslide<\/strong><\/a>\u00a0para leer las diapositivas y su\u00a0deepzoom<\/strong>\u00a0para dividir las im\u00e1genes en azulejos relativamente peque\u00f1os de un tama\u00f1o de 1024 p\u00edxeles cuadrados. Tras dividirlas en mosaicos, las pasamos por un limpiador b\u00e1sico que descart\u00f3 todos los mosaicos que no estaban en el centro del tejido (bordes, agujeros, etc.).<\/p>\n
<\/p>\n<\/div>2 - Normalizaci\u00f3n de las manchas<\/h3><\/div>
El segundo paso de nuestro procesamiento data, que es tambi\u00e9n el m\u00e1s importante, es la normalizaci\u00f3n del color de la tinci\u00f3n. La tinci\u00f3n es el proceso de resaltar los rasgos importantes de los portaobjetos y realzar el contraste entre ellos. El sistema de tinci\u00f3n utilizado es el com\u00fan\u00a0H&E<\/strong>\u00a0(Hematoxilina y eosina).
\nSin embargo, como las im\u00e1genes proceden de muchos laboratorios diferentes, hemos observado variaciones en la coloraci\u00f3n de las l\u00e1minas. Provienen principalmente de las diferencias en el proceso de te\u00f1ido de un laboratorio a otro. Estas diferencias pueden afectar mucho al rendimiento del modelo.<\/p>\nUtilizamos t\u00e9cnicas cl\u00e1sicas para normalizar la coloraci\u00f3n del conjunto data antes de entrenar el modelo.<\/p>\n<\/div>
<\/p>\n(Arriba: Resultados de tres normalizaciones de tinci\u00f3n diferentes: una coloraci\u00f3n de la imagen objetivo se normaliza con respecto a una distribuci\u00f3n del color de la imagen base).<\/em><\/p>\n
Elegimos el\u00a0Reinhard<\/strong><\/a> t\u00e9cnica para ver el impacto en el modelo.<\/p>\n<\/div>
Entrenamiento de un clasificador Resnet-18<\/h2><\/div>
Tras procesar las im\u00e1genes de diapositivas enteras, el entrenamiento transcurri\u00f3 sin problemas (abandono, decaimiento del peso, etc.). Nada del otro mundo, salvo por la adici\u00f3n de la mezcla en el aumento data. Utilizamos un\u00a0Resnet18<\/strong>\u00a0entrenados desde cero ya que los modelos preentrenados no mejoraban significativamente nuestros resultados. Tambi\u00e9n preferimos el Resnet-18 ya que el Resnet-34 y el Resnet-56 no mejoraban nuestros resultados. Despu\u00e9s de ~10 epochs, nuestro modelo estaba listo para la prueba.
\nUtilizamos el muy pr\u00e1ctico\u00a0<\/em>Fastai<\/em><\/a>\u00a0biblioteca para construir nuestros modelos con pocos esfuerzos.<\/em><\/p>\n<\/div>Pruebas<\/h2><\/div>
Merece la pena mencionar los resultados de 3 experimentos:<\/p>\n<\/div>
- <\/i><\/span>Una simple resnet-18 como l\u00ednea de base<\/div><\/li>
- <\/i><\/span>
Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el dataset<\/div><\/li>- <\/i><\/span>
Una normalizaci\u00f3n resnet-18 + tinci\u00f3n en el conjunto data + mezcla como aumento data<\/div><\/li><\/ul>A continuaci\u00f3n se muestran los resultados en el conjunto de pruebas de estos 3 experimentos:<\/p>\n
<\/p>\n(Arriba: Los resultados de 3 modelos diferentes en las 16 preparaciones seleccionadas de linfoma folicular. Podemos ver el efecto de la normalizaci\u00f3n de la tinci\u00f3n y la mezcla en el rendimiento).<\/em><\/p>\n
La normalizaci\u00f3n de las manchas es, con diferencia, el paso m\u00e1s importante de nuestro enfoque de modelizaci\u00f3n. Est\u00e1bamos experimentando problemas de generalizaci\u00f3n (l\u00ednea roja), pero sin duda ayuda a resolver el problema. Si a\u00f1adimos la mezcla y un embaldosado en dos pasos, la cosa mejora a\u00fan m\u00e1s.<\/p>\n
- <\/i><\/span>
- <\/i><\/span>
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-5-1.png\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"medio\\"")
<\/span><\/div>