Autor
14 de diciembre de 2020
Con la introducción de los permisos opt-in para las apps, iOS 14 hará más difícil para las marcas dirigirse a los consumidores a nivel individual y medir los resultados de las actividades de marketing. Bobby Gray, responsable de análisis y marketing de Data de Artefact, analiza el impacto y explica cómo pueden responder las marcas utilizandodata first-party .
Introducción
Este proyecto forma parte de la contribución de Artefacten Tech for Good. El proyecto se ha llevado a cabo en colaboración con el Instituto Carnot CALYM, un consorcio dedicado a la investigación en colaboración sobre el linfoma, y Microsoft.
En otoño de 2019, el Institut Carnot CALYM lanzó un programa de estructuración destinado a establecer una hoja de ruta para optimizar la valorización y explotación de data a partir de la investigación clínica, traslacional y preclínica realizada por los miembros del consorcio durante más de 20 años. Este proyecto, propuesto por el Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Francia) y la Pr Christiane Copie (LYSARC, Pierre-Bénite, Francia), ambos miembros del Institut Carnot CALYM, se inscribe en este programa de estructuración.
El objetivo principal de este proyecto de investigación es desarrollar un algoritmo de aprendizaje profundo para ayudar a los patólogos a diagnosticar el linfoma folicular. Un objetivo secundario es identificar criterios informativos que puedan ayudar a los expertos médicos a comprender las diferencias morfológicas entre el linfoma folicular y la hiperplasia folicular, que en adelante se denominarán FL y FH.
¿Qué es el linfoma folicular? ¿Qué dificultades plantea su diagnóstico?
El FL es un subtipo de linfoma, el cáncer de la sangre más frecuente en el mundo. Existen más de 80 tipos de linfoma y esta diversidad dificulta su diagnóstico, incluso para los expertos. Además, el FL es muy similar al FH, que no es canceroso, lo que añade dificultades a su diagnóstico.
En este artículo, describiremos nuestro enfoque en la construcción de un clasificador para FL y FH utilizando sólo imágenes de portaobjetos completos etiquetados. Las imágenes de portaobjetos completos son archivos digitales de alta resolución de portaobjetos de microscopio escaneados. En nuestro caso, contienen extractos de ganglios linfáticos.
¿Cómo podría ayudar el aprendizaje profundo en su detección?
Utilizando imágenes de diapositivas completas de FL y FH, entrenamos un clasificador binario mediante un enfoque basado en parches. La arquitectura de nuestro modelo es una simple Resnet-18 entrenada en unas pocas épocas (~10).
Después de predecir la clase de una observación con el clasificador, extraemos la última capa de activación para construir un mapa de calor sobre la imagen de entrada con el fin de resaltar las partes que han incitado al modelo a definir una clase determinada.
¿Por qué utilizamos una clasificación basada en parches?
La clasificación basada en parches es una técnica de clasificación en la que la clase de una observación dada se construye a partir de la agregación de las predicciones de sus componentes (parches). En nuestro caso se utiliza porque las imágenes son demasiado grandes para utilizarlas directamente en el modelo.
De hecho, las imágenes de diapositivas completas son muy grandes (~10⁵ píxeles cuadrados). Su tamaño hace casi imposible entrenar un modelo de aprendizaje profundo con las herramientas habituales. Para resolver este problema, las dividimos en parches del mismo tamaño siguiendo dos criterios importantes:
En la clasificación basada en parches, el resultado del modelo puede interpretarse como el de una clasificación clásica, con la salvedad de que la primera capa de cálculo es a nivel de toda la diapositiva. Por ejemplo, al predecir la clase de una diapositiva de FL, una puntuación del 98 % significaría que se ha predicho que el 98 % de los parches que la componen son FL.
A nivel del conjunto de datos, esta diapositiva se predecirá con una puntuación de 0,98 para la clase FL.
PD: Hicimos la hipótesis de dividir las imágenes en parches basándonos en las conclusiones de los expertos médicos que afirman que en una diapositiva completa de FL, se espera que los folículos estén presentes en todas partes.
Conjunto de entrenamiento
Nuestro conjunto de entrenamiento se compone de 58k parches seleccionados aleatoriamente (1024 píxeles cuadrados) de FL y FH extraídos de un conjunto de 30 imágenes de diapositivas completas de cada una de las 2 clases.
Conjunto de validación
Se muestreó el 20% de los parches para validar el rendimiento del modelo en el momento del entrenamiento.
Conjunto de pruebas
Nuestro conjunto de pruebas se compone de 15 imágenes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de formación que precisaremos a continuación.
Modelización
Nuestro conjunto de pruebas se compone de 15 imágenes de diapositivas enteras, cada una dividida en parches. Este conjunto de referencia se ha utilizado para comparar los resultados de distintos enfoques de formación que precisaremos a continuación.
Antes de entrenar el clasificador de aprendizaje profundo: Preparación y procesamiento de imágenes
(Arriba: Las imágenes se dividen primero en parches y luego se normalizan antes de introducirlas en el modelo para su entrenamiento).
Después de la formación: Inferencia e interpretación
(Arriba: En el momento de la inferencia, las nuevas diapositivas enteras se dividen en parches antes de que el modelo prediga una clase para
cada uno de ellos. Las partes de las imágenes responsables de la predicción de la clase FL se resaltan para ayudar a supervisar
los resultados).
En las secciones siguientes, daremos los detalles sobre estos diferentes pasos de la tubería.
Data preparación y tratamiento
1 - Alicatado
Como ya se ha dicho, las imágenes de diapositivas completas son muy grandes y no se pueden alimentar directamente a un modelo de clasificación a menos que se utilice un hardware supergaláctico. Utilizamos la biblioteca openslide para leer las diapositivas y su soporte deepzoom para dividir las imágenes en mosaicos relativamente pequeños de 1024 píxeles cuadrados. Después de dividirlas en mosaicos las pasamos por un limpiador básico que eliminó todos los mosaicos que no estaban en el centro del tejido (bordes, agujeros, etc.).
2 - Normalización de las manchas
El segundo paso de nuestro procesamiento data , que es también el más importante, es la normalización del color de la tinción. La tinción es el proceso de resaltar las características importantes de los portaobjetos y aumentar el contraste entre ellas. El sistema de tinción utilizado es el habitual H&E (hematoxilina y eosina).
Sin embargo, como las imágenes proceden de muchos laboratorios diferentes, hemos observado variaciones en la coloración de los portaobjetos. Éstas proceden principalmente de las diferencias en el proceso de tinción de un laboratorio a otro. Estas diferencias pueden afectar mucho al rendimiento del modelo.
Utilizamos técnicas clásicas para normalizar la coloración del conjunto de datos antes de entrenar el modelo.
(Arriba: Resultados de tres normalizaciones diferentes de las manchas: una coloración de la imagen de destino se normaliza con respecto a una distribución del color de la imagen de base).
Elegimos el Reinhard para ver el impacto en el modelo.
Entrenamiento de un clasificador Resnet-18
Tras procesar las imágenes de diapositivas enteras, el entrenamiento se desarrolló sin problemas (abandono, decaimiento del peso, etc.). Nada del otro mundo, salvo añadir una mezcla en el aumento de data . Utilizamos un Resnet18 entrenado desde cero, ya que los modelos preentrenados no mejoraban significativamente nuestros resultados. También preferimos el Resnet-18 ya que el Resnet-34 y el Resnet-56 no mejoraban nuestros resultados. Tras unas 10 épocas, nuestro modelo estaba listo para las pruebas.
Utilizamos el muy práctico Fastai para construir nuestros modelos con poco esfuerzo.
Pruebas
Merece la pena mencionar los resultados de 3 experimentos:
A continuación se muestran los resultados en el conjunto de pruebas de estos 3 experimentos:
(Arriba: Los resultados de 3 modelos diferentes en los 16 portaobjetos seleccionados de Linfoma folicular. Podemos ver el efecto de la normalización de la tinción y la mezcla en el rendimiento).
La normalización de las manchas es, con mucho, el paso más importante de nuestro método de modelización. Teníamos problemas de generalización (línea roja), pero sin duda nos ha ayudado a resolverlos. Si añadimos la mezcla y el embaldosado en dos pasos, el resultado es aún mejor.
MixUp es una técnica de aumento de data que consiste en crear nuevas observaciones interpolando linealmente muchas muestras.
Interpretar los resultados de un clasificador de visión por ordenador
Para comunicar fácilmente los resultados a los expertos médicos, proporcionamos imágenes con mapas de calor para resaltar dónde se centraba el modelo al predecir una etiqueta determinada. Para ello, extrajimos la última capa de activación de la red convolucional y la extrapolamos linealmente sobre la imagen en la que estábamos realizando la predicción.
(Arriba: Las partes de la imagen que más han contribuido a la predicción de la clase Linfoma folicular están resaltadas en la imagen del lado derecho - 12 parches)).
La interpretación de los resultados del modelo con mapas térmicos ha sido muy útil para ajustar el enfoque de modelización, ya que ofrece a los expertos formas de analizar lo que el modelo está haciendo realmente. Gracias a los intercambios con los expertos, los científicos dedata hemos podido adaptarnos mejor al conjunto de datos y hacer que el modelo sea más sólido (es decir, capaz de adaptarse a distintos tipos de datos). Y también para asegurarnos de que sirve a su propósito. De hecho, fue así como nos dimos cuenta de la necesidad de normalizar la tinción de las imágenes.
Conclusiones y principales enseñanzas
El objetivo de este estudio fue explorar el proceso de creación de un buen clasificador de base de aprendizaje profundo para diferenciar el Linfoma Folicular y la Hiperplasia Folicular. Nuestros aprendizajes clave se enumeran a continuación:
