14. Dezember 2020
Mit der Einführung von Opt-in-Berechtigungen für Apps wird es für Marken mit iOS 14 schwieriger, Verbraucher auf individueller Ebene anzusprechen und die Ergebnisse von Marketingaktivitäten zu messen. Bobby Gray, Head of Analytics and Data Marketing bei Artefact, betrachtet die Auswirkungen und erklärt, wie Marken mit Hilfe von First-Party data reagieren können.
Einführung
Dieses Projekt ist Teil des Beitrags von Artefactzu Tech for Good. Das Projekt wurde in Zusammenarbeit mit dem Institut Carnot CALYM, einem Konsortium, das sich der partnerschaftlichen Forschung über Lymphome widmet, und Microsoft durchgeführt.
Im Herbst 2019 hat das Institut Carnot CALYM ein Strukturierungsprogramm gestartet, das darauf abzielt, eine Roadmap zu erstellen, um die Valorisierung und Nutzung von data aus der klinischen, translationalen und präklinischen Forschung zu optimieren, die von den Mitgliedern des Konsortiums seit mehr als 20 Jahren durchgeführt wird. Dieses Projekt, das von Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Frankreich) und Pr Christiane Copie (LYSARC, Pierre-Bénite, Frankreich), beide Mitglieder des Institut Carnot CALYM, vorgeschlagen wurde, ist Teil dieses Strukturierungsprogramms.
Das primäre Ziel dieses Forschungsprojekts ist die Entwicklung eines Deep-Learning-Algorithmus, der Pathologen bei der Diagnose von follikulären Lymphomen unterstützt. Ein sekundäres Ziel ist die Identifizierung informativer Kriterien, die medizinischen Experten helfen könnten, die morphologischen Unterschiede zwischen follikulärem Lymphom und follikulärer Hyperplasie zu verstehen, die im Folgenden als FL und FH bezeichnet werden.
Was ist ein follikuläres Lymphom? Was sind die Herausforderungen bei der Diagnose?
FL ist eine Unterform des Lymphoms, des weltweit häufigsten Blutkrebses. Es gibt mehr als 80 Arten von Lymphomen, und diese Vielfalt macht die Diagnose selbst für Experten schwierig. Außerdem ist das FL der FH sehr ähnlich, die nicht an Krebs erkrankt ist, was die Diagnose zusätzlich erschwert.
In diesem Artikel beschreiben wir unseren Ansatz zur Erstellung eines Klassifizierers für FL und FH, der nur markierte Ganz-Objektträger-Bilder verwendet. Whole-Slide-Bilder sind hochauflösende digitale Dateien von gescannten Mikroskop-Objektträgern. In unserem Fall enthalten sie Extrakte von Lymphknoten.
Wie könnte Deep Learning bei der Erkennung helfen?
Anhand von Ganzseitenbildern von FL und FH haben wir einen binären Klassifikator mit einem patch-basierten Ansatz trainiert. Unsere Modellarchitektur ist ein einfaches Resnet-18, das mit wenigen Epochen (~10) trainiert wurde.
Nachdem der Klassifikator die Klasse einer Beobachtung vorhergesagt hat, extrahieren wir die letzte Aktivierungsschicht, um eine Heatmap über dem Eingabebild zu erstellen, um die Teile hervorzuheben, die das Modell dazu veranlasst haben, eine bestimmte Klasse zu definieren.
Warum haben wir eine patchbasierte Klassifizierung verwendet?
Die Patch-basierte Klassifizierung ist eine Klassifizierungstechnik, bei der die Klasse einer gegebenen Beobachtung auf der Grundlage der Aggregation der Vorhersagen ihrer Komponenten (Patches) gebildet wird. In unserem Fall wird sie verwendet, weil die Bilder viel zu groß sind, um sie direkt für das Modell zu verwenden.
Ganzdia-Bilder sind in der Tat sehr groß (~10⁵ Pixel im Quadrat). Ihre Größe macht das Training eines Deep-Learning-Modells mit herkömmlichen Tools fast unmöglich. Um dieses Problem zu lösen, haben wir sie nach zwei wichtigen Kriterien in gleich große Bereiche unterteilt:
Bei der patchbasierten Klassifizierung kann das Ergebnis des Modells wie das einer klassischen Klassifizierung interpretiert werden, mit dem Unterschied, dass die erste Berechnungsebene auf der Ebene des gesamten Dias liegt. Bei der Vorhersage der Klasse eines Dias von FL würde eine Punktzahl von 98 % beispielsweise bedeuten, dass 98 % der Flecken, aus denen es besteht, als FL vorhergesagt wurden.
Auf der Ebene des Datensatzes wird diese Folie mit einem Wert von 0,98 für die Klasse FL vorhergesagt.
PS: Die Hypothese, die Bilder in Flecken aufzuteilen, basiert auf den Schlussfolgerungen medizinischer Experten, die besagen, dass die Follikel auf einem ganzen Dia von FL überall zu finden sein sollten.
Trainingssatz
Unser Trainingsset besteht aus 58k zufällig ausgewählten Flecken (1024 Pixel im Quadrat) von FL und FH, die aus einem Satz von 30 Ganzseitenbildern in jeder der beiden Klassen extrahiert wurden.
Validierungssatz
20 % der Patches wurden zur Validierung der Modellleistung zum Zeitpunkt des Trainings als Stichprobe genommen.
Testsatz
Unser Testsatz besteht aus 15 Ganzdia-Bildern, die jeweils in Flecken unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsansätze zu vergleichen, die wir im Folgenden genauer beschreiben.
Modellierung
Unser Testsatz besteht aus 15 Ganzdia-Bildern, die jeweils in Flecken unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsansätze zu vergleichen, die wir im Folgenden genauer beschreiben.
Vor dem Training des Deep Learning-Klassifikators: Bildvorbereitung und -verarbeitung
(Oben: Die Bilder werden zunächst in Flecken unterteilt und dann normalisiert, bevor sie dem Modell zum Training zugeführt werden).
Nach der Ausbildung: Schlussfolgerung und Interpretation
(Oben: Zum Zeitpunkt der Inferenz werden neue Ganzseiten in Bereiche unterteilt, bevor das Modell für jeden Bereich eine Klasse vorhersagt.
eine Klasse vorhersagt. Teile der Bilder, die für die Vorhersage der FL-Klasse verantwortlich sind, werden hervorgehoben, um die Überwachung der Ergebnisse zu erleichtern.
der Ergebnisse.)
In den folgenden Abschnitten werden diese verschiedenen Schritte der Pipeline im Einzelnen beschrieben.
Data Vorbereitung und Verarbeitung
1 - Kacheln
Wie bereits erwähnt, sind Ganzseitenbilder sehr groß und können nicht direkt in ein Klassifizierungsmodell eingespeist werden, es sei denn, man verwendet eine supergalaktische Hardware. Wir haben die Bibliothek openslide um die Dias zu lesen und ihre Deepzoom-Unterstützung, um die Bilder in relativ kleine Kacheln der Größe 1024 Pixel im Quadrat zu unterteilen. Nachdem wir die Bilder in Kacheln zerlegt hatten, ließen wir sie durch einen einfachen Cleaner laufen, der alle Kacheln ausschloss, die sich nicht in der Mitte des Gewebes befanden (Ränder, Löcher usw.).
2 - Flecken-Normalisierung
Der zweite und gleichzeitig wichtigste Schritt unserer data Verarbeitung ist die Farbnormalisierung der Färbung. Bei der Färbung werden wichtige Merkmale auf den Objektträgern hervorgehoben und der Kontrast zwischen ihnen verstärkt. Das verwendete Färbesystem ist das übliche H&E (Hämatoxylin und Eosin).
Da die Bilder jedoch aus vielen verschiedenen Labors stammen, haben wir Unterschiede in der Färbung der Objektträger festgestellt. Sie sind vor allem auf die unterschiedlichen Färbeverfahren in den einzelnen Labors zurückzuführen. Diese Unterschiede können die Leistung des Modells erheblich beeinträchtigen.
Wir haben klassische Techniken angewandt, um die Färbung des Datensatzes vor dem Training des Modells zu normalisieren.
(Oben: Ergebnisse von drei verschiedenen Fleckennormalisierungen: eine Zielbildfärbung wird auf eine Basisbildfarbverteilung normalisiert).
Wir haben den Reinhard Technik, um die Auswirkungen auf das Modell zu sehen.
Training eines Resnet-18-Klassifikators
Nach der Verarbeitung der Ganzdia-Bilder verlief das Training reibungslos (Dropout, Gewichtsabnahme usw.). Es gab nichts Außergewöhnliches, außer dem Hinzufügen von Verwechslungen in der data Augmentation. Wir haben ein von Grund auf neu trainiertes Resnet18 verwendet, da die vortrainierten Modelle unsere Ergebnisse nicht wesentlich verbessert haben. Wir bevorzugten auch das Resnet-18, da das Resnet-34 und Resnet-56 unsere Leistungen nicht verbesserten. Nach ~10 Epochen war unser Modell bereit zum Testen.
Wir verwendeten das sehr praktische Fastai Bibliothek, um unsere Modelle mit wenig Aufwand zu erstellen.
Prüfung
Die Ergebnisse von 3 Experimenten sind erwähnenswert:
Die Ergebnisse dieser 3 Versuche auf dem Testset sind unten dargestellt:
(Oben: Die Ergebnisse von 3 verschiedenen Modellen bei den 16 ausgewählten Objektträgern des follikulären Lymphoms. Es wird deutlich, wie sich die Normalisierung der Färbung und die Verwechslung auf die Leistung auswirken).
Die Fleckennormalisierung ist bei weitem der wichtigste Schritt in unserem Modellierungsansatz. Wir hatten Probleme mit der Generalisierung (rote Linie), aber sie hat definitiv zur Lösung des Problems beigetragen. Durch das Hinzufügen von Verwechslungen und einer 2-stufigen Kachelung wird es noch besser.
MixUp ist eine data Augmentationstechnik, die darin besteht, neue Beobachtungen durch lineare Interpolation vieler Stichproben zu erzeugen.
Interpretation der Ergebnisse eines Computer Vision Classifiers
Um den medizinischen Experten die Ergebnisse leicht vermitteln zu können, versahen wir die Bilder mit Heatmaps, um zu verdeutlichen, wo der Schwerpunkt des Modells bei der Vorhersage einer bestimmten Bezeichnung lag. Dazu extrahierten wir die letzte Aktivierungsschicht des Faltungsnetzwerks und extrapolierten sie linear auf das Bild, für das wir die Vorhersage machten.
(Oben: Die Teile des Bildes, die am meisten zur Vorhersage der Klasse Follikuläres Lymphom beigetragen haben, sind auf der rechten Seite des Bildes hervorgehoben - 12 Flecken).
Die Interpretation der Ergebnisse des Modells mit Hilfe von Wärmebildern war sehr nützlich für die Anpassung des Modellierungsansatzes, da sie den Experten die Möglichkeit gibt, zu analysieren, was das Modell tatsächlich tut. Durch den Austausch mit den Experten konnten wir (data Wissenschaftler) den Umgang mit dem Datensatz verbessern und das Modell robuster machen (d. h. es an verschiedene Arten von Eingaben anpassen). Und auch um sicherzustellen, dass es seinen Zweck erfüllt. So erkannten wir die Notwendigkeit, die Färbung der Bilder zu normalisieren.
Schlussfolgerung und wichtige Erkenntnisse
Ziel dieser Studie war es, den Prozess der Erstellung eines guten Klassifikators auf Basis von Deep Learning zur Unterscheidung von follikulärem Lymphom und follikulärer Hyperplasie zu untersuchen. Unsere wichtigsten Erkenntnisse sind im Folgenden aufgeführt: