![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mittel")
<\/span><\/div>![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/yague-thiam.jpeg\")
Einf\u00fchrung<\/h2><\/div>Dieses Projekt ist Teil des Beitrags von Artefact zu Tech for Good. Das Projekt wurde in Zusammenarbeit mit dem Institut Carnot CALYM, einem Konsortium, das sich der partnerschaftlichen Forschung \u00fcber Lymphome widmet, und Microsoft durchgef\u00fchrt.<\/p>\n
Im Herbst 2019 hat das Institut Carnot CALYM ein Strukturierungsprogramm gestartet, das darauf abzielt, einen Fahrplan zur Optimierung der Verwertung und Nutzung von data aus der klinischen, translationalen und pr\u00e4klinischen Forschung zu erstellen, die von den Mitgliedern des Konsortiums seit mehr als 20 Jahren durchgef\u00fchrt wird. Dieses Projekt, das von Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Frankreich) und Pr Christiane Copie (LYSARC, Pierre-B\u00e9nite, Frankreich), beide Mitglieder des Institut Carnot CALYM, vorgeschlagen wurde, ist Teil dieses Strukturierungsprogramms.<\/p>\n<\/div>
Das prim\u00e4re Ziel dieses Forschungsprojekts ist die Entwicklung eines Deep-Learning-Algorithmus, der Pathologen bei der Diagnose von follikul\u00e4ren Lymphomen unterst\u00fctzt. Ein sekund\u00e4res Ziel ist es, aussagekr\u00e4ftige Kriterien zu identifizieren, die medizinischen Experten helfen k\u00f6nnten, die morphologischen Unterschiede zwischen dem Follikul\u00e4ren Lymphom und der Follikul\u00e4ren Hyperplasie zu verstehen, die im Folgenden als FL und FH bezeichnet werden.<\/p>\n<\/div>
Was ist ein follikul\u00e4res Lymphom? Was sind die Herausforderungen bei der Diagnose?<\/h2><\/div>FL ist eine Unterart des Lymphoms, des h\u00e4ufigsten Blutkrebses der Welt. Es gibt mehr als 80 Arten von Lymphomen und diese Vielfalt macht die Diagnose selbst f\u00fcr Experten schwierig. Au\u00dferdem ist FL der FH, die nicht krebsartig ist, sehr \u00e4hnlich, was die Diagnose zus\u00e4tzlich erschwert.<\/p>\n
In diesem Artikel beschreiben wir unseren Ansatz zur Erstellung eines Klassifikators f\u00fcr FL und FH, der nur markierte Ganz-Objekttr\u00e4ger-Bilder verwendet. Whole-Slide-Bilder sind hochaufl\u00f6sende digitale Dateien von gescannten Mikroskop-Objekttr\u00e4gern. In unserem Fall enthalten sie Extrakte von Lymphknoten.<\/p>\n<\/div>
Wie k\u00f6nnte Deep Learning bei der Erkennung helfen?<\/h2><\/div>Anhand von Ganzseitenbildern von FL und FH haben wir einen bin\u00e4ren Klassifikator mit einem patch-basierten Ansatz trainiert. Unsere Modellarchitektur ist ein einfaches Resnet-18, das mit wenigen Epochen (~10) trainiert wurde.<\/p>\n
Nachdem wir die Klasse einer Beobachtung mit dem Klassifikator vorhergesagt haben, extrahieren wir die letzte Aktivierungsschicht, um eine Heatmap \u00fcber dem Eingabebild zu erstellen und die Teile hervorzuheben, die das Modell dazu veranlasst haben, eine bestimmte Klasse zu definieren.<\/p>\n<\/div>
Warum haben wir eine patchbasierte Klassifizierung verwendet?<\/h2><\/div>Die Patch-basierte Klassifizierung ist eine Klassifizierungstechnik, bei der die Klasse einer gegebenen Beobachtung auf der Grundlage der Aggregation der Vorhersagen ihrer Komponenten (Patches) erstellt wird. In unserem Fall wird sie verwendet, weil die Bilder viel zu gro\u00df sind, um sie direkt f\u00fcr das Modell zu verwenden.<\/p>\n
In der Tat sind Ganzdia-Bilder sehr gro\u00df (~10\u2075 Pixel im Quadrat). Ihre Gr\u00f6\u00dfe macht das Trainieren eines Deep Learning-Modells mit herk\u00f6mmlichen Tools fast unm\u00f6glich. Um dieses Problem zu l\u00f6sen, haben wir sie nach zwei wichtigen Kriterien in gleich gro\u00dfe Bereiche unterteilt:<\/p>\n<\/div>
- <\/i><\/span>die Flecken m\u00fcssen gro\u00df genug sein, damit die Follikel darin sichtbar bleiben<\/div><\/li>
- <\/i><\/span>die Patches sollten klein genug sein, damit das Training eines Modells in angemessener Zeit durchgef\u00fchrt werden kann<\/div><\/li><\/ul>
Bei der patchbasierten Klassifizierung kann das Ergebnis des Modells wie das einer klassischen Klassifizierung interpretiert werden, mit dem Unterschied, dass die erste Berechnungsebene auf der Ebene des gesamten Dias liegt. Bei der Vorhersage der Klasse eines Dias von FL w\u00fcrde eine Punktzahl von 98% beispielsweise bedeuten, dass 98 % der Flecken, aus denen es besteht, als FL vorhergesagt worden sind.<\/p>\n
Auf der Ebene dataset wird diese Folie mit einem Wert von 0,98 f\u00fcr die Klasse FL vorhergesagt.<\/p>\n
PS: Wir haben die Hypothese aufgestellt, dass die Bilder in Flecken unterteilt sind, weil medizinische Experten zu dem Schluss gekommen sind, dass in einem ganzen Dia von FL die Follikel \u00fcberall vorhanden sein sollten.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Unser Trainingssatz besteht aus 58k zuf\u00e4llig ausgew\u00e4hlten Patches\u00a0(1024 Pixel im Quadrat)<\/em>\u00a0von FL und FH, die aus einem Satz von 30 Ganzseitenbildern in jeder der 2 Klassen extrahiert wurden.<\/p>\n<\/div>Validierungsset<\/h2><\/div>20% der Patches wurden f\u00fcr die Validierung der Modellleistung zum Zeitpunkt des Trainings abgetastet.<\/p>\n<\/div>
Testsatz<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Modellierung<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Vor dem Training des Deep Learning-Klassifikators: Bildvorbereitung und -verarbeitung<\/h3><\/div>![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/photo-1-1-1.png\")
<\/p>\n
\n(Oben: Die Bilder werden zun\u00e4chst in Flecken unterteilt und dann normalisiert, bevor sie dem Modell zum Training zugef\u00fchrt werden).<\/em><\/p>\n<\/div>Nach dem Training: Inferenz und Interpretation<\/h3><\/div>![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-2-1.png\")
<\/p>\n
(Oben: Zum Zeitpunkt der Inferenz werden neue Ganzseiten in Patches unterteilt, bevor das Modell eine Klasse f\u00fcr<\/em>
\njedes einzelne von ihnen. Teile der Bilder, die f\u00fcr die Vorhersage der FL-Klasse verantwortlich sind, werden hervorgehoben, um die \u00dcberwachung zu erleichtern<\/em>
\ndie Ergebnisse.)<\/em><\/p>\n<\/figure>\nIn den folgenden Abschnitten werden wir diese verschiedenen Schritte der Pipeline im Detail erl\u00e4utern.<\/p>\n<\/div>
Data Vorbereitung und Verarbeitung<\/h2><\/div>1 - Kacheln<\/h3><\/div>Wie bereits erw\u00e4hnt, sind Ganzseitenbilder sehr gro\u00df und k\u00f6nnen nicht direkt in ein Klassifizierungsmodell eingespeist werden, es sei denn, Sie verwenden eine supergalaktische Hardware. Wir haben die Bibliothek openslide<\/strong><\/a>\u00a0zum Lesen der Folien und seiner\u00a0deepzoom<\/strong>\u00a0Unterst\u00fctzung, um die Bilder in relativ kleine Kacheln der Gr\u00f6\u00dfe 1024 Pixel im Quadrat zu unterteilen. Nachdem wir die Bilder in Kacheln zerlegt hatten, lie\u00dfen wir sie durch einen einfachen Cleaner laufen, der alle Kacheln ausschloss, die sich nicht in der Mitte des Gewebes befanden (R\u00e4nder, L\u00f6cher usw.).<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-3-1.png\")
<\/p>\n<\/div>
2 - Flecken-Normalisierung<\/h3><\/div>Der zweite Schritt unserer data-Verarbeitung, der auch der wichtigste Schritt ist, ist die Farbnormalisierung der F\u00e4rbung. Beim F\u00e4rben werden wichtige Merkmale auf den Objekttr\u00e4gern hervorgehoben und der Kontrast zwischen ihnen verst\u00e4rkt. Das verwendete F\u00e4rbesystem ist das g\u00e4ngige\u00a0H&E<\/strong>\u00a0(H\u00e4matoxylin und Eosin).
\nDa die Bilder jedoch aus vielen verschiedenen Labors stammen, haben wir Abweichungen in der F\u00e4rbung der Objekttr\u00e4ger beobachtet. Sie r\u00fchren haupts\u00e4chlich von Unterschieden im F\u00e4rbeprozess von einem Labor zum anderen her. Diese Unterschiede k\u00f6nnen die Leistung des Modells stark beeintr\u00e4chtigen.<\/p>\nWir haben klassische Techniken verwendet, um die F\u00e4rbung des data-Sets vor dem Training des Modells zu normalisieren.<\/p>\n<\/div>
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-3-1-1.png\")
<\/p>\n
(Oben: Ergebnisse von drei verschiedenen Fleckennormalisierungen: eine Zielbildf\u00e4rbung wird auf eine Basisbildfarbverteilung normalisiert).<\/em><\/p>\nWir haben die\u00a0Reinhard<\/strong><\/a> Technik, um die Auswirkungen auf das Modell zu sehen.<\/p>\n<\/div>Training eines Resnet-18 Klassifikators<\/h2><\/div>Nach der Verarbeitung der Ganzdia-Bilder verlief das Training reibungslos (Dropout, Gewichtsabnahme usw.). Nichts Ausgefallenes, au\u00dfer dass wir die data-Erweiterung durcheinander gebracht haben. Wir haben eine\u00a0Resnet18<\/strong>\u00a0von Grund auf neu trainiert, da die vortrainierten Modelle unsere Ergebnisse nicht signifikant verbessert haben. Wir bevorzugten auch das Resnet-18, da das Resnet-34 und das Resnet-56 unsere Leistungen nicht verbesserten. Nach ~10 Epochen war unser Modell bereit zum Testen.
\nWir haben das sehr praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0Bibliothek, um unsere Modelle mit wenig Aufwand zu erstellen.<\/em><\/p>\n<\/div>Testen Sie<\/h2><\/div>Die Ergebnisse von 3 Experimenten sind es wert, erw\u00e4hnt zu werden:<\/p>\n<\/div>
- <\/i><\/span>Ein einfaches resnet-18 als Basislinie<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset + Verwechslung als data-Augmentation<\/div><\/li><\/ul>
Die Ergebnisse dieser 3 Experimente auf dem Testset sind unten aufgef\u00fchrt:<\/p>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-4-1.png\")
<\/p>\n
(Oben: Die Ergebnisse von 3 verschiedenen Modellen bei den 16 ausgew\u00e4hlten Objekttr\u00e4gern des follikul\u00e4ren Lymphoms. Wir sehen, wie sich die Normalisierung der F\u00e4rbung und die Verwechslung auf die Leistung auswirken).<\/em><\/p>\nDie Fleckennormalisierung ist bei weitem der wichtigste Schritt in unserem Modellierungsansatz. Wir hatten Probleme mit der Generalisierung (rote Linie), aber sie hat uns definitiv geholfen, das Problem zu l\u00f6sen. Durch das Hinzuf\u00fcgen von Verwechslungen und einer 2-stufigen Kachelung wird es noch besser.<\/p>\n
Dieses Projekt ist Teil des Beitrags von Artefact zu Tech for Good. Das Projekt wurde in Zusammenarbeit mit dem Institut Carnot CALYM, einem Konsortium, das sich der partnerschaftlichen Forschung \u00fcber Lymphome widmet, und Microsoft durchgef\u00fchrt.<\/p>\n
Im Herbst 2019 hat das Institut Carnot CALYM ein Strukturierungsprogramm gestartet, das darauf abzielt, einen Fahrplan zur Optimierung der Verwertung und Nutzung von data aus der klinischen, translationalen und pr\u00e4klinischen Forschung zu erstellen, die von den Mitgliedern des Konsortiums seit mehr als 20 Jahren durchgef\u00fchrt wird. Dieses Projekt, das von Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Frankreich) und Pr Christiane Copie (LYSARC, Pierre-B\u00e9nite, Frankreich), beide Mitglieder des Institut Carnot CALYM, vorgeschlagen wurde, ist Teil dieses Strukturierungsprogramms.<\/p>\n<\/div>
Das prim\u00e4re Ziel dieses Forschungsprojekts ist die Entwicklung eines Deep-Learning-Algorithmus, der Pathologen bei der Diagnose von follikul\u00e4ren Lymphomen unterst\u00fctzt. Ein sekund\u00e4res Ziel ist es, aussagekr\u00e4ftige Kriterien zu identifizieren, die medizinischen Experten helfen k\u00f6nnten, die morphologischen Unterschiede zwischen dem Follikul\u00e4ren Lymphom und der Follikul\u00e4ren Hyperplasie zu verstehen, die im Folgenden als FL und FH bezeichnet werden.<\/p>\n<\/div>
Was ist ein follikul\u00e4res Lymphom? Was sind die Herausforderungen bei der Diagnose?<\/h2><\/div>FL ist eine Unterart des Lymphoms, des h\u00e4ufigsten Blutkrebses der Welt. Es gibt mehr als 80 Arten von Lymphomen und diese Vielfalt macht die Diagnose selbst f\u00fcr Experten schwierig. Au\u00dferdem ist FL der FH, die nicht krebsartig ist, sehr \u00e4hnlich, was die Diagnose zus\u00e4tzlich erschwert.<\/p>\n
In diesem Artikel beschreiben wir unseren Ansatz zur Erstellung eines Klassifikators f\u00fcr FL und FH, der nur markierte Ganz-Objekttr\u00e4ger-Bilder verwendet. Whole-Slide-Bilder sind hochaufl\u00f6sende digitale Dateien von gescannten Mikroskop-Objekttr\u00e4gern. In unserem Fall enthalten sie Extrakte von Lymphknoten.<\/p>\n<\/div>
Wie k\u00f6nnte Deep Learning bei der Erkennung helfen?<\/h2><\/div>Anhand von Ganzseitenbildern von FL und FH haben wir einen bin\u00e4ren Klassifikator mit einem patch-basierten Ansatz trainiert. Unsere Modellarchitektur ist ein einfaches Resnet-18, das mit wenigen Epochen (~10) trainiert wurde.<\/p>\n
Nachdem wir die Klasse einer Beobachtung mit dem Klassifikator vorhergesagt haben, extrahieren wir die letzte Aktivierungsschicht, um eine Heatmap \u00fcber dem Eingabebild zu erstellen und die Teile hervorzuheben, die das Modell dazu veranlasst haben, eine bestimmte Klasse zu definieren.<\/p>\n<\/div>
Warum haben wir eine patchbasierte Klassifizierung verwendet?<\/h2><\/div>Die Patch-basierte Klassifizierung ist eine Klassifizierungstechnik, bei der die Klasse einer gegebenen Beobachtung auf der Grundlage der Aggregation der Vorhersagen ihrer Komponenten (Patches) erstellt wird. In unserem Fall wird sie verwendet, weil die Bilder viel zu gro\u00df sind, um sie direkt f\u00fcr das Modell zu verwenden.<\/p>\n
In der Tat sind Ganzdia-Bilder sehr gro\u00df (~10\u2075 Pixel im Quadrat). Ihre Gr\u00f6\u00dfe macht das Trainieren eines Deep Learning-Modells mit herk\u00f6mmlichen Tools fast unm\u00f6glich. Um dieses Problem zu l\u00f6sen, haben wir sie nach zwei wichtigen Kriterien in gleich gro\u00dfe Bereiche unterteilt:<\/p>\n<\/div>
- <\/i><\/span>die Flecken m\u00fcssen gro\u00df genug sein, damit die Follikel darin sichtbar bleiben<\/div><\/li>
- <\/i><\/span>die Patches sollten klein genug sein, damit das Training eines Modells in angemessener Zeit durchgef\u00fchrt werden kann<\/div><\/li><\/ul>
Bei der patchbasierten Klassifizierung kann das Ergebnis des Modells wie das einer klassischen Klassifizierung interpretiert werden, mit dem Unterschied, dass die erste Berechnungsebene auf der Ebene des gesamten Dias liegt. Bei der Vorhersage der Klasse eines Dias von FL w\u00fcrde eine Punktzahl von 98% beispielsweise bedeuten, dass 98 % der Flecken, aus denen es besteht, als FL vorhergesagt worden sind.<\/p>\n
Auf der Ebene dataset wird diese Folie mit einem Wert von 0,98 f\u00fcr die Klasse FL vorhergesagt.<\/p>\n
PS: Wir haben die Hypothese aufgestellt, dass die Bilder in Flecken unterteilt sind, weil medizinische Experten zu dem Schluss gekommen sind, dass in einem ganzen Dia von FL die Follikel \u00fcberall vorhanden sein sollten.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Unser Trainingssatz besteht aus 58k zuf\u00e4llig ausgew\u00e4hlten Patches\u00a0(1024 Pixel im Quadrat)<\/em>\u00a0von FL und FH, die aus einem Satz von 30 Ganzseitenbildern in jeder der 2 Klassen extrahiert wurden.<\/p>\n<\/div>Validierungsset<\/h2><\/div>20% der Patches wurden f\u00fcr die Validierung der Modellleistung zum Zeitpunkt des Trainings abgetastet.<\/p>\n<\/div>
Testsatz<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Modellierung<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Vor dem Training des Deep Learning-Klassifikators: Bildvorbereitung und -verarbeitung<\/h3><\/div><\/p>\n
\n(Oben: Die Bilder werden zun\u00e4chst in Flecken unterteilt und dann normalisiert, bevor sie dem Modell zum Training zugef\u00fchrt werden).<\/em><\/p>\n<\/div>Nach dem Training: Inferenz und Interpretation<\/h3><\/div><\/p>\n
(Oben: Zum Zeitpunkt der Inferenz werden neue Ganzseiten in Patches unterteilt, bevor das Modell eine Klasse f\u00fcr<\/em>
\njedes einzelne von ihnen. Teile der Bilder, die f\u00fcr die Vorhersage der FL-Klasse verantwortlich sind, werden hervorgehoben, um die \u00dcberwachung zu erleichtern<\/em>
\ndie Ergebnisse.)<\/em><\/p>\n<\/figure>\nIn den folgenden Abschnitten werden wir diese verschiedenen Schritte der Pipeline im Detail erl\u00e4utern.<\/p>\n<\/div>
Data Vorbereitung und Verarbeitung<\/h2><\/div>1 - Kacheln<\/h3><\/div>Wie bereits erw\u00e4hnt, sind Ganzseitenbilder sehr gro\u00df und k\u00f6nnen nicht direkt in ein Klassifizierungsmodell eingespeist werden, es sei denn, Sie verwenden eine supergalaktische Hardware. Wir haben die Bibliothek openslide<\/strong><\/a>\u00a0zum Lesen der Folien und seiner\u00a0deepzoom<\/strong>\u00a0Unterst\u00fctzung, um die Bilder in relativ kleine Kacheln der Gr\u00f6\u00dfe 1024 Pixel im Quadrat zu unterteilen. Nachdem wir die Bilder in Kacheln zerlegt hatten, lie\u00dfen wir sie durch einen einfachen Cleaner laufen, der alle Kacheln ausschloss, die sich nicht in der Mitte des Gewebes befanden (R\u00e4nder, L\u00f6cher usw.).<\/p>\n<\/p>\n<\/div>
2 - Flecken-Normalisierung<\/h3><\/div>Der zweite Schritt unserer data-Verarbeitung, der auch der wichtigste Schritt ist, ist die Farbnormalisierung der F\u00e4rbung. Beim F\u00e4rben werden wichtige Merkmale auf den Objekttr\u00e4gern hervorgehoben und der Kontrast zwischen ihnen verst\u00e4rkt. Das verwendete F\u00e4rbesystem ist das g\u00e4ngige\u00a0H&E<\/strong>\u00a0(H\u00e4matoxylin und Eosin).
\nDa die Bilder jedoch aus vielen verschiedenen Labors stammen, haben wir Abweichungen in der F\u00e4rbung der Objekttr\u00e4ger beobachtet. Sie r\u00fchren haupts\u00e4chlich von Unterschieden im F\u00e4rbeprozess von einem Labor zum anderen her. Diese Unterschiede k\u00f6nnen die Leistung des Modells stark beeintr\u00e4chtigen.<\/p>\nWir haben klassische Techniken verwendet, um die F\u00e4rbung des data-Sets vor dem Training des Modells zu normalisieren.<\/p>\n<\/div>
<\/p>\n
(Oben: Ergebnisse von drei verschiedenen Fleckennormalisierungen: eine Zielbildf\u00e4rbung wird auf eine Basisbildfarbverteilung normalisiert).<\/em><\/p>\nWir haben die\u00a0Reinhard<\/strong><\/a> Technik, um die Auswirkungen auf das Modell zu sehen.<\/p>\n<\/div>Training eines Resnet-18 Klassifikators<\/h2><\/div>Nach der Verarbeitung der Ganzdia-Bilder verlief das Training reibungslos (Dropout, Gewichtsabnahme usw.). Nichts Ausgefallenes, au\u00dfer dass wir die data-Erweiterung durcheinander gebracht haben. Wir haben eine\u00a0Resnet18<\/strong>\u00a0von Grund auf neu trainiert, da die vortrainierten Modelle unsere Ergebnisse nicht signifikant verbessert haben. Wir bevorzugten auch das Resnet-18, da das Resnet-34 und das Resnet-56 unsere Leistungen nicht verbesserten. Nach ~10 Epochen war unser Modell bereit zum Testen.
\nWir haben das sehr praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0Bibliothek, um unsere Modelle mit wenig Aufwand zu erstellen.<\/em><\/p>\n<\/div>Testen Sie<\/h2><\/div>Die Ergebnisse von 3 Experimenten sind es wert, erw\u00e4hnt zu werden:<\/p>\n<\/div>
- <\/i><\/span>Ein einfaches resnet-18 als Basislinie<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset + Verwechslung als data-Augmentation<\/div><\/li><\/ul>
Die Ergebnisse dieser 3 Experimente auf dem Testset sind unten aufgef\u00fchrt:<\/p>\n
<\/p>\n
(Oben: Die Ergebnisse von 3 verschiedenen Modellen bei den 16 ausgew\u00e4hlten Objekttr\u00e4gern des follikul\u00e4ren Lymphoms. Wir sehen, wie sich die Normalisierung der F\u00e4rbung und die Verwechslung auf die Leistung auswirken).<\/em><\/p>\nDie Fleckennormalisierung ist bei weitem der wichtigste Schritt in unserem Modellierungsansatz. Wir hatten Probleme mit der Generalisierung (rote Linie), aber sie hat uns definitiv geholfen, das Problem zu l\u00f6sen. Durch das Hinzuf\u00fcgen von Verwechslungen und einer 2-stufigen Kachelung wird es noch besser.<\/p>\n
FL ist eine Unterart des Lymphoms, des h\u00e4ufigsten Blutkrebses der Welt. Es gibt mehr als 80 Arten von Lymphomen und diese Vielfalt macht die Diagnose selbst f\u00fcr Experten schwierig. Au\u00dferdem ist FL der FH, die nicht krebsartig ist, sehr \u00e4hnlich, was die Diagnose zus\u00e4tzlich erschwert.<\/p>\n
In diesem Artikel beschreiben wir unseren Ansatz zur Erstellung eines Klassifikators f\u00fcr FL und FH, der nur markierte Ganz-Objekttr\u00e4ger-Bilder verwendet. Whole-Slide-Bilder sind hochaufl\u00f6sende digitale Dateien von gescannten Mikroskop-Objekttr\u00e4gern. In unserem Fall enthalten sie Extrakte von Lymphknoten.<\/p>\n<\/div>
Wie k\u00f6nnte Deep Learning bei der Erkennung helfen?<\/h2><\/div>Anhand von Ganzseitenbildern von FL und FH haben wir einen bin\u00e4ren Klassifikator mit einem patch-basierten Ansatz trainiert. Unsere Modellarchitektur ist ein einfaches Resnet-18, das mit wenigen Epochen (~10) trainiert wurde.<\/p>\n
Nachdem wir die Klasse einer Beobachtung mit dem Klassifikator vorhergesagt haben, extrahieren wir die letzte Aktivierungsschicht, um eine Heatmap \u00fcber dem Eingabebild zu erstellen und die Teile hervorzuheben, die das Modell dazu veranlasst haben, eine bestimmte Klasse zu definieren.<\/p>\n<\/div>
Warum haben wir eine patchbasierte Klassifizierung verwendet?<\/h2><\/div>Die Patch-basierte Klassifizierung ist eine Klassifizierungstechnik, bei der die Klasse einer gegebenen Beobachtung auf der Grundlage der Aggregation der Vorhersagen ihrer Komponenten (Patches) erstellt wird. In unserem Fall wird sie verwendet, weil die Bilder viel zu gro\u00df sind, um sie direkt f\u00fcr das Modell zu verwenden.<\/p>\n
In der Tat sind Ganzdia-Bilder sehr gro\u00df (~10\u2075 Pixel im Quadrat). Ihre Gr\u00f6\u00dfe macht das Trainieren eines Deep Learning-Modells mit herk\u00f6mmlichen Tools fast unm\u00f6glich. Um dieses Problem zu l\u00f6sen, haben wir sie nach zwei wichtigen Kriterien in gleich gro\u00dfe Bereiche unterteilt:<\/p>\n<\/div>
- <\/i><\/span>die Flecken m\u00fcssen gro\u00df genug sein, damit die Follikel darin sichtbar bleiben<\/div><\/li>
- <\/i><\/span>die Patches sollten klein genug sein, damit das Training eines Modells in angemessener Zeit durchgef\u00fchrt werden kann<\/div><\/li><\/ul>
Bei der patchbasierten Klassifizierung kann das Ergebnis des Modells wie das einer klassischen Klassifizierung interpretiert werden, mit dem Unterschied, dass die erste Berechnungsebene auf der Ebene des gesamten Dias liegt. Bei der Vorhersage der Klasse eines Dias von FL w\u00fcrde eine Punktzahl von 98% beispielsweise bedeuten, dass 98 % der Flecken, aus denen es besteht, als FL vorhergesagt worden sind.<\/p>\n
Auf der Ebene dataset wird diese Folie mit einem Wert von 0,98 f\u00fcr die Klasse FL vorhergesagt.<\/p>\n
PS: Wir haben die Hypothese aufgestellt, dass die Bilder in Flecken unterteilt sind, weil medizinische Experten zu dem Schluss gekommen sind, dass in einem ganzen Dia von FL die Follikel \u00fcberall vorhanden sein sollten.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Unser Trainingssatz besteht aus 58k zuf\u00e4llig ausgew\u00e4hlten Patches\u00a0(1024 Pixel im Quadrat)<\/em>\u00a0von FL und FH, die aus einem Satz von 30 Ganzseitenbildern in jeder der 2 Klassen extrahiert wurden.<\/p>\n<\/div>Validierungsset<\/h2><\/div>20% der Patches wurden f\u00fcr die Validierung der Modellleistung zum Zeitpunkt des Trainings abgetastet.<\/p>\n<\/div>
Testsatz<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Modellierung<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Vor dem Training des Deep Learning-Klassifikators: Bildvorbereitung und -verarbeitung<\/h3><\/div><\/p>\n
\n(Oben: Die Bilder werden zun\u00e4chst in Flecken unterteilt und dann normalisiert, bevor sie dem Modell zum Training zugef\u00fchrt werden).<\/em><\/p>\n<\/div>Nach dem Training: Inferenz und Interpretation<\/h3><\/div><\/p>\n
(Oben: Zum Zeitpunkt der Inferenz werden neue Ganzseiten in Patches unterteilt, bevor das Modell eine Klasse f\u00fcr<\/em>
\njedes einzelne von ihnen. Teile der Bilder, die f\u00fcr die Vorhersage der FL-Klasse verantwortlich sind, werden hervorgehoben, um die \u00dcberwachung zu erleichtern<\/em>
\ndie Ergebnisse.)<\/em><\/p>\n<\/figure>\nIn den folgenden Abschnitten werden wir diese verschiedenen Schritte der Pipeline im Detail erl\u00e4utern.<\/p>\n<\/div>
Data Vorbereitung und Verarbeitung<\/h2><\/div>1 - Kacheln<\/h3><\/div>Wie bereits erw\u00e4hnt, sind Ganzseitenbilder sehr gro\u00df und k\u00f6nnen nicht direkt in ein Klassifizierungsmodell eingespeist werden, es sei denn, Sie verwenden eine supergalaktische Hardware. Wir haben die Bibliothek openslide<\/strong><\/a>\u00a0zum Lesen der Folien und seiner\u00a0deepzoom<\/strong>\u00a0Unterst\u00fctzung, um die Bilder in relativ kleine Kacheln der Gr\u00f6\u00dfe 1024 Pixel im Quadrat zu unterteilen. Nachdem wir die Bilder in Kacheln zerlegt hatten, lie\u00dfen wir sie durch einen einfachen Cleaner laufen, der alle Kacheln ausschloss, die sich nicht in der Mitte des Gewebes befanden (R\u00e4nder, L\u00f6cher usw.).<\/p>\n<\/p>\n<\/div>
2 - Flecken-Normalisierung<\/h3><\/div>Der zweite Schritt unserer data-Verarbeitung, der auch der wichtigste Schritt ist, ist die Farbnormalisierung der F\u00e4rbung. Beim F\u00e4rben werden wichtige Merkmale auf den Objekttr\u00e4gern hervorgehoben und der Kontrast zwischen ihnen verst\u00e4rkt. Das verwendete F\u00e4rbesystem ist das g\u00e4ngige\u00a0H&E<\/strong>\u00a0(H\u00e4matoxylin und Eosin).
\nDa die Bilder jedoch aus vielen verschiedenen Labors stammen, haben wir Abweichungen in der F\u00e4rbung der Objekttr\u00e4ger beobachtet. Sie r\u00fchren haupts\u00e4chlich von Unterschieden im F\u00e4rbeprozess von einem Labor zum anderen her. Diese Unterschiede k\u00f6nnen die Leistung des Modells stark beeintr\u00e4chtigen.<\/p>\nWir haben klassische Techniken verwendet, um die F\u00e4rbung des data-Sets vor dem Training des Modells zu normalisieren.<\/p>\n<\/div>
<\/p>\n
(Oben: Ergebnisse von drei verschiedenen Fleckennormalisierungen: eine Zielbildf\u00e4rbung wird auf eine Basisbildfarbverteilung normalisiert).<\/em><\/p>\nWir haben die\u00a0Reinhard<\/strong><\/a> Technik, um die Auswirkungen auf das Modell zu sehen.<\/p>\n<\/div>Training eines Resnet-18 Klassifikators<\/h2><\/div>Nach der Verarbeitung der Ganzdia-Bilder verlief das Training reibungslos (Dropout, Gewichtsabnahme usw.). Nichts Ausgefallenes, au\u00dfer dass wir die data-Erweiterung durcheinander gebracht haben. Wir haben eine\u00a0Resnet18<\/strong>\u00a0von Grund auf neu trainiert, da die vortrainierten Modelle unsere Ergebnisse nicht signifikant verbessert haben. Wir bevorzugten auch das Resnet-18, da das Resnet-34 und das Resnet-56 unsere Leistungen nicht verbesserten. Nach ~10 Epochen war unser Modell bereit zum Testen.
\nWir haben das sehr praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0Bibliothek, um unsere Modelle mit wenig Aufwand zu erstellen.<\/em><\/p>\n<\/div>Testen Sie<\/h2><\/div>Die Ergebnisse von 3 Experimenten sind es wert, erw\u00e4hnt zu werden:<\/p>\n<\/div>
- <\/i><\/span>Ein einfaches resnet-18 als Basislinie<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset + Verwechslung als data-Augmentation<\/div><\/li><\/ul>
Die Ergebnisse dieser 3 Experimente auf dem Testset sind unten aufgef\u00fchrt:<\/p>\n
<\/p>\n
(Oben: Die Ergebnisse von 3 verschiedenen Modellen bei den 16 ausgew\u00e4hlten Objekttr\u00e4gern des follikul\u00e4ren Lymphoms. Wir sehen, wie sich die Normalisierung der F\u00e4rbung und die Verwechslung auf die Leistung auswirken).<\/em><\/p>\nDie Fleckennormalisierung ist bei weitem der wichtigste Schritt in unserem Modellierungsansatz. Wir hatten Probleme mit der Generalisierung (rote Linie), aber sie hat uns definitiv geholfen, das Problem zu l\u00f6sen. Durch das Hinzuf\u00fcgen von Verwechslungen und einer 2-stufigen Kachelung wird es noch besser.<\/p>\n
Anhand von Ganzseitenbildern von FL und FH haben wir einen bin\u00e4ren Klassifikator mit einem patch-basierten Ansatz trainiert. Unsere Modellarchitektur ist ein einfaches Resnet-18, das mit wenigen Epochen (~10) trainiert wurde.<\/p>\n
Nachdem wir die Klasse einer Beobachtung mit dem Klassifikator vorhergesagt haben, extrahieren wir die letzte Aktivierungsschicht, um eine Heatmap \u00fcber dem Eingabebild zu erstellen und die Teile hervorzuheben, die das Modell dazu veranlasst haben, eine bestimmte Klasse zu definieren.<\/p>\n<\/div>
Warum haben wir eine patchbasierte Klassifizierung verwendet?<\/h2><\/div>Die Patch-basierte Klassifizierung ist eine Klassifizierungstechnik, bei der die Klasse einer gegebenen Beobachtung auf der Grundlage der Aggregation der Vorhersagen ihrer Komponenten (Patches) erstellt wird. In unserem Fall wird sie verwendet, weil die Bilder viel zu gro\u00df sind, um sie direkt f\u00fcr das Modell zu verwenden.<\/p>\n
In der Tat sind Ganzdia-Bilder sehr gro\u00df (~10\u2075 Pixel im Quadrat). Ihre Gr\u00f6\u00dfe macht das Trainieren eines Deep Learning-Modells mit herk\u00f6mmlichen Tools fast unm\u00f6glich. Um dieses Problem zu l\u00f6sen, haben wir sie nach zwei wichtigen Kriterien in gleich gro\u00dfe Bereiche unterteilt:<\/p>\n<\/div>
- <\/i><\/span>die Flecken m\u00fcssen gro\u00df genug sein, damit die Follikel darin sichtbar bleiben<\/div><\/li>
- <\/i><\/span>die Patches sollten klein genug sein, damit das Training eines Modells in angemessener Zeit durchgef\u00fchrt werden kann<\/div><\/li><\/ul>
Bei der patchbasierten Klassifizierung kann das Ergebnis des Modells wie das einer klassischen Klassifizierung interpretiert werden, mit dem Unterschied, dass die erste Berechnungsebene auf der Ebene des gesamten Dias liegt. Bei der Vorhersage der Klasse eines Dias von FL w\u00fcrde eine Punktzahl von 98% beispielsweise bedeuten, dass 98 % der Flecken, aus denen es besteht, als FL vorhergesagt worden sind.<\/p>\n
Auf der Ebene dataset wird diese Folie mit einem Wert von 0,98 f\u00fcr die Klasse FL vorhergesagt.<\/p>\n
PS: Wir haben die Hypothese aufgestellt, dass die Bilder in Flecken unterteilt sind, weil medizinische Experten zu dem Schluss gekommen sind, dass in einem ganzen Dia von FL die Follikel \u00fcberall vorhanden sein sollten.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Unser Trainingssatz besteht aus 58k zuf\u00e4llig ausgew\u00e4hlten Patches\u00a0(1024 Pixel im Quadrat)<\/em>\u00a0von FL und FH, die aus einem Satz von 30 Ganzseitenbildern in jeder der 2 Klassen extrahiert wurden.<\/p>\n<\/div>Validierungsset<\/h2><\/div>20% der Patches wurden f\u00fcr die Validierung der Modellleistung zum Zeitpunkt des Trainings abgetastet.<\/p>\n<\/div>
Testsatz<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Modellierung<\/h2><\/div>Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Vor dem Training des Deep Learning-Klassifikators: Bildvorbereitung und -verarbeitung<\/h3><\/div><\/p>\n
\n(Oben: Die Bilder werden zun\u00e4chst in Flecken unterteilt und dann normalisiert, bevor sie dem Modell zum Training zugef\u00fchrt werden).<\/em><\/p>\n<\/div>Nach dem Training: Inferenz und Interpretation<\/h3><\/div><\/p>\n
(Oben: Zum Zeitpunkt der Inferenz werden neue Ganzseiten in Patches unterteilt, bevor das Modell eine Klasse f\u00fcr<\/em>
\njedes einzelne von ihnen. Teile der Bilder, die f\u00fcr die Vorhersage der FL-Klasse verantwortlich sind, werden hervorgehoben, um die \u00dcberwachung zu erleichtern<\/em>
\ndie Ergebnisse.)<\/em><\/p>\n<\/figure>\nIn den folgenden Abschnitten werden wir diese verschiedenen Schritte der Pipeline im Detail erl\u00e4utern.<\/p>\n<\/div>
Data Vorbereitung und Verarbeitung<\/h2><\/div>1 - Kacheln<\/h3><\/div>Wie bereits erw\u00e4hnt, sind Ganzseitenbilder sehr gro\u00df und k\u00f6nnen nicht direkt in ein Klassifizierungsmodell eingespeist werden, es sei denn, Sie verwenden eine supergalaktische Hardware. Wir haben die Bibliothek openslide<\/strong><\/a>\u00a0zum Lesen der Folien und seiner\u00a0deepzoom<\/strong>\u00a0Unterst\u00fctzung, um die Bilder in relativ kleine Kacheln der Gr\u00f6\u00dfe 1024 Pixel im Quadrat zu unterteilen. Nachdem wir die Bilder in Kacheln zerlegt hatten, lie\u00dfen wir sie durch einen einfachen Cleaner laufen, der alle Kacheln ausschloss, die sich nicht in der Mitte des Gewebes befanden (R\u00e4nder, L\u00f6cher usw.).<\/p>\n<\/p>\n<\/div>
2 - Flecken-Normalisierung<\/h3><\/div>Der zweite Schritt unserer data-Verarbeitung, der auch der wichtigste Schritt ist, ist die Farbnormalisierung der F\u00e4rbung. Beim F\u00e4rben werden wichtige Merkmale auf den Objekttr\u00e4gern hervorgehoben und der Kontrast zwischen ihnen verst\u00e4rkt. Das verwendete F\u00e4rbesystem ist das g\u00e4ngige\u00a0H&E<\/strong>\u00a0(H\u00e4matoxylin und Eosin).
\nDa die Bilder jedoch aus vielen verschiedenen Labors stammen, haben wir Abweichungen in der F\u00e4rbung der Objekttr\u00e4ger beobachtet. Sie r\u00fchren haupts\u00e4chlich von Unterschieden im F\u00e4rbeprozess von einem Labor zum anderen her. Diese Unterschiede k\u00f6nnen die Leistung des Modells stark beeintr\u00e4chtigen.<\/p>\nWir haben klassische Techniken verwendet, um die F\u00e4rbung des data-Sets vor dem Training des Modells zu normalisieren.<\/p>\n<\/div>
<\/p>\n
(Oben: Ergebnisse von drei verschiedenen Fleckennormalisierungen: eine Zielbildf\u00e4rbung wird auf eine Basisbildfarbverteilung normalisiert).<\/em><\/p>\nWir haben die\u00a0Reinhard<\/strong><\/a> Technik, um die Auswirkungen auf das Modell zu sehen.<\/p>\n<\/div>Training eines Resnet-18 Klassifikators<\/h2><\/div>Nach der Verarbeitung der Ganzdia-Bilder verlief das Training reibungslos (Dropout, Gewichtsabnahme usw.). Nichts Ausgefallenes, au\u00dfer dass wir die data-Erweiterung durcheinander gebracht haben. Wir haben eine\u00a0Resnet18<\/strong>\u00a0von Grund auf neu trainiert, da die vortrainierten Modelle unsere Ergebnisse nicht signifikant verbessert haben. Wir bevorzugten auch das Resnet-18, da das Resnet-34 und das Resnet-56 unsere Leistungen nicht verbesserten. Nach ~10 Epochen war unser Modell bereit zum Testen.
\nWir haben das sehr praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0Bibliothek, um unsere Modelle mit wenig Aufwand zu erstellen.<\/em><\/p>\n<\/div>Testen Sie<\/h2><\/div>Die Ergebnisse von 3 Experimenten sind es wert, erw\u00e4hnt zu werden:<\/p>\n<\/div>
- <\/i><\/span>Ein einfaches resnet-18 als Basislinie<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset<\/div><\/li>
- <\/i><\/span>Eine Resnet-18 + Flecken-Normalisierung auf dem dataset + Verwechslung als data-Augmentation<\/div><\/li><\/ul>
Die Ergebnisse dieser 3 Experimente auf dem Testset sind unten aufgef\u00fchrt:<\/p>\n
<\/p>\n
(Oben: Die Ergebnisse von 3 verschiedenen Modellen bei den 16 ausgew\u00e4hlten Objekttr\u00e4gern des follikul\u00e4ren Lymphoms. Wir sehen, wie sich die Normalisierung der F\u00e4rbung und die Verwechslung auf die Leistung auswirken).<\/em><\/p>\nDie Fleckennormalisierung ist bei weitem der wichtigste Schritt in unserem Modellierungsansatz. Wir hatten Probleme mit der Generalisierung (rote Linie), aber sie hat uns definitiv geholfen, das Problem zu l\u00f6sen. Durch das Hinzuf\u00fcgen von Verwechslungen und einer 2-stufigen Kachelung wird es noch besser.<\/p>\n
Die Patch-basierte Klassifizierung ist eine Klassifizierungstechnik, bei der die Klasse einer gegebenen Beobachtung auf der Grundlage der Aggregation der Vorhersagen ihrer Komponenten (Patches) erstellt wird. In unserem Fall wird sie verwendet, weil die Bilder viel zu gro\u00df sind, um sie direkt f\u00fcr das Modell zu verwenden.<\/p>\n
In der Tat sind Ganzdia-Bilder sehr gro\u00df (~10\u2075 Pixel im Quadrat). Ihre Gr\u00f6\u00dfe macht das Trainieren eines Deep Learning-Modells mit herk\u00f6mmlichen Tools fast unm\u00f6glich. Um dieses Problem zu l\u00f6sen, haben wir sie nach zwei wichtigen Kriterien in gleich gro\u00dfe Bereiche unterteilt:<\/p>\n<\/div>
- <\/i><\/span>die Flecken m\u00fcssen gro\u00df genug sein, damit die Follikel darin sichtbar bleiben<\/div><\/li>
- <\/i><\/span>
die Patches sollten klein genug sein, damit das Training eines Modells in angemessener Zeit durchgef\u00fchrt werden kann<\/div><\/li><\/ul>Bei der patchbasierten Klassifizierung kann das Ergebnis des Modells wie das einer klassischen Klassifizierung interpretiert werden, mit dem Unterschied, dass die erste Berechnungsebene auf der Ebene des gesamten Dias liegt. Bei der Vorhersage der Klasse eines Dias von FL w\u00fcrde eine Punktzahl von 98% beispielsweise bedeuten, dass 98 % der Flecken, aus denen es besteht, als FL vorhergesagt worden sind.<\/p>\n
Auf der Ebene dataset wird diese Folie mit einem Wert von 0,98 f\u00fcr die Klasse FL vorhergesagt.<\/p>\n
PS: Wir haben die Hypothese aufgestellt, dass die Bilder in Flecken unterteilt sind, weil medizinische Experten zu dem Schluss gekommen sind, dass in einem ganzen Dia von FL die Follikel \u00fcberall vorhanden sein sollten.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>
Unser Trainingssatz besteht aus 58k zuf\u00e4llig ausgew\u00e4hlten Patches\u00a0(1024 Pixel im Quadrat)<\/em>\u00a0von FL und FH, die aus einem Satz von 30 Ganzseitenbildern in jeder der 2 Klassen extrahiert wurden.<\/p>\n<\/div>
Validierungsset<\/h2><\/div>
20% der Patches wurden f\u00fcr die Validierung der Modellleistung zum Zeitpunkt des Trainings abgetastet.<\/p>\n<\/div>
Testsatz<\/h2><\/div>
Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Modellierung<\/h2><\/div>
Unser Testsatz besteht aus 15 Bildern, die jeweils in Bereiche unterteilt sind. Dieser Referenzsatz wurde verwendet, um die Ergebnisse der verschiedenen Trainingsans\u00e4tze zu vergleichen, die wir im Folgenden genauer beschreiben.<\/p>\n<\/div>
Vor dem Training des Deep Learning-Klassifikators: Bildvorbereitung und -verarbeitung<\/h3><\/div>
<\/p>\n\n(Oben: Die Bilder werden zun\u00e4chst in Flecken unterteilt und dann normalisiert, bevor sie dem Modell zum Training zugef\u00fchrt werden).<\/em><\/p>\n<\/div>
Nach dem Training: Inferenz und Interpretation<\/h3><\/div>
<\/p>\n(Oben: Zum Zeitpunkt der Inferenz werden neue Ganzseiten in Patches unterteilt, bevor das Modell eine Klasse f\u00fcr<\/em>
\njedes einzelne von ihnen. Teile der Bilder, die f\u00fcr die Vorhersage der FL-Klasse verantwortlich sind, werden hervorgehoben, um die \u00dcberwachung zu erleichtern<\/em>
\ndie Ergebnisse.)<\/em><\/p>\n<\/figure>\n In den folgenden Abschnitten werden wir diese verschiedenen Schritte der Pipeline im Detail erl\u00e4utern.<\/p>\n<\/div>
Data Vorbereitung und Verarbeitung<\/h2><\/div>
1 - Kacheln<\/h3><\/div>
Wie bereits erw\u00e4hnt, sind Ganzseitenbilder sehr gro\u00df und k\u00f6nnen nicht direkt in ein Klassifizierungsmodell eingespeist werden, es sei denn, Sie verwenden eine supergalaktische Hardware. Wir haben die Bibliothek openslide<\/strong><\/a>\u00a0zum Lesen der Folien und seiner\u00a0deepzoom<\/strong>\u00a0Unterst\u00fctzung, um die Bilder in relativ kleine Kacheln der Gr\u00f6\u00dfe 1024 Pixel im Quadrat zu unterteilen. Nachdem wir die Bilder in Kacheln zerlegt hatten, lie\u00dfen wir sie durch einen einfachen Cleaner laufen, der alle Kacheln ausschloss, die sich nicht in der Mitte des Gewebes befanden (R\u00e4nder, L\u00f6cher usw.).<\/p>\n
<\/p>\n<\/div>2 - Flecken-Normalisierung<\/h3><\/div>
Der zweite Schritt unserer data-Verarbeitung, der auch der wichtigste Schritt ist, ist die Farbnormalisierung der F\u00e4rbung. Beim F\u00e4rben werden wichtige Merkmale auf den Objekttr\u00e4gern hervorgehoben und der Kontrast zwischen ihnen verst\u00e4rkt. Das verwendete F\u00e4rbesystem ist das g\u00e4ngige\u00a0H&E<\/strong>\u00a0(H\u00e4matoxylin und Eosin).
\nDa die Bilder jedoch aus vielen verschiedenen Labors stammen, haben wir Abweichungen in der F\u00e4rbung der Objekttr\u00e4ger beobachtet. Sie r\u00fchren haupts\u00e4chlich von Unterschieden im F\u00e4rbeprozess von einem Labor zum anderen her. Diese Unterschiede k\u00f6nnen die Leistung des Modells stark beeintr\u00e4chtigen.<\/p>\nWir haben klassische Techniken verwendet, um die F\u00e4rbung des data-Sets vor dem Training des Modells zu normalisieren.<\/p>\n<\/div>
<\/p>\n(Oben: Ergebnisse von drei verschiedenen Fleckennormalisierungen: eine Zielbildf\u00e4rbung wird auf eine Basisbildfarbverteilung normalisiert).<\/em><\/p>\n
Wir haben die\u00a0Reinhard<\/strong><\/a> Technik, um die Auswirkungen auf das Modell zu sehen.<\/p>\n<\/div>
Training eines Resnet-18 Klassifikators<\/h2><\/div>
Nach der Verarbeitung der Ganzdia-Bilder verlief das Training reibungslos (Dropout, Gewichtsabnahme usw.). Nichts Ausgefallenes, au\u00dfer dass wir die data-Erweiterung durcheinander gebracht haben. Wir haben eine\u00a0Resnet18<\/strong>\u00a0von Grund auf neu trainiert, da die vortrainierten Modelle unsere Ergebnisse nicht signifikant verbessert haben. Wir bevorzugten auch das Resnet-18, da das Resnet-34 und das Resnet-56 unsere Leistungen nicht verbesserten. Nach ~10 Epochen war unser Modell bereit zum Testen.
\nWir haben das sehr praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0Bibliothek, um unsere Modelle mit wenig Aufwand zu erstellen.<\/em><\/p>\n<\/div>Testen Sie<\/h2><\/div>
Die Ergebnisse von 3 Experimenten sind es wert, erw\u00e4hnt zu werden:<\/p>\n<\/div>
- <\/i><\/span>Ein einfaches resnet-18 als Basislinie<\/div><\/li>
- <\/i><\/span>
Eine Resnet-18 + Flecken-Normalisierung auf dem dataset<\/div><\/li>- <\/i><\/span>
Eine Resnet-18 + Flecken-Normalisierung auf dem dataset + Verwechslung als data-Augmentation<\/div><\/li><\/ul>Die Ergebnisse dieser 3 Experimente auf dem Testset sind unten aufgef\u00fchrt:<\/p>\n
<\/p>\n(Oben: Die Ergebnisse von 3 verschiedenen Modellen bei den 16 ausgew\u00e4hlten Objekttr\u00e4gern des follikul\u00e4ren Lymphoms. Wir sehen, wie sich die Normalisierung der F\u00e4rbung und die Verwechslung auf die Leistung auswirken).<\/em><\/p>\n
Die Fleckennormalisierung ist bei weitem der wichtigste Schritt in unserem Modellierungsansatz. Wir hatten Probleme mit der Generalisierung (rote Linie), aber sie hat uns definitiv geholfen, das Problem zu l\u00f6sen. Durch das Hinzuf\u00fcgen von Verwechslungen und einer 2-stufigen Kachelung wird es noch besser.<\/p>\n
- <\/i><\/span>
- <\/i><\/span>
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-5-1.png\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"mittel\\"")
<\/span><\/div>