![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Medium")
<\/span><\/div>![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/yague-thiam.jpeg\")
Inleiding<\/h2><\/div>Dit project maakt deel uit van de bijdrage van Artefact aan Tech for Good. Het project is uitgevoerd in samenwerking met het Institut Carnot CALYM, een consortium dat zich richt op partnerschapsonderzoek naar lymfeklierkanker, en Microsoft.<\/p>\n
In de herfst van 2019 lanceerde het Institut Carnot CALYM een structureringsprogramma dat gericht is op het opstellen van een routekaart voor het optimaliseren van de valorisatie en exploitatie van data uit het klinische, translationele en preklinische onderzoek dat al meer dan 20 jaar wordt uitgevoerd door de leden van het consortium. Dit project, voorgesteld door Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Frankrijk) en Pr Christiane Copie (LYSARC, Pierre-B\u00e9nite, Frankrijk), beiden lid van het Institut Carnot CALYM, maakt deel uit van dit structureringsprogramma.<\/p>\n<\/div>
De primaire doelstelling van dit onderzoeksproject is het ontwikkelen van een deep-learning algoritme om pathologen te helpen bij het diagnosticeren van folliculair lymfoom. Een secundair doel is het identificeren van informatieve criteria die medische experts kunnen helpen bij het begrijpen van de morfologische verschillen tussen folliculair lymfoom en folliculaire hyperplasie, die hierna FL en FH zullen worden genoemd.<\/p>\n<\/div>
Wat is folliculair lymfoom? Wat zijn de uitdagingen bij de diagnose?<\/h2><\/div>FL is een subtype van Lymfoom, de meest voorkomende bloedkanker ter wereld. Er zijn meer dan 80 soorten Lymfoom en deze diversiteit maakt de diagnose moeilijk, zelfs voor deskundigen. Bovendien lijkt FL erg op FH, dat niet kankerverwekkend is, wat de diagnose nog moeilijker maakt.<\/p>\n
In dit artikel beschrijven we onze aanpak bij het bouwen van een classificator voor FL en FH door alleen gelabelde afbeeldingen van hele objectglaasjes te gebruiken. Afbeeldingen van hele objectglaasjes zijn digitale bestanden met een hoge resolutie van gescande microscoopglaasjes. In ons geval bevatten ze extracten van lymfeklieren.<\/p>\n<\/div>
Hoe kan deep learning helpen bij de detectie?<\/h2><\/div>Met behulp van hele-slide beelden van FL en FH trainden we een binaire classificator door middel van een patch-gebaseerde aanpak. Onze modelarchitectuur is een eenvoudige Resnet-18 getraind op een paar epochs (~10).<\/p>\n
Na het voorspellen van de klasse van een observatie met de classifier, halen we de laatste activeringslaag eruit om een heatmap boven op de invoerafbeelding te bouwen om delen te markeren die het model ertoe hebben aangezet om een bepaalde klasse te defini\u00ebren.<\/p>\n<\/div>
Waarom hebben we een patch-gebaseerde classificatie gebruikt?<\/h2><\/div>Patchgebaseerde classificatie is een classificatietechniek waarbij de klasse van een gegeven waarneming wordt opgebouwd op basis van de samenvoeging van de voorspellingen van de componenten (patches). In ons geval wordt deze techniek gebruikt omdat de afbeeldingen veel te groot zijn om direct op het model gebruikt te worden.<\/p>\n
In feite zijn afbeeldingen van hele dia's erg groot (~10\u2075 vierkante pixels). Hun grootte maakt het trainen van een deep learning-model bijna onmogelijk met gewone hulpmiddelen. Om dit probleem op te lossen, hebben we ze verdeeld in patches van dezelfde grootte volgens twee belangrijke criteria:<\/p>\n<\/div>
- <\/i><\/span>de pleisters moeten groot genoeg zijn zodat de follikels erin zichtbaar blijven<\/div><\/li>
- <\/i><\/span>de patches moeten klein genoeg zijn zodat het trainen van een model in een redelijke tijd kan worden gedaan<\/div><\/li><\/ul>
Bij classificatie op basis van patches kan de uitvoer van het model ge\u00efnterpreteerd worden als die van een klassieke classificatie, behalve dat de eerste rekenlaag zich op het niveau van de hele glijbaan bevindt. Bijvoorbeeld, bij het voorspellen van de klasse van een glijbaan van FL, zou een score van 98% betekenen dat 98 % van de patches waaruit de glijbaan bestaat, voorspeld zijn als zijnde FL.<\/p>\n
Op het niveau dataset wordt deze dia voorspeld met een score van 0,98 voor de FL klasse.<\/p>\n
PS: We hebben de hypothese om de afbeeldingen in patches te verdelen gebaseerd op de conclusies van medische experts die stellen dat in een hele FL-afbeelding de follikels naar verwachting overal aanwezig zullen zijn.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Onze trainingsset bestaat uit 58k willekeurig geselecteerde patches\u00a0(vierkant van 1024 pixels)<\/em>\u00a0van FL en FH ge\u00ebxtraheerd uit een set van 30 hele-slidebeelden in elk van de 2 klassen.<\/p>\n<\/div>Validatieset<\/h2><\/div>20% van de patches werd bemonsterd om de modelprestaties tijdens de training te valideren.<\/p>\n<\/div>
Testset<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Modelleren<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Voor het trainen van de deep learning classifier: Beeldvoorbereiding en -verwerking<\/h3><\/div>![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/photo-1-1-1.png\")
<\/p>\n
\n(Hierboven: De beelden worden eerst in patches verdeeld en vervolgens genormaliseerd voordat ze naar het model worden gevoerd om te trainen).<\/em><\/p>\n<\/div>Na de training: Inferentie en interpretatie<\/h3><\/div>![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-2-1.png\")
<\/p>\n
(Hierboven: Tijdens de inferentietijd worden nieuwe hele glijbanen verdeeld in patches voordat het model een klasse voorspelt voor<\/em>
\nelk van hen. Delen van afbeeldingen die verantwoordelijk zijn voor het voorspellen van de FL-klasse worden gemarkeerd om te helpen bij het monitoren<\/em>
\nde resultaten).<\/em><\/p>\n<\/figure>\nIn de onderstaande secties geven we details over deze verschillende stappen van de pijplijn.<\/p>\n<\/div>
Data voorbereiding en verwerking<\/h2><\/div>1 - Betegelen<\/h3><\/div>Zoals eerder vermeld, zijn afbeeldingen van hele dia's erg groot en kunnen ze niet direct naar een classificatiemodel worden gevoerd, tenzij u super galactische hardware gebruikt. Wij gebruikten de bibliotheek openslide<\/strong><\/a>\u00a0om de dia's en de\u00a0diepzoom<\/strong>\u00a0ondersteuning om de afbeeldingen te verdelen in relatief kleine tegels met een vierkant formaat van 1024 pixels. Nadat we ze in tiles hadden opgedeeld, hebben we ze door een basiscleaner gehaald die alle tiles wegliet die niet in het midden van het weefsel lagen (randen, gaten, enz.).<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-3-1.png\")
<\/p>\n<\/div>
2 - Vleknormalisatie<\/h3><\/div>De tweede stap van onze data verwerking, die ook de belangrijkste stap is, is de kleurnormalisatie van de kleuring. Kleuring is het proces waarbij belangrijke kenmerken op objectglaasjes worden gemarkeerd en het contrast ertussen wordt vergroot. Het gebruikte kleursysteem is het gangbare\u00a0H&E<\/strong>\u00a0(Hematoxyline en Eosine).
\nOmdat de afbeeldingen echter van veel verschillende laboratoria komen, hebben we variaties in de kleuring van de objectglaasjes waargenomen. Deze variaties zijn voornamelijk het gevolg van verschillen in het kleurproces tussen laboratoria. Deze verschillen kunnen de prestaties van het model sterk be\u00efnvloeden.<\/p>\nWe gebruikten klassieke technieken om de kleuring van de dataset te normaliseren voordat we het model trainden.<\/p>\n<\/div>
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-3-1-1.png\")
<\/p>\n
(Hierboven: Resultaten van drie verschillende kleurnormalisaties: een doelbeeldkleuring wordt genormaliseerd naar een basisbeeldkleurverdeling).<\/em><\/p>\nWe hebben de\u00a0Reinhard<\/strong><\/a> techniek om de impact op het model te zien.<\/p>\n<\/div>Een Resnet-18 classificator trainen<\/h2><\/div>Na het verwerken van de beelden van de hele dia verliep de training probleemloos (dropout, gewichtsverval, enz..). Niets bijzonders, behalve het toevoegen van mixup in de data augmentatie. We gebruikten een\u00a0Resnet18<\/strong>\u00a0helemaal opnieuw getraind, omdat voorgetrainde modellen onze resultaten niet significant verbeterden. We gaven ook de voorkeur aan Resnet-18 omdat Resnet-34 en Resnet-56 onze prestaties niet verbeterden. Na ~10 epochs was ons model klaar om getest te worden.
\nWe gebruikten het zeer praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0bibliotheek om onze modellen met weinig moeite te bouwen.<\/em><\/p>\n<\/div>Testen<\/h2><\/div>De resultaten van 3 experimenten zijn het vermelden waard:<\/p>\n<\/div>
- <\/i><\/span>Een eenvoudig resnet-18 als basislijn<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlekkennormalisatie op de dataset<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlek normalisatie op de dataset + mixup als data augmentatie<\/div><\/li><\/ul>
De resultaten op de testset voor deze 3 experimenten worden hieronder weergegeven:<\/p>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-4-1.png\")
<\/p>\n
(Hierboven: De resultaten van 3 verschillende modellen op de 16 geselecteerde objectglaasjes van folliculair lymfoom. We kunnen het effect van kleurstofnormalisatie en mixup op de prestaties zien).<\/em><\/p>\nDe normalisatie van de vlekken is verreweg de belangrijkste stap in onze modelleerbenadering. We hadden last van generalisatieproblemen (rode lijn), maar het helpt zeker bij het oplossen van het probleem. Het toevoegen van mixup en een 2-staps tegelwerk maakt het nog beter.<\/p>\n
Dit project maakt deel uit van de bijdrage van Artefact aan Tech for Good. Het project is uitgevoerd in samenwerking met het Institut Carnot CALYM, een consortium dat zich richt op partnerschapsonderzoek naar lymfeklierkanker, en Microsoft.<\/p>\n
In de herfst van 2019 lanceerde het Institut Carnot CALYM een structureringsprogramma dat gericht is op het opstellen van een routekaart voor het optimaliseren van de valorisatie en exploitatie van data uit het klinische, translationele en preklinische onderzoek dat al meer dan 20 jaar wordt uitgevoerd door de leden van het consortium. Dit project, voorgesteld door Pr Camille Laurent (LYSA, IUCT, CHU Toulouse, Frankrijk) en Pr Christiane Copie (LYSARC, Pierre-B\u00e9nite, Frankrijk), beiden lid van het Institut Carnot CALYM, maakt deel uit van dit structureringsprogramma.<\/p>\n<\/div>
De primaire doelstelling van dit onderzoeksproject is het ontwikkelen van een deep-learning algoritme om pathologen te helpen bij het diagnosticeren van folliculair lymfoom. Een secundair doel is het identificeren van informatieve criteria die medische experts kunnen helpen bij het begrijpen van de morfologische verschillen tussen folliculair lymfoom en folliculaire hyperplasie, die hierna FL en FH zullen worden genoemd.<\/p>\n<\/div>
Wat is folliculair lymfoom? Wat zijn de uitdagingen bij de diagnose?<\/h2><\/div>FL is een subtype van Lymfoom, de meest voorkomende bloedkanker ter wereld. Er zijn meer dan 80 soorten Lymfoom en deze diversiteit maakt de diagnose moeilijk, zelfs voor deskundigen. Bovendien lijkt FL erg op FH, dat niet kankerverwekkend is, wat de diagnose nog moeilijker maakt.<\/p>\n
In dit artikel beschrijven we onze aanpak bij het bouwen van een classificator voor FL en FH door alleen gelabelde afbeeldingen van hele objectglaasjes te gebruiken. Afbeeldingen van hele objectglaasjes zijn digitale bestanden met een hoge resolutie van gescande microscoopglaasjes. In ons geval bevatten ze extracten van lymfeklieren.<\/p>\n<\/div>
Hoe kan deep learning helpen bij de detectie?<\/h2><\/div>Met behulp van hele-slide beelden van FL en FH trainden we een binaire classificator door middel van een patch-gebaseerde aanpak. Onze modelarchitectuur is een eenvoudige Resnet-18 getraind op een paar epochs (~10).<\/p>\n
Na het voorspellen van de klasse van een observatie met de classifier, halen we de laatste activeringslaag eruit om een heatmap boven op de invoerafbeelding te bouwen om delen te markeren die het model ertoe hebben aangezet om een bepaalde klasse te defini\u00ebren.<\/p>\n<\/div>
Waarom hebben we een patch-gebaseerde classificatie gebruikt?<\/h2><\/div>Patchgebaseerde classificatie is een classificatietechniek waarbij de klasse van een gegeven waarneming wordt opgebouwd op basis van de samenvoeging van de voorspellingen van de componenten (patches). In ons geval wordt deze techniek gebruikt omdat de afbeeldingen veel te groot zijn om direct op het model gebruikt te worden.<\/p>\n
In feite zijn afbeeldingen van hele dia's erg groot (~10\u2075 vierkante pixels). Hun grootte maakt het trainen van een deep learning-model bijna onmogelijk met gewone hulpmiddelen. Om dit probleem op te lossen, hebben we ze verdeeld in patches van dezelfde grootte volgens twee belangrijke criteria:<\/p>\n<\/div>
- <\/i><\/span>de pleisters moeten groot genoeg zijn zodat de follikels erin zichtbaar blijven<\/div><\/li>
- <\/i><\/span>de patches moeten klein genoeg zijn zodat het trainen van een model in een redelijke tijd kan worden gedaan<\/div><\/li><\/ul>
Bij classificatie op basis van patches kan de uitvoer van het model ge\u00efnterpreteerd worden als die van een klassieke classificatie, behalve dat de eerste rekenlaag zich op het niveau van de hele glijbaan bevindt. Bijvoorbeeld, bij het voorspellen van de klasse van een glijbaan van FL, zou een score van 98% betekenen dat 98 % van de patches waaruit de glijbaan bestaat, voorspeld zijn als zijnde FL.<\/p>\n
Op het niveau dataset wordt deze dia voorspeld met een score van 0,98 voor de FL klasse.<\/p>\n
PS: We hebben de hypothese om de afbeeldingen in patches te verdelen gebaseerd op de conclusies van medische experts die stellen dat in een hele FL-afbeelding de follikels naar verwachting overal aanwezig zullen zijn.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Onze trainingsset bestaat uit 58k willekeurig geselecteerde patches\u00a0(vierkant van 1024 pixels)<\/em>\u00a0van FL en FH ge\u00ebxtraheerd uit een set van 30 hele-slidebeelden in elk van de 2 klassen.<\/p>\n<\/div>Validatieset<\/h2><\/div>20% van de patches werd bemonsterd om de modelprestaties tijdens de training te valideren.<\/p>\n<\/div>
Testset<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Modelleren<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Voor het trainen van de deep learning classifier: Beeldvoorbereiding en -verwerking<\/h3><\/div><\/p>\n
\n(Hierboven: De beelden worden eerst in patches verdeeld en vervolgens genormaliseerd voordat ze naar het model worden gevoerd om te trainen).<\/em><\/p>\n<\/div>Na de training: Inferentie en interpretatie<\/h3><\/div><\/p>\n
(Hierboven: Tijdens de inferentietijd worden nieuwe hele glijbanen verdeeld in patches voordat het model een klasse voorspelt voor<\/em>
\nelk van hen. Delen van afbeeldingen die verantwoordelijk zijn voor het voorspellen van de FL-klasse worden gemarkeerd om te helpen bij het monitoren<\/em>
\nde resultaten).<\/em><\/p>\n<\/figure>\nIn de onderstaande secties geven we details over deze verschillende stappen van de pijplijn.<\/p>\n<\/div>
Data voorbereiding en verwerking<\/h2><\/div>1 - Betegelen<\/h3><\/div>Zoals eerder vermeld, zijn afbeeldingen van hele dia's erg groot en kunnen ze niet direct naar een classificatiemodel worden gevoerd, tenzij u super galactische hardware gebruikt. Wij gebruikten de bibliotheek openslide<\/strong><\/a>\u00a0om de dia's en de\u00a0diepzoom<\/strong>\u00a0ondersteuning om de afbeeldingen te verdelen in relatief kleine tegels met een vierkant formaat van 1024 pixels. Nadat we ze in tiles hadden opgedeeld, hebben we ze door een basiscleaner gehaald die alle tiles wegliet die niet in het midden van het weefsel lagen (randen, gaten, enz.).<\/p>\n<\/p>\n<\/div>
2 - Vleknormalisatie<\/h3><\/div>De tweede stap van onze data verwerking, die ook de belangrijkste stap is, is de kleurnormalisatie van de kleuring. Kleuring is het proces waarbij belangrijke kenmerken op objectglaasjes worden gemarkeerd en het contrast ertussen wordt vergroot. Het gebruikte kleursysteem is het gangbare\u00a0H&E<\/strong>\u00a0(Hematoxyline en Eosine).
\nOmdat de afbeeldingen echter van veel verschillende laboratoria komen, hebben we variaties in de kleuring van de objectglaasjes waargenomen. Deze variaties zijn voornamelijk het gevolg van verschillen in het kleurproces tussen laboratoria. Deze verschillen kunnen de prestaties van het model sterk be\u00efnvloeden.<\/p>\nWe gebruikten klassieke technieken om de kleuring van de dataset te normaliseren voordat we het model trainden.<\/p>\n<\/div>
<\/p>\n
(Hierboven: Resultaten van drie verschillende kleurnormalisaties: een doelbeeldkleuring wordt genormaliseerd naar een basisbeeldkleurverdeling).<\/em><\/p>\nWe hebben de\u00a0Reinhard<\/strong><\/a> techniek om de impact op het model te zien.<\/p>\n<\/div>Een Resnet-18 classificator trainen<\/h2><\/div>Na het verwerken van de beelden van de hele dia verliep de training probleemloos (dropout, gewichtsverval, enz..). Niets bijzonders, behalve het toevoegen van mixup in de data augmentatie. We gebruikten een\u00a0Resnet18<\/strong>\u00a0helemaal opnieuw getraind, omdat voorgetrainde modellen onze resultaten niet significant verbeterden. We gaven ook de voorkeur aan Resnet-18 omdat Resnet-34 en Resnet-56 onze prestaties niet verbeterden. Na ~10 epochs was ons model klaar om getest te worden.
\nWe gebruikten het zeer praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0bibliotheek om onze modellen met weinig moeite te bouwen.<\/em><\/p>\n<\/div>Testen<\/h2><\/div>De resultaten van 3 experimenten zijn het vermelden waard:<\/p>\n<\/div>
- <\/i><\/span>Een eenvoudig resnet-18 als basislijn<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlekkennormalisatie op de dataset<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlek normalisatie op de dataset + mixup als data augmentatie<\/div><\/li><\/ul>
De resultaten op de testset voor deze 3 experimenten worden hieronder weergegeven:<\/p>\n
<\/p>\n
(Hierboven: De resultaten van 3 verschillende modellen op de 16 geselecteerde objectglaasjes van folliculair lymfoom. We kunnen het effect van kleurstofnormalisatie en mixup op de prestaties zien).<\/em><\/p>\nDe normalisatie van de vlekken is verreweg de belangrijkste stap in onze modelleerbenadering. We hadden last van generalisatieproblemen (rode lijn), maar het helpt zeker bij het oplossen van het probleem. Het toevoegen van mixup en een 2-staps tegelwerk maakt het nog beter.<\/p>\n
FL is een subtype van Lymfoom, de meest voorkomende bloedkanker ter wereld. Er zijn meer dan 80 soorten Lymfoom en deze diversiteit maakt de diagnose moeilijk, zelfs voor deskundigen. Bovendien lijkt FL erg op FH, dat niet kankerverwekkend is, wat de diagnose nog moeilijker maakt.<\/p>\n
In dit artikel beschrijven we onze aanpak bij het bouwen van een classificator voor FL en FH door alleen gelabelde afbeeldingen van hele objectglaasjes te gebruiken. Afbeeldingen van hele objectglaasjes zijn digitale bestanden met een hoge resolutie van gescande microscoopglaasjes. In ons geval bevatten ze extracten van lymfeklieren.<\/p>\n<\/div>
Hoe kan deep learning helpen bij de detectie?<\/h2><\/div>Met behulp van hele-slide beelden van FL en FH trainden we een binaire classificator door middel van een patch-gebaseerde aanpak. Onze modelarchitectuur is een eenvoudige Resnet-18 getraind op een paar epochs (~10).<\/p>\n
Na het voorspellen van de klasse van een observatie met de classifier, halen we de laatste activeringslaag eruit om een heatmap boven op de invoerafbeelding te bouwen om delen te markeren die het model ertoe hebben aangezet om een bepaalde klasse te defini\u00ebren.<\/p>\n<\/div>
Waarom hebben we een patch-gebaseerde classificatie gebruikt?<\/h2><\/div>Patchgebaseerde classificatie is een classificatietechniek waarbij de klasse van een gegeven waarneming wordt opgebouwd op basis van de samenvoeging van de voorspellingen van de componenten (patches). In ons geval wordt deze techniek gebruikt omdat de afbeeldingen veel te groot zijn om direct op het model gebruikt te worden.<\/p>\n
In feite zijn afbeeldingen van hele dia's erg groot (~10\u2075 vierkante pixels). Hun grootte maakt het trainen van een deep learning-model bijna onmogelijk met gewone hulpmiddelen. Om dit probleem op te lossen, hebben we ze verdeeld in patches van dezelfde grootte volgens twee belangrijke criteria:<\/p>\n<\/div>
- <\/i><\/span>de pleisters moeten groot genoeg zijn zodat de follikels erin zichtbaar blijven<\/div><\/li>
- <\/i><\/span>de patches moeten klein genoeg zijn zodat het trainen van een model in een redelijke tijd kan worden gedaan<\/div><\/li><\/ul>
Bij classificatie op basis van patches kan de uitvoer van het model ge\u00efnterpreteerd worden als die van een klassieke classificatie, behalve dat de eerste rekenlaag zich op het niveau van de hele glijbaan bevindt. Bijvoorbeeld, bij het voorspellen van de klasse van een glijbaan van FL, zou een score van 98% betekenen dat 98 % van de patches waaruit de glijbaan bestaat, voorspeld zijn als zijnde FL.<\/p>\n
Op het niveau dataset wordt deze dia voorspeld met een score van 0,98 voor de FL klasse.<\/p>\n
PS: We hebben de hypothese om de afbeeldingen in patches te verdelen gebaseerd op de conclusies van medische experts die stellen dat in een hele FL-afbeelding de follikels naar verwachting overal aanwezig zullen zijn.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Onze trainingsset bestaat uit 58k willekeurig geselecteerde patches\u00a0(vierkant van 1024 pixels)<\/em>\u00a0van FL en FH ge\u00ebxtraheerd uit een set van 30 hele-slidebeelden in elk van de 2 klassen.<\/p>\n<\/div>Validatieset<\/h2><\/div>20% van de patches werd bemonsterd om de modelprestaties tijdens de training te valideren.<\/p>\n<\/div>
Testset<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Modelleren<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Voor het trainen van de deep learning classifier: Beeldvoorbereiding en -verwerking<\/h3><\/div><\/p>\n
\n(Hierboven: De beelden worden eerst in patches verdeeld en vervolgens genormaliseerd voordat ze naar het model worden gevoerd om te trainen).<\/em><\/p>\n<\/div>Na de training: Inferentie en interpretatie<\/h3><\/div><\/p>\n
(Hierboven: Tijdens de inferentietijd worden nieuwe hele glijbanen verdeeld in patches voordat het model een klasse voorspelt voor<\/em>
\nelk van hen. Delen van afbeeldingen die verantwoordelijk zijn voor het voorspellen van de FL-klasse worden gemarkeerd om te helpen bij het monitoren<\/em>
\nde resultaten).<\/em><\/p>\n<\/figure>\nIn de onderstaande secties geven we details over deze verschillende stappen van de pijplijn.<\/p>\n<\/div>
Data voorbereiding en verwerking<\/h2><\/div>1 - Betegelen<\/h3><\/div>Zoals eerder vermeld, zijn afbeeldingen van hele dia's erg groot en kunnen ze niet direct naar een classificatiemodel worden gevoerd, tenzij u super galactische hardware gebruikt. Wij gebruikten de bibliotheek openslide<\/strong><\/a>\u00a0om de dia's en de\u00a0diepzoom<\/strong>\u00a0ondersteuning om de afbeeldingen te verdelen in relatief kleine tegels met een vierkant formaat van 1024 pixels. Nadat we ze in tiles hadden opgedeeld, hebben we ze door een basiscleaner gehaald die alle tiles wegliet die niet in het midden van het weefsel lagen (randen, gaten, enz.).<\/p>\n<\/p>\n<\/div>
2 - Vleknormalisatie<\/h3><\/div>De tweede stap van onze data verwerking, die ook de belangrijkste stap is, is de kleurnormalisatie van de kleuring. Kleuring is het proces waarbij belangrijke kenmerken op objectglaasjes worden gemarkeerd en het contrast ertussen wordt vergroot. Het gebruikte kleursysteem is het gangbare\u00a0H&E<\/strong>\u00a0(Hematoxyline en Eosine).
\nOmdat de afbeeldingen echter van veel verschillende laboratoria komen, hebben we variaties in de kleuring van de objectglaasjes waargenomen. Deze variaties zijn voornamelijk het gevolg van verschillen in het kleurproces tussen laboratoria. Deze verschillen kunnen de prestaties van het model sterk be\u00efnvloeden.<\/p>\nWe gebruikten klassieke technieken om de kleuring van de dataset te normaliseren voordat we het model trainden.<\/p>\n<\/div>
<\/p>\n
(Hierboven: Resultaten van drie verschillende kleurnormalisaties: een doelbeeldkleuring wordt genormaliseerd naar een basisbeeldkleurverdeling).<\/em><\/p>\nWe hebben de\u00a0Reinhard<\/strong><\/a> techniek om de impact op het model te zien.<\/p>\n<\/div>Een Resnet-18 classificator trainen<\/h2><\/div>Na het verwerken van de beelden van de hele dia verliep de training probleemloos (dropout, gewichtsverval, enz..). Niets bijzonders, behalve het toevoegen van mixup in de data augmentatie. We gebruikten een\u00a0Resnet18<\/strong>\u00a0helemaal opnieuw getraind, omdat voorgetrainde modellen onze resultaten niet significant verbeterden. We gaven ook de voorkeur aan Resnet-18 omdat Resnet-34 en Resnet-56 onze prestaties niet verbeterden. Na ~10 epochs was ons model klaar om getest te worden.
\nWe gebruikten het zeer praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0bibliotheek om onze modellen met weinig moeite te bouwen.<\/em><\/p>\n<\/div>Testen<\/h2><\/div>De resultaten van 3 experimenten zijn het vermelden waard:<\/p>\n<\/div>
- <\/i><\/span>Een eenvoudig resnet-18 als basislijn<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlekkennormalisatie op de dataset<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlek normalisatie op de dataset + mixup als data augmentatie<\/div><\/li><\/ul>
De resultaten op de testset voor deze 3 experimenten worden hieronder weergegeven:<\/p>\n
<\/p>\n
(Hierboven: De resultaten van 3 verschillende modellen op de 16 geselecteerde objectglaasjes van folliculair lymfoom. We kunnen het effect van kleurstofnormalisatie en mixup op de prestaties zien).<\/em><\/p>\nDe normalisatie van de vlekken is verreweg de belangrijkste stap in onze modelleerbenadering. We hadden last van generalisatieproblemen (rode lijn), maar het helpt zeker bij het oplossen van het probleem. Het toevoegen van mixup en een 2-staps tegelwerk maakt het nog beter.<\/p>\n
Met behulp van hele-slide beelden van FL en FH trainden we een binaire classificator door middel van een patch-gebaseerde aanpak. Onze modelarchitectuur is een eenvoudige Resnet-18 getraind op een paar epochs (~10).<\/p>\n
Na het voorspellen van de klasse van een observatie met de classifier, halen we de laatste activeringslaag eruit om een heatmap boven op de invoerafbeelding te bouwen om delen te markeren die het model ertoe hebben aangezet om een bepaalde klasse te defini\u00ebren.<\/p>\n<\/div>
Waarom hebben we een patch-gebaseerde classificatie gebruikt?<\/h2><\/div>Patchgebaseerde classificatie is een classificatietechniek waarbij de klasse van een gegeven waarneming wordt opgebouwd op basis van de samenvoeging van de voorspellingen van de componenten (patches). In ons geval wordt deze techniek gebruikt omdat de afbeeldingen veel te groot zijn om direct op het model gebruikt te worden.<\/p>\n
In feite zijn afbeeldingen van hele dia's erg groot (~10\u2075 vierkante pixels). Hun grootte maakt het trainen van een deep learning-model bijna onmogelijk met gewone hulpmiddelen. Om dit probleem op te lossen, hebben we ze verdeeld in patches van dezelfde grootte volgens twee belangrijke criteria:<\/p>\n<\/div>
- <\/i><\/span>de pleisters moeten groot genoeg zijn zodat de follikels erin zichtbaar blijven<\/div><\/li>
- <\/i><\/span>de patches moeten klein genoeg zijn zodat het trainen van een model in een redelijke tijd kan worden gedaan<\/div><\/li><\/ul>
Bij classificatie op basis van patches kan de uitvoer van het model ge\u00efnterpreteerd worden als die van een klassieke classificatie, behalve dat de eerste rekenlaag zich op het niveau van de hele glijbaan bevindt. Bijvoorbeeld, bij het voorspellen van de klasse van een glijbaan van FL, zou een score van 98% betekenen dat 98 % van de patches waaruit de glijbaan bestaat, voorspeld zijn als zijnde FL.<\/p>\n
Op het niveau dataset wordt deze dia voorspeld met een score van 0,98 voor de FL klasse.<\/p>\n
PS: We hebben de hypothese om de afbeeldingen in patches te verdelen gebaseerd op de conclusies van medische experts die stellen dat in een hele FL-afbeelding de follikels naar verwachting overal aanwezig zullen zijn.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>Onze trainingsset bestaat uit 58k willekeurig geselecteerde patches\u00a0(vierkant van 1024 pixels)<\/em>\u00a0van FL en FH ge\u00ebxtraheerd uit een set van 30 hele-slidebeelden in elk van de 2 klassen.<\/p>\n<\/div>Validatieset<\/h2><\/div>20% van de patches werd bemonsterd om de modelprestaties tijdens de training te valideren.<\/p>\n<\/div>
Testset<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Modelleren<\/h2><\/div>Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Voor het trainen van de deep learning classifier: Beeldvoorbereiding en -verwerking<\/h3><\/div><\/p>\n
\n(Hierboven: De beelden worden eerst in patches verdeeld en vervolgens genormaliseerd voordat ze naar het model worden gevoerd om te trainen).<\/em><\/p>\n<\/div>Na de training: Inferentie en interpretatie<\/h3><\/div><\/p>\n
(Hierboven: Tijdens de inferentietijd worden nieuwe hele glijbanen verdeeld in patches voordat het model een klasse voorspelt voor<\/em>
\nelk van hen. Delen van afbeeldingen die verantwoordelijk zijn voor het voorspellen van de FL-klasse worden gemarkeerd om te helpen bij het monitoren<\/em>
\nde resultaten).<\/em><\/p>\n<\/figure>\nIn de onderstaande secties geven we details over deze verschillende stappen van de pijplijn.<\/p>\n<\/div>
Data voorbereiding en verwerking<\/h2><\/div>1 - Betegelen<\/h3><\/div>Zoals eerder vermeld, zijn afbeeldingen van hele dia's erg groot en kunnen ze niet direct naar een classificatiemodel worden gevoerd, tenzij u super galactische hardware gebruikt. Wij gebruikten de bibliotheek openslide<\/strong><\/a>\u00a0om de dia's en de\u00a0diepzoom<\/strong>\u00a0ondersteuning om de afbeeldingen te verdelen in relatief kleine tegels met een vierkant formaat van 1024 pixels. Nadat we ze in tiles hadden opgedeeld, hebben we ze door een basiscleaner gehaald die alle tiles wegliet die niet in het midden van het weefsel lagen (randen, gaten, enz.).<\/p>\n<\/p>\n<\/div>
2 - Vleknormalisatie<\/h3><\/div>De tweede stap van onze data verwerking, die ook de belangrijkste stap is, is de kleurnormalisatie van de kleuring. Kleuring is het proces waarbij belangrijke kenmerken op objectglaasjes worden gemarkeerd en het contrast ertussen wordt vergroot. Het gebruikte kleursysteem is het gangbare\u00a0H&E<\/strong>\u00a0(Hematoxyline en Eosine).
\nOmdat de afbeeldingen echter van veel verschillende laboratoria komen, hebben we variaties in de kleuring van de objectglaasjes waargenomen. Deze variaties zijn voornamelijk het gevolg van verschillen in het kleurproces tussen laboratoria. Deze verschillen kunnen de prestaties van het model sterk be\u00efnvloeden.<\/p>\nWe gebruikten klassieke technieken om de kleuring van de dataset te normaliseren voordat we het model trainden.<\/p>\n<\/div>
<\/p>\n
(Hierboven: Resultaten van drie verschillende kleurnormalisaties: een doelbeeldkleuring wordt genormaliseerd naar een basisbeeldkleurverdeling).<\/em><\/p>\nWe hebben de\u00a0Reinhard<\/strong><\/a> techniek om de impact op het model te zien.<\/p>\n<\/div>Een Resnet-18 classificator trainen<\/h2><\/div>Na het verwerken van de beelden van de hele dia verliep de training probleemloos (dropout, gewichtsverval, enz..). Niets bijzonders, behalve het toevoegen van mixup in de data augmentatie. We gebruikten een\u00a0Resnet18<\/strong>\u00a0helemaal opnieuw getraind, omdat voorgetrainde modellen onze resultaten niet significant verbeterden. We gaven ook de voorkeur aan Resnet-18 omdat Resnet-34 en Resnet-56 onze prestaties niet verbeterden. Na ~10 epochs was ons model klaar om getest te worden.
\nWe gebruikten het zeer praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0bibliotheek om onze modellen met weinig moeite te bouwen.<\/em><\/p>\n<\/div>Testen<\/h2><\/div>De resultaten van 3 experimenten zijn het vermelden waard:<\/p>\n<\/div>
- <\/i><\/span>Een eenvoudig resnet-18 als basislijn<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlekkennormalisatie op de dataset<\/div><\/li>
- <\/i><\/span>Een resnet-18 + vlek normalisatie op de dataset + mixup als data augmentatie<\/div><\/li><\/ul>
De resultaten op de testset voor deze 3 experimenten worden hieronder weergegeven:<\/p>\n
<\/p>\n
(Hierboven: De resultaten van 3 verschillende modellen op de 16 geselecteerde objectglaasjes van folliculair lymfoom. We kunnen het effect van kleurstofnormalisatie en mixup op de prestaties zien).<\/em><\/p>\nDe normalisatie van de vlekken is verreweg de belangrijkste stap in onze modelleerbenadering. We hadden last van generalisatieproblemen (rode lijn), maar het helpt zeker bij het oplossen van het probleem. Het toevoegen van mixup en een 2-staps tegelwerk maakt het nog beter.<\/p>\n
Patchgebaseerde classificatie is een classificatietechniek waarbij de klasse van een gegeven waarneming wordt opgebouwd op basis van de samenvoeging van de voorspellingen van de componenten (patches). In ons geval wordt deze techniek gebruikt omdat de afbeeldingen veel te groot zijn om direct op het model gebruikt te worden.<\/p>\n
In feite zijn afbeeldingen van hele dia's erg groot (~10\u2075 vierkante pixels). Hun grootte maakt het trainen van een deep learning-model bijna onmogelijk met gewone hulpmiddelen. Om dit probleem op te lossen, hebben we ze verdeeld in patches van dezelfde grootte volgens twee belangrijke criteria:<\/p>\n<\/div>
- <\/i><\/span>de pleisters moeten groot genoeg zijn zodat de follikels erin zichtbaar blijven<\/div><\/li>
- <\/i><\/span>
de patches moeten klein genoeg zijn zodat het trainen van een model in een redelijke tijd kan worden gedaan<\/div><\/li><\/ul>Bij classificatie op basis van patches kan de uitvoer van het model ge\u00efnterpreteerd worden als die van een klassieke classificatie, behalve dat de eerste rekenlaag zich op het niveau van de hele glijbaan bevindt. Bijvoorbeeld, bij het voorspellen van de klasse van een glijbaan van FL, zou een score van 98% betekenen dat 98 % van de patches waaruit de glijbaan bestaat, voorspeld zijn als zijnde FL.<\/p>\n
Op het niveau dataset wordt deze dia voorspeld met een score van 0,98 voor de FL klasse.<\/p>\n
PS: We hebben de hypothese om de afbeeldingen in patches te verdelen gebaseerd op de conclusies van medische experts die stellen dat in een hele FL-afbeelding de follikels naar verwachting overal aanwezig zullen zijn.<\/p>\n<\/div>
Trainingsset<\/h2><\/div>
Onze trainingsset bestaat uit 58k willekeurig geselecteerde patches\u00a0(vierkant van 1024 pixels)<\/em>\u00a0van FL en FH ge\u00ebxtraheerd uit een set van 30 hele-slidebeelden in elk van de 2 klassen.<\/p>\n<\/div>
Validatieset<\/h2><\/div>
20% van de patches werd bemonsterd om de modelprestaties tijdens de training te valideren.<\/p>\n<\/div>
Testset<\/h2><\/div>
Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Modelleren<\/h2><\/div>
Onze testset bestaat uit 15 afbeeldingen van hele dia's, elk verdeeld in patches. Deze referentieset is gebruikt om de resultaten van verschillende trainingsbenaderingen te vergelijken, die we hieronder nauwkeurig zullen beschrijven.<\/p>\n<\/div>
Voor het trainen van de deep learning classifier: Beeldvoorbereiding en -verwerking<\/h3><\/div>
<\/p>\n\n(Hierboven: De beelden worden eerst in patches verdeeld en vervolgens genormaliseerd voordat ze naar het model worden gevoerd om te trainen).<\/em><\/p>\n<\/div>
Na de training: Inferentie en interpretatie<\/h3><\/div>
<\/p>\n(Hierboven: Tijdens de inferentietijd worden nieuwe hele glijbanen verdeeld in patches voordat het model een klasse voorspelt voor<\/em>
\nelk van hen. Delen van afbeeldingen die verantwoordelijk zijn voor het voorspellen van de FL-klasse worden gemarkeerd om te helpen bij het monitoren<\/em>
\nde resultaten).<\/em><\/p>\n<\/figure>\n In de onderstaande secties geven we details over deze verschillende stappen van de pijplijn.<\/p>\n<\/div>
Data voorbereiding en verwerking<\/h2><\/div>
1 - Betegelen<\/h3><\/div>
Zoals eerder vermeld, zijn afbeeldingen van hele dia's erg groot en kunnen ze niet direct naar een classificatiemodel worden gevoerd, tenzij u super galactische hardware gebruikt. Wij gebruikten de bibliotheek openslide<\/strong><\/a>\u00a0om de dia's en de\u00a0diepzoom<\/strong>\u00a0ondersteuning om de afbeeldingen te verdelen in relatief kleine tegels met een vierkant formaat van 1024 pixels. Nadat we ze in tiles hadden opgedeeld, hebben we ze door een basiscleaner gehaald die alle tiles wegliet die niet in het midden van het weefsel lagen (randen, gaten, enz.).<\/p>\n
<\/p>\n<\/div>2 - Vleknormalisatie<\/h3><\/div>
De tweede stap van onze data verwerking, die ook de belangrijkste stap is, is de kleurnormalisatie van de kleuring. Kleuring is het proces waarbij belangrijke kenmerken op objectglaasjes worden gemarkeerd en het contrast ertussen wordt vergroot. Het gebruikte kleursysteem is het gangbare\u00a0H&E<\/strong>\u00a0(Hematoxyline en Eosine).
\nOmdat de afbeeldingen echter van veel verschillende laboratoria komen, hebben we variaties in de kleuring van de objectglaasjes waargenomen. Deze variaties zijn voornamelijk het gevolg van verschillen in het kleurproces tussen laboratoria. Deze verschillen kunnen de prestaties van het model sterk be\u00efnvloeden.<\/p>\nWe gebruikten klassieke technieken om de kleuring van de dataset te normaliseren voordat we het model trainden.<\/p>\n<\/div>
<\/p>\n(Hierboven: Resultaten van drie verschillende kleurnormalisaties: een doelbeeldkleuring wordt genormaliseerd naar een basisbeeldkleurverdeling).<\/em><\/p>\n
We hebben de\u00a0Reinhard<\/strong><\/a> techniek om de impact op het model te zien.<\/p>\n<\/div>
Een Resnet-18 classificator trainen<\/h2><\/div>
Na het verwerken van de beelden van de hele dia verliep de training probleemloos (dropout, gewichtsverval, enz..). Niets bijzonders, behalve het toevoegen van mixup in de data augmentatie. We gebruikten een\u00a0Resnet18<\/strong>\u00a0helemaal opnieuw getraind, omdat voorgetrainde modellen onze resultaten niet significant verbeterden. We gaven ook de voorkeur aan Resnet-18 omdat Resnet-34 en Resnet-56 onze prestaties niet verbeterden. Na ~10 epochs was ons model klaar om getest te worden.
\nWe gebruikten het zeer praktische\u00a0<\/em>Fastai<\/em><\/a>\u00a0bibliotheek om onze modellen met weinig moeite te bouwen.<\/em><\/p>\n<\/div>Testen<\/h2><\/div>
De resultaten van 3 experimenten zijn het vermelden waard:<\/p>\n<\/div>
- <\/i><\/span>Een eenvoudig resnet-18 als basislijn<\/div><\/li>
- <\/i><\/span>
Een resnet-18 + vlekkennormalisatie op de dataset<\/div><\/li>- <\/i><\/span>
Een resnet-18 + vlek normalisatie op de dataset + mixup als data augmentatie<\/div><\/li><\/ul>De resultaten op de testset voor deze 3 experimenten worden hieronder weergegeven:<\/p>\n
<\/p>\n(Hierboven: De resultaten van 3 verschillende modellen op de 16 geselecteerde objectglaasjes van folliculair lymfoom. We kunnen het effect van kleurstofnormalisatie en mixup op de prestaties zien).<\/em><\/p>\n
De normalisatie van de vlekken is verreweg de belangrijkste stap in onze modelleerbenadering. We hadden last van generalisatieproblemen (rode lijn), maar het helpt zeker bij het oplossen van het probleem. Het toevoegen van mixup en een 2-staps tegelwerk maakt het nog beter.<\/p>\n
- <\/i><\/span>
- <\/i><\/span>
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/01\/Photo-5-1.png\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"middelgrote\\"")
<\/span><\/div>