Dynamická pamäť na zmiernenie katastrofického zabúdania v nepretržitom učení pomocou lekárskeho zobrazovania
Mar 29, 2022
Kontakt: Audrey Hu Whatsapp/hp: 0086 13880143964 E-mail:audrey.hu@wecistanche.com
Matthias Perkonigg1, Johannes Hofmanninger1, Christian J. Herold1, James A. Brink2, Oleg Pianykh2, Helmut Prosch1 & Georg Langs1✉
Lekárske zobrazovanie je ústrednou súčasťou klinickej diagnostiky a vedenia liečby. Strojové učenie získava čoraz väčšiu dôležitosť, pretože zachytáva vlastnosti chorôb a reakcií na liečbu, ktoré sú relevantné pre terapeutické rozhodovanie. V klinickej praxi neustály pokrok technológie získavania obrazu alebo diagnostických postupov, rozmanitosť skenerov a vyvíjajúce sa zobrazovacie protokoly bránia využiteľnosti strojového učenia, pretože presnosť predpovedí nových údajov sa zhoršuje alebo modely sú zastarané kvôli týmto posunom domén. . Navrhujeme kontinuálny vzdelávací prístup na riešenie takýchto posunov domén vyskytujúcich sa v neznámych časových bodoch. Modely prispôsobujeme vznikajúcim variáciám v nepretržitom toku údajov a zároveň pôsobíme proti katastrofickému zabúdaniu. DynamickýPamäťumožňuje nácvik podmnožiny rôznych tréningových údajov na zmiernenie zabúdania a zároveň umožňuje modelom expandovať do nových oblastí. Technika sa vyrovnávaPamäťdetekciou pseudodomén, ktoré predstavujú rôzne štýlové klastre v rámci dátového toku. Vyhodnotenie dvoch rôznych úloh, segmentácie srdca pri zobrazovaní magnetickou rezonanciou a detekcia uzlín v pľúcach v počítačovej tomografii, preukazuje konzistentnú výhodu metódy.
Algoritmy hlbokého učenia (DL) rýchlo získavajú na význame v medicínskom zobrazovaní a umožňujú výpočtovú segmentáciu1,2, klasifikáciu alebo detekciu3 anatomických štruktúr a anomálií4 dôležitých pre diagnózu, predikciu alebo prognózu. V niektorých prípadoch ich schopnosti prevyšujú dokonca schopnosti ľudských expertov5,6, čo z nich robí ústredný nástroj v rozvoji používania zobrazovacích údajov na diagnostiku a na podporu rozhodnutí o liečbe.
Avšak klinická zobrazovacia technológia, diagnostické pracovné postupy a dokonca ani zobrazovacie markery chorôb nie sú statické. Namiesto toho podliehajú neustále sa vyvíjajúcemu prostrediu, v ktorom sa algoritmy DL musia prispôsobiť, aby zostali relevantné. V súčasnosti sú modely DL trénované raz, čo prináša pôsobivý výkon na obrázkoch porovnateľný s ich tréningovými skúsenosťami. Ich udržateľnosť je však obmedzená, pretože sa stávajú zastarané, zatiaľ čo technológia napreduje7. Táto neschopnosť prispôsobiť sa novým údajom, ktoré sa v niektorých aspektoch líšia od tréningových údajov (posuny množiny údajov), vážne bráni ich využiteľnosti a prijatiu v klinickej praxi.
K posunom množiny údajov dochádza, keď sa distribúcia trénovacích údajov líši od distribúcie údajov pri odvodzovaní modelu8,9. Jeden typ takéhoto posunu, posun domény (alebo posun akvizície), môže nastať v dôsledku technického pokroku v technológii skenerov. V klinickej praxi a následne v štúdiách zahŕňajúcich medicínske zobrazovacie údaje získané údaje často pochádzajú od rôznych skenerov, generácií skenerov, výrobcov alebo zobrazovacích protokolov. Na úspešné prispôsobenie nasadených modelov hlbokého učenia sa meniacemu sa prostrediu je nevyhnutné vyvinúť a zdokonaliť metódy, ktoré zohľadňujú tieto zmeny domén.
Tu sa zameriavame na zohľadnenie posunov domén vyskytujúcich sa v neznámych časoch v nepretržitom toku údajov, čo odráža klinickú prax. Model DL sa trénuje na súbore obrázkov získaných jediným skenerom (základné školenie) a následne sa priebežne aktualizuje na zmeny vzhľadu obrázkov, ktoré sa vyskytujú v dátovom toku, keď sa pridávajú nové skenery. Zároveň by sa nemalo zabúdať na znalosti o predtým videných doménach, pretože nové informácie o doméne sú začlenené do modelu. Obrázok 1 znázorňuje všeobecné nastavenie tejto práce. Model je trénovaný na konvergenciu na základnej trénovacej množine údajov domény A; potom je vystavený nepretržitému toku údajov, v ktorom sa po určitom čase objavia údaje z domén B, C a D. Bez aktualizácie modelu po základnom tréningu (statické hlboké učenie) trpí presnosť v neskorších doménach, pretože opúšťajú distribúciu tréningových dát. Nižšie nájdete príklad, kde základný model nedokázal segmentovať obrázky z nasledujúcich skenerov. Metódy neustáleho učenia sa proti tomuto efektu.
Ťažiskom kontinuálneho vzdelávania (označovaného aj ako celoživotné vzdelávanie) sú techniky strojového učenia na akumuláciu schopnosti zvládnuť nové úlohy (alebo v kontexte tejto práce nové domény) v modeli10,11. Hlavným nežiaducim efektom, proti ktorému kontinuálne metódy učenia pôsobia, je katastrofálne zabúdanie, keď aktualizácia modelu na naučenie sa novej úlohy by viedla k zhoršeniu výkonu predchádzajúcich úloh12. V ideálnom prípade by kontinuálne učenie mohlo priniesť zlepšenie výkonu pri predchádzajúcich úlohách pri nácviku následných úloh, čo je vystavený žiaducemu efektu známemu ako pozitívny spätný prenos vyplývajúci zo zvýšenej rozmanitosti tréningových príkladov na model13.
Ponúkame dynamickéPamäť(DM) ako metódu kontinuálneho učenia, vysporiadať sa so vznikom nových zdrojov údajov v neznámych časových bodoch v nepretržitom prúde medicínskych snímok (obr. 1). DM je skúšobná metóda, ktorá uchováva malú, rôznorodú podmnožinu dátového tokuPamäťna zmiernenie katastrofálneho zabúdania. DM diverzifikujePamäťpomocou metriky štýlu na udržiavanie obrázkov s rôznymi štýlmi pozorovanými v nepretržitom dátovom toku. Ako voliteľný modul využívame model pseudodomény (PD) na detekciu zhlukov podobného štýlu z nepretržitého prúdu. Tieto pseudodomény možno považovať za proxy pre neznáme, skutočné domény a používajú sa na vyváženiePamäťa tréningový proces (DM-PD). Aby sme demonštrovali zovšeobecniteľnosť našej metódy, aplikujeme ju na dve rôzne úlohy s rôznymi zobrazovacími modalitami. Po prvé, vykonávame segmentáciu srdca pri zobrazovaní magnetickou rezonanciou (MRI) a po druhé, aplikujeme náš prístup k detekcii pľúcnych uzlín na počítačovej tomografii (CT). Ukazujeme, že v oboch úlohách naša metóda prekonáva základné metódy kontinuálneho učenia. Všimnite si, že sa nezameriavame na vývoj novej najmodernejšej metódy jedného skenera pre žiadnu z úloh, ale skôr chceme ukázať, ako možno použiť metódu kontinuálneho učenia na prispôsobenie modelu kontinuálnemu prúdu. obrazových údajov, vrátane doménových posunov, bez explicitnej znalosti domény.
doplnok cistanche: zlepšenie pamäte
Výsledky
Súbory údajov
Segmentácia srdca. Experimenty sa uskutočňovali na údajoch zo súboru údajov o výzvach viacerých centier a viacerých dodávateľov14. Súbor údajov obsahoval údaje od štyroch rôznych predajcov Siemens, General Electric, Philips a Canon. Každého z týchto predajcov sme považovali za jednu doménu. Údaje sme rozdelili na základné školenie, kontinuálne školenie, validáciu a testovaciu sadu na úrovni pacienta. Tabuľka la ukazuje počet jednotlivých rezov pre každú doménu v týchto rozdeleniach súboru údajov.
Detekcia uzlín v pľúcach. Na detekciu pľúcnych uzlín sme použili údaje extrahované z databázy LIDC15 s anotáciami uvedenými pre výzvu LUNA16-16. Okrem toho sme použili súbor údajov o výzve LNDb17. Pre všetky anotácie pľúcnych uzlín sme vytvorili ohraničujúce rámčeky okolo anotovanej lézie a extrahovali 2D rezy s léziami. Aby sme demonštrovali naše neustále učenie s posúvajúcimi sa doménami, vytvorili sme súbor údajov troch najbežnejších domén, pokiaľ ide o dodávateľa skenera a jadro rekonštrukcie, v LIDC a ako štvrtú doménu súbor údajov LNDb. Pre LIDC boli najčastejšie používané nastavenia vrátane lézií GE Medical Systems s nízkofrekvenčným rekonštrukčným algoritmom (GE/L, n=527), GE Medical Systems s vysokofrekvenčným rekonštrukčným algoritmom (GE/H, n {{ 9}}) a Siemens s jadrom B30f (Siemens, n=130). Súbor údajov IMDb používal viacero skenerov Siemens. Aby sme zodpovedali definícii uzliny v databáze LIDC, vylúčili sme uzliny s priemerom < 3="" mm,="" výsledkom="" čoho="" bolo="" celkovo="" 625="" obrázkov.="" tieto="" obrázky="" boli="" rozdelené="" na="" základný="" tréning,="" kontinuálny="" tréning,="" validáciu="" a="" súbor="" testovacích="" údajov="" podľa="" tabuľky="" 1b,="" analogicky="" k="" experimentu="" so="" segmentáciou="">
DynamickýPamäťzmierňuje katastrofálne zabúdanie na segmentáciu srdca. Hodnotiť schopnosť dynamikyPamäťaby sme dosiahli dobrý výkon a zároveň pôsobili proti katastrofickému zabúdaniu, vykonali sme srdcovú segmentáciu na 2D MRI rezoch ako viacznačkovú segmentáciu s tromi značkami: Ľavá komora (LV), pravá komora (RV) a myokard ľavej komory (MYO). Obrázky boli získané skenermi štyroch rôznych predajcov v poradí ich výskytu v dátovom toku: Siemens (A), GE (B), Philips (C) a Canon (D). Na uľahčenie pochopenia objednávky ich označujeme ako Scanner A–D. Základné školenie bolo vykonané iba na údajoch zo skenera A; následne bol model trénovaný na kontinuálnom dátovom toku, v ktorom sa obrazové domény postupne menili zo skenera A na D (obr. 1). Porovnali sme rôzne stratégie kontinuálneho učenia: (1) metóda DM, (2) metóda DM s detekciou pseudodomény (DM-PD), (3) náhodnáPamäťstratégia nahradenia, v ktorej každá nová vzorka nahradila náhodne vybranú vzorku, ktorá sa momentálne nachádzaPamäť(Náhodný) a (4) naivný prístup k učeniu na dátovom toku bez toho, aby sa pôsobilo proti katastrofickému zabúdaniu (Naive). Okrem toho sme porovnávali výsledky s najmodernejšími metódami kontinuálneho učenia: (5) Elastická konsolidácia hmotnosti (EWC)18 a dve metódy, ktoré vyžadujú znalosť domény (6) Gradient EpisodicPamäť(GEM)19 a (7) zažite prehrávanie pomocou maximálne odvodeného získavania (ER-MIR)20. Všimnite si, že DM a DM-PD fungujú bez znalosti domény, čo v klinickej praxi predstavuje realistickejší predpoklad. Na porovnanie sme tiež trénovali dva základné modely: Po prvé, spoločný model (JModel) so všetkými trénovacími údajmi, ktoré spracovávali celý súbor údajov ako jeden hypotetický statický súbor údajov; a po druhé, doménovo špecifické modely (DSM) trénované v statickej tréningovej schéme na každej z domén, samostatne. Nakoniec uvádzame výsledky pre statický základný model (Base) vyškolený na skeneri A a aplikovaný na skenery A až D. Všetky metódy používali na segmentáciu rovnakú chrbticovú konvolučnú neurónovú sieť (CNN), FC-ResNet5021.
Obr. 1 Rôzne modelové tréningové a adaptačné stratégie. 1 Kontinuálny DL pre analýzu obrazu sa prispôsobuje novým vlastnostiam údajov a zároveň si zachováva schopnosť pracovať so staršími údajmi. Statický DL: po tréningu a nasadení modelu DL sa technológia zmení a presnosť modelu sa zníži. b Naivným prístupom neustáleho učenia na vyriešenie tohto obmedzenia je pokračovať v trénovaní modelu na prúde údajov. To však vedie k zabudnutiu vlastností starých údajov a zodpovedajúcemu zníženiu výkonu týchto údajov. c Ako prístup neustáleho učenia, dynamickýPamäťrozpoznáva nové vznikajúce domény a podľa toho vzorkuje údaje v nepretržitom prúde. Model ML sa prispôsobuje novej technológii, ale zostáva presný na rozmanitých súboroch skenerov, ktoré sme predtým videli. Je to dôležité na zabezpečenie spätnej kompatibility modelu a na vytvorenie stabilnejšieho modelu, ktorý sa rýchlejšie prispôsobí novým skenerom. 2 Validácia na samostatnom testovacom súbore hodnotí výkonnosť modelu DL na konci obdobia.
Porovnali sme presnosť segmentácie všetkých prístupov na samostatnej testovacej sade, ktorá obsahovala údaje zo všetkých štyroch skenerov po ukončení školenia. Okrem toho sme špecificky hodnotili, či presnosť modelu na jednom skeneri prospieva z modelového školenia na iných skeneroch vyhodnotením spätného prenosu (BWT) a dopredného prenosu (FWT)19.
V tabuľke 2 sú prístupy porovnané z hľadiska priemerného skóre Dice cez LV, RV a MYO prePamäťveľkosť M {{0}}. Vyhodnotenie segmentácie LV, RV a MYO oddelene ukázalo podobné trendy (pozri doplnkové tabuľky 1–3). DM a DM-PD fungovali podobne a prekonali všetky ostatné stratégie kontinuálneho učenia, pre ktoré nie sú potrebné žiadne informácie o členstve v doméne (Naive, Random a EWC). V prípade obrázkov poslednej domény (Skener D) malo EWC najvyššie priemerné skóre kocky (0.850 ± {{10}}.003) ale za cenu vysokej zápornej hodnoty BWT (-0,014 ± 0,007), čo ukazuje, že došlo ku katastrofálnemu zabudnutiu. DM a DM-PD nevykazovali žiadne zabúdanie, čo naznačujú neutrálne BWT 0.{15}} a 0,003. GEM a ER-MIR vykazovali podobný výkon ako DM-PD, ale potrebovali informácie o doménovom členstve jednotlivých vzoriek, čo nie je možné v klinickej praxi. Porovnanie pamäte so stratégiou náhodnej výmeny s DM a DM-PD ukázalo, že metrika štýlu použitá pre DM bola účinná pri výbere vzoriek na vytvorenie rôznorodéhoPamäť. Náhodné nahradenie viedlo k zabudnutiu predchádzajúcich domén počaskurz kontinuálneho školenia (BWT −0.011), zatiaľ čo DM a DM-PD si udržali dobrý výkon na všetkých skeneroch.
Na údajoch zo skenera B, pre ktorý sa na školenie použila relatívne malá veľkosť vzorky 720 obrázkov, boli DM a DM-PD schopné dosiahnuť dobrý výkon bez informácií o členstve v doméne. Učenie s náhodným nahradzovaním, EWC a naivným školením viedlo k výraznému poklesu výkonu skenera B. To preukázalo, že použitím metriky štýlu založenej na Gramovej matici bol DM menej citlivý na počet vzoriek na dodávateľa skenera ako iné stratégie kontinuálneho učenia. .
Model J bol hornou hranicou toho, čo môže školenie dosiahnuť, najmä pre domény s malým počtom vzoriek, tj v prípade skenera B bol rozdiel vo výkonnosti medzi kontinuálnym učením a hypotetickým statickým dávkovým školením s prístupom ku všetkým údajom vysoký ({{0 }},763 ± 0.004 vs. 0,798 ± 0,016). Bolo to spôsobené tým, že pri kontinuálnom učení boli menej často zastúpené vzorky ako pri statickom tréningu. V doplnkovej tabuľke 4 rôznePamäťporovnali sa veľkosti M=〈64, 128, 256, 512, 1024〉 pre DM a DM-PD. Pridáva sa viacPamäťviedlo k lepšiemu výkonu, ale kvôli rozdielom v dynamike tréningu (JModel trénuje v dávkach, a teda môže vidieť viac dávok ako v nastaveniach kontinuálneho učenia), výkon JModel nebol dosiahnuteľný. DM s menšouPamäťofM {{0}} nebol schopný presne zachytiť rôznorodosť distribúcie tréningových údajov, čo malo za následok zabudnutie (BWT=− 0,005).
na čo sa cistanche používa: zlepšenie pamäti
Obrázok 2 ukazuje, ako sa zmenila stredná hodnota DSC v priebehu kontinuálneho tréningu. V prípade EWC a naivného neustáleho učenia sa pozorovalo katastrofálne zabúdanie a presnosť v predchádzajúcich doménach klesala, keď nové domény vstúpili do modelového tréningu. Pre DM a DM-PD bola presnosť stabilnejšia vo všetkých doménach, ako pokračovalo kontinuálne školenie.
Kvalitatívne hodnotenie sémantickej segmentácie na obr. 3 ukázalo porovnateľné výsledky výkonnosti pre rôzne prístupy kontinuálneho učenia. Zatiaľ čo naivné kontinuálne učenie ukázalo lepšie výsledky pre skener D, DM a DM-PD fungovali dobre na všetkých skeneroch vrátane predtým videných domén. Porovnanie so základným modelom (naučený iba na dátach zo skenera A) ukázalo, že potrebujeme metódu neustáleho učenia, aby sme model prispôsobili meniacemu sa vizuálnemu vzhľadu. Základný model nedokázal vykonať presnú segmentáciu pre skenery B–D, čo viedlo k vysokému počtu falošne negatívnych výsledkov.
DynamickýPamäťzmierňuje katastrofické zabúdanie na detekciu uzlín v pľúcach. Detekcia pľúcnych uzlín sa uskutočňovala ako detekcia ohraničujúceho boxu na 2D CT rezoch a merala sa s priemernou presnosťou (AP), ako je definované v hodnotiacej časti. Do dátového toku boli zahrnuté štyri obrazové domény: GE s nízkofrekvenčným rekonštrukčným algoritmom (GE/L); GE s vysokofrekvenčným rekonštrukčným algoritmom (GE/H); Siemens; a LNDb (podrobnosti nájdete v časti „Súbory údajov“) v nasledujúcich skeneroch E–H. Základné školenie bolo vykonané na údajoch zo skenera E. Kvôli definícii EWC nebolo možné priame porovnanie pre detekčné úlohy. DM a DM-PD sa porovnávali s náhodnou náhradnou pamäťou a naivným prístupom kontinuálneho učenia.
Analogicky k segmentácii boli ako referenčné hodnotené dve najmodernejšie metódy vyžadujúce doménové značky (ktoré DM a DM-PD nevyžadujú), GEM19 a ER-MIR20. Ako základné modely boli porovnané spoločný model (JModel) a doménovo špecifické modely (DSM) a výsledky pre statický základný model (Base) boli vyhodnotené analogicky ako pri segmentačnom experimente. Ako sieť úloh bola použitá Faster R-CNN s chrbticou ResNet{9}}22.
Celkovo mali DM-PD a DM lepšie výsledky z hľadiska AP ako naivný prístup, ako je vidieť v tabuľke 3. Obidve prekonali naivnú metódu a účinne pôsobili proti katastrofickému zabúdaniu. Pre všetky domény extrahované z LIDC (skenery E, F a G) fungoval DM dobre. Pozorovali sme však pokles výkonu pre skener H pre všetky metódy. Tento pokles bol okrem veľkého presunu domén spôsobený aj presunom populácie. V údajoch LIDC mali pľúcne uzliny stredný priemer 8,29 mm, zatiaľ čo údaje zo skenera H (extrahované z LNDb) zahŕňali menšie lézie so stredným priemerom 5,99 mm. Podľa návrhu DM nezisťuje populačné posuny (tj zmenu charakteristík lézií na rozdiel od zobrazovacích charakteristík), a preto sa nedokáže rýchlo prispôsobiť údajom zo skenera H. Stratégia náhodného nahradenia zápasila s doménami učenia, ktoré sa v tréningu vyskytovali menej často (Skener F a G), pretože ich časom nahradili údaje zo skenera H, čo viedlo k zabudnutiu na tieto skenery. Tento účinok bol menej závažný pre údaje zo skenera E, pretože základné školenie sa uskutočnilo na údajoch tohto skenera. DM a DM-PD pôsobili proti tomuto zabúdaniu použitím metriky založenej na štýle na diverzifikáciuPamäťa tak uchovával vzorky všetkých skenerov vPamäť. DM-PD fungoval lepšie ako DM bez detekcie pseudodomény, čo dokazuje, že vyváženie tréningového procesu bolo dôležitým krokom pre našu metódu neustáleho učenia. DM-PD vykazoval najlepší výkon z hľadiska AP a prekonal naivný prístup o približne 0,05 AP pre skenery E, F a G. Okrem toho, najlepšia spätná a dopredná prenosnosť bola pozorovaná pre DM-PD/128 . Bol to teda preferovaný model na detekciu pľúcnych uzlín.
Obr. 2 Segmentácia MR srdca. Kockové skóre (DSC) na overovacej sade počas tréningu pre M=128 pre DM a DM-PD v porovnaní s náhodným nahradzovaním a naivným kontinuálnym učením. Časová os v spodnej časti predstavuje nepretržitý dátový tok a zmenu domén v prúde. Pokles DSC pre skener A možno pozorovať, keď sa v prúde vyskytne skener B, DM a DM-PD sa z tohto poklesu dokázali zotaviť pomocouPamäť; b všetky metódy sú stabilné počas tréningu so skenerom C a c akonáhle nabehnú údaje zo skenera D, vidíme rýchly nárast DSC pre vzorky validácie skenera D. Naivná a náhodná náhrada počas tohto obdobia stráca niektoré body DSC, zatiaľ čo DM zostáva stabilná. Táto významná a rýchla zmena ukazuje, že skener D je odlišný v porovnaní s ostatnými a nie je tak úzko spojený ako skener B a C.
Doplnková tabuľka 5 ukazuje výsledky porovnávania rôznychPamäťveľkosti M=〈64, 128, 256, 512, 883〉 (883 zodpovedá uloženiu všetkých vzoriek nepretržitého toku do pamäte). Pre DM bola väčšia veľkosť pamäte výhodná v porovnaní s menšou veľkosťou pamäte. Pre DM-PD výsledky ukázali, že čím je menšiaPamäť(M=64 a M=128), tým väčší nárast výkonu sa dosiahol detekciou pseudodomény (PD) v porovnaní s obyčajným DM. Pre väčšie veľkosti pamäte výhoda PD zmizla. V dôsledku rozdielov v sekvencii tréningu bol výkon DM s M=883 odlišný od výkonu JModel. Zatiaľ čo DM/883 fungoval lepšie na skeneroch E a F, JModel vykazoval vyššie hodnoty AP pre skenery G a H.
Na obr. 4 je znázornená zmena výkonu overovania počas tréningu pre DM a DM-PD s M=128 v porovnaní s náhodným nahradenímPamäťa naivné neustále učenie. Zatiaľ čo náhodná výmena a naivná stratégia ukázali zabúdanie, najmä pre skener G, DM a DM-PD udržali vysoký výkon bez katastrofického zabudnutia.
Aby sa podrobne analyzoval výkon DM pri detekcii pľúcnych uzlín, krivky presnosti-vybavenia pre DM a DM-PD s M=128 boli porovnané s naivným kontinuálnym učením a základným modelom trénovaným iba na údajoch z prvého skenera E ( Obr. 5a). Základný model fungoval horšie ako prístupy kontinuálneho učenia pre všetky domény, dokonca aj na testovacích údajoch z domény, na ktorej bol model trénovaný. To ukázalo, že poznatky z nasledujúcich skenerov môžu zlepšiť výkon konečného modelu na skeneri E. Ako sa očakávalo, výkon základného modelu sa pri nasledujúcich skeneroch zhoršil. Krivky presnosti načítania naivného prístupu kontinuálneho učenia ukázali zlepšenie oproti základnému modelu. V porovnaní s DM a DM-PD vykazoval horší výkon pre skenery E–G a o niečo lepší výkon pre skener H. To ilustruje, ako by sa naivné kontinuálne učenie mohlo prispôsobiť novým skenerom, ale na rozdiel od DM a DM-PD trpelo zabudnutia pri aktualizácii modelu na dáta skenera H.
Na obr. 5b sú znázornené detekcie ohraničujúceho rámčeka pre všetky štyri domény. Celkovo sa vyskytol vyšší počet falošne pozitívnych výsledkov pri naivnom prístupe v porovnaní s DM a DM-PD. Vzhľadom na skutočnosť, že sme vykonali detekciu iba na 2D rezoch, DM a DM-PD vykazovali dobrý celkový výkon. Pri detekcii uzlín v pľúcach sme preukázali jasný prínos pomocou skúšania našou metódou DM v nastaveniach nepretržitého učenia s neznámymi posunmi domén.
Detekcia pseudodomény je vyváženejšiaPamäť.
Na detekciu pľúcnych uzlín sme analyzovali rozdiely medzi tréningom DM s modulom pseudodomény a tréningom bez modulu pseudodomény pre M=128. Najprv sme vyhodnotili, ako vzorky vPamäťna konci tréningu boli distribuované v porovnaní s celým tréningovým korpusom vložením Gramových matíc všetkých tréningových vzoriek do priestoru na vkladanie pomocou t-distribuovaného stochastického susedného vkladania (TSNE)23.
Obrázok 6a ukazuje jasný rozdiel medzi doménami skenera F, skenera H a skenerov E a G. Skenery E a G si boli blízke svojím štýlom v dôsledku podobného rekonštrukčného jadra použitého pre tieto domény. Značky na obrázku označujú vzorky vPamäťna konci kontinuálneho tréningu. V prípade DM-PD boli tieto rovnomernejšie rozdelené v celom tréningovom súbore.
Toto pozorovanie bolo potvrdené údajmi znázornenými na obr. 6c, kde sme pozorovali jasné nadmerné zastúpenie prvej domény (Scanner E) celkovo nasledujúcich domén pre tréning len s DM, v porovnaní s vyvážením s pseudodoménami (DM-PD).
Obr. 3 Kvalitatívne príklady segmentácie srdca. Výsledky pre DM a DM-PD s M=128 v porovnaní s naivným kontinuálnym učením a náhodnýmPamäťvýmena. Mislabelled odkazuje na pixely, ktoré boli označené, ale členstvo v triede bolo zmätené modelom. Základný model bol trénovaný v statickom trénovacom prístupe iba na údajoch zo skenera A.
Obrázok 6b ukazuje analýzu počtu doménových prvkov priradených pseudodoménam. Ako príklad jedného tréningového behu bolo zistených päť pseudodomén. PD-1 predstavoval skutočnú doménu skenera E. PD-4 a PD-5 predstavoval vzorky z dvoch skenerov, F a G. V PD-2 a PD{{7} }, neboli zastúpené žiadne jasné rozdiely medzi doménami. Celkovo sme pozorovali
Obr. 4 Detekcia uzliny v pľúcach. Priemerná presnosť (AP) bola meraná na overovacej sade počas tréningu pre DM a DM-PD s M=128, ako aj náhodnou náhradouPamäťa naivný prístup neustáleho učenia. Časová os v spodnej časti predstavuje zmeny v doménach v dátovom toku. Hneď ako sa v streame vyskytli dáta skenera F, overenie vykonané na doméne skenera F (a tiež skenera G) sa zvýšilo pre všetky prístupy. b Jasný pokles výkonu (AP) nastal v prípade naivného a náhodného nahradenia skenera E, F a G po niekoľkých krokoch tréningu na údajoch zo skenera H, čo znamenalo katastrofické zabudnutie. Pri DM výkon najskôr mierne klesol, ale po niekoľkých tréningových krokoch sa obnovil, pretože na tréning sa používajú vzorky z pamäte. Výkon DM-PD zostal stabilný pre skenery E, F a G. c Na konci kontinuálneho tréningu sa dosiahol lepší výkon pre skenery E, F a G, keď sa využívala dynamická pamäť. V prípade skenera H bol výkon všetkých troch prístupov podobný. d Výkon skenera E bol stabilný počas celého kontinuálneho tréningového procesu pre všetky prístupy, čo ukazuje, že základný tréning bol pre skener E nasýtený. distribúcia tréningových súprav.
cistanche recenzie: zlepšiť pamäť
Diskusia
Strojové učenie rozširuje využitie lekárskych zobrazovacích údajov na diagnostiku a prognózu. Pokroky v hlbokom učení umožňujú výpočtovú detekciu, segmentáciu a klasifikáciu entít spojených s ochorením, a tak informujú o individuálnych rozhodnutiach o liečbe. Po prvej iterácii statického DL sa modely ukázali ako účinné, výzvou je teraz urobiť ich udržateľnými v prostredí neustáleho pokroku v technológii získavania obrazu, protokoloch alebo dokonca možnostiach liečby. Tu ukazujeme, že ide o prístup, ktorý si zachováva rôznorodú dynamikuPamäťmohol prispôsobiť modely meniacim sa zobrazovacím technológiám, keďže sa vyrovnali s posunmi domén. Dôležité je, že kým sa model poučil z nových údajov, zachoval si rozmanitosť skúškyPamäť, aby zostala presná a spoľahlivá v celom repertoári zobrazovacích zdrojov, ktoré videla. Ďalej sme zistili, že modelové znalosti boli úspešne prenesené cez skenery. Zahrnutie tréningových údajov z iných skenerov prinieslo výhody pre presnosť modelu na individuálnom skeneri.
Posuny domén v dôsledku variability skenerov a ich škodlivých účinkov na algoritmy strojového učenia (ML) boli pozorované v rôznych obrazových modalitách, ako je počítačová tomografia (CT) a zobrazovanie magnetickou rezonanciou (MRI). V prípade CT sa skúmal vplyv skenerov a parametrov rekonštrukcie na predpovede ML, ako aj na ľudské anotácie pri CT vyšetreniach hrudníka. Preukázanie, že variabilita skenera má negatívny vplyv na rádiomiku24,25 a iné zobrazovacie funkcie26, je potrebné vziať do úvahy pri navrhovaní modelov ML. V ref. 27, empiricky sa vyhodnotil účinok použitia viacerých MRI skenerov na ML algoritmy pre MRI mozgu. Na zníženie vplyvu variability skenera v longitudinálnych štúdiách MRI s viacerými skenermi sa použila harmonizácia28,29. Na rozdiel od našej práce však tieto metódy predpokladajú, že všetky údaje sú dostupné naraz, čo nie je prípad modelu nasadeného v klinickej praxi.
Predtým boli navrhnuté rôzne metódy na zmiernenie katastrofického zabúdania10,11 v prostredí neustáleho vzdelávania. Tieto prístupy možno rozdeliť do troch kategórií: metódy skúšania a pseudonácviku19,30–33, prístupy založené na regularizácii18,34,35 a metódy izolácie parametrov36,37. Podrobný prehľad nájdete v ref. 10,11. Väčšina týchto prístupov sú metódy postupného učenia sa úloh. Zameriavajú sa na postupné učenie sa nových úloh bez toho, aby zabúdali na vedomosti potrebné pre predchádzajúce úlohy. V poslednej dobe boli navrhnuté metódy, ktoré sa zamerali na účtovanie posunov domén38–40. Doménová adaptácia (DA) je súvisiaca oblasť výskumu zaoberajúca sa doménovými posunmi41–43. DA sa zameriava na
Obr. 5 Kvantitatívne a kvalitatívne výsledky detekcie uzlín v pľúcach. a Krivky presnosti vybavovania konečného naivného, DM a DM-PD trénovaného modelu v porovnaní so základným modelom trénovaným iba na údajoch zo skenera E. Vytieňované oblasti predstavujú intervaly spoľahlivosti pre n=5 nezávislých tréningových cyklov. b Vzorky detekcie pľúcnych uzlín konečného naivného, DM a DM-PD trénovaného modelu v porovnaní so základným modelom trénovaným iba na údajoch zo skenera E vo všetkých štyroch doménach. Zelené políčka označujú pravdivé pozitíva, žlté políčka falošne negatívne a červené políčka falošne pozitívne.
prispôsobenie vedomostí získaných v jednej alebo viacerých zdrojových doménach cieľovej doméne. V medicínskom zobrazovaní sa DA používa na prispôsobenie sa medzi rôznymi zobrazovacími modalitami alebo rôznymi nastaveniami získavania obrazu44. Predpokladá prístup k zdrojovej a cieľovej doméne naraz, čo neplatí pre nastavenie využívajúce nepretržitý dátový tok. Okrem toho DA vyžaduje znalosť členstva v doméne alebo úlohe pre každú vzorku. Tento predpoklad nie je realistický pri zobrazovaní v reálnom svete. Variabilita metaúdajov kódujúcich informácie o získaní obrazu sa priamo nezmapuje s porovnateľnosťou charakteristík zobrazovania13. Keďže nepredpokladáme, že by sme mali prístup k týmto znalostiam, tieto metódy nie sú použiteľné pre kontinuálne učenie sa v klinickej praxi. Dodnes teda neboli prijaté do praxe. Treťou súvisiacou oblasťou je transferové učenie45. Tu sa existujúci model prenesie do novej úlohy alebo domény doladením nových údajov. Jediným cieľom je, aby tam model fungoval dobre, bez ohľadu na jeho schopnosť dobre fungovať v počiatočnej doméne. Počas jemného ladenia nie sú potrebné žiadne údaje z počiatočnej domény.
Naše výsledky ukazujú, že kapacita statických modelov na segmentáciu a detekciu je obmedzená, keď sa údaje získavajú pomocou zariadení na získavanie obrazu mimo počiatočnej distribúcie tréningu. Naivné prístupy, ktoré sa neustále trénujú na nových skeneroch, zároveň zabúdajú na staré zobrazovacie charakteristiky a strácajú schopnosť spracovávať údaje s predchádzajúcimi charakteristikami získavania. Neustálym zaraďovaním nových tréningových dát pri zachovaní rôznorodého súboru skúšok poskytuje dynamická pamäť dobrý výkon v celej skupine pozorovaných skenerov. Detekcia pseudodomén, reprezentujúcich podskupiny, ktoré vykazujú podobný štýl alebo charakteristiky zobrazenia, poskytuje skupiny obrázkov, ktoré zodpovedajú skenerom, alebo skupiny skenerov, ktoré majú podobné vzhľadové vlastnosti. Ich detekcia a vstrekovanie do tréningového procesu pre
Obr. 6 VylepšeniePamäťrôznorodosť. Porovnanie zloženia pamäte pre DM vs. DM-PD pre M=128. TSNE nad Gramovými maticami tréningového súboru ukazuje rozlíšenie domén. Značky ukazujú pozície pamäťových prvkov na konci tréningu pre jeden beh. DM-PD vykazuje rovnomernejšie rozloženie v rámci celého tréningového súboru. b Pre jeden tréningový cyklus DM-PD sa zistilo päť zistených pseudodomén; pruhy zobrazujú počet prvkov domény priradených pseudodoménam. c Množstvo prvkov domény vPamäťpo školení na DM a DM-PD. Chybové úsečky predstavujú štandardnú odchýlku a priemer (stredná čiara), n=5 nezávislých cyklov.
DM ďalej zlepšuje výkon modelu. Dôležité je, že tieto pseudodomény môžu zahŕňať viacero skenerov, ak zdieľajú obrazové charakteristiky. Použitie metriky založenej na štýle zmierňuje potrebu znalostí o členstve v doméne a demonštruje podobnú výkonnosť ako najmodernejšie metódy neustáleho učenia, ktoré využívajú tieto informácie.
Ďalšou výhodou tohto prístupu v porovnaní s tréningom modelov špecifických pre skener je to, že výkon modelu na konkrétnom skeneri zvyčajne ťaží zo školenia na iných skeneroch. Reprezentácie prvkov modelu získavajú lepšiu zovšeobecniteľnosť z trénovania na súvisiacich, ale odlišných údajoch. To vedie k spracovaniu nových údajov skenera, ktoré profituje zo školenia na starších skeneroch (dopredný prenos) a naopak (spätný prenos). Výsledky boli konzistentné pri rôznych zobrazovacích modalitách (MRI, CT) a úlohách analýzy obrazu (segmentácia, detekcia).
Výsledky našej kardiálnej MRI segmentácie ukázali, že DM je prospešný v porovnaní s naivným kontinuálnym učením, vykazuje menej katastrofické zabúdanie a dosahuje výsledky porovnateľné s modelmi trénovanými na statickom tréningovom súbore, ktorý pozostával z údajov zo všetkých domén. Podobné účinky sa vyskytli pri detekcii pľúcnych uzlín v CT a výsledky ukázali, že použitie pseudodomén (DM-PD) viedlo k menšiemu počtu falošne pozitívnych detekcií ako štandardné dynamickéPamäť.
púštne cistanche dračie byliny
Náš prístup je krokom k návrhu stratégie na učenie sa na nepretržitom dátovom toku lekárskych snímok, ktoré možno potenciálne nasadiť v klinickej praxi. Napriek tomu má metóda niekoľko obmedzení. Po prvé, je potrebný ďalší výskum, aby sme dokázali, že dokážeme navrhnúť systémy, ktoré zaručia, že v budúcnosti, keď sa počet skenerov podstatne zvýši, nedôjde k žiadnemu katastrofickému zabudnutiu. Je náročné dokázať, že výkonnosť modelov DL neklesne s budúcimi doménami. Po druhé, DM vyžaduje uloženie podmnožiny obrázkov na precvičenie počas tréningu. Hoci je tento skúšobný súbor podstatne menší ako celý súbor údajov, obavy o súkromie alebo obmedzenia ukladania môžu byť relevantné. Nakoniec neberieme do úvahy náklady na anotovanie prípadov, za predpokladu, že pre každú vzorku v dátovom toku sú k dispozícii cieľové označenia alebo ohraničujúce rámčeky na školenie. V klinickej praxi tento predpoklad neplatí a na ekonomický zber nových anotácií pre neznáme domény je potrebný koncept človeka v slučke7, ako je aktívne učenie46.
