Výkonnosť algoritmov strojového učenia na predpovedanie progresie k demencii u pacientov na klinike pamäti

Pre viac informácií:ali.ma@wecistanche.com

Abstraktné

DÔLEŽITÉ

Algoritmy strojového učenia by sa mohli použiť ako základ pre klinické rozhodovacie pomôcky na zlepšenie klinickej praxe.

CIEĽ

Posúdiť schopnosť algoritmov strojového učenia predpovedať výskyt demencie do 2 rokov v porovnaní s existujúcimi modelmi a určiť optimálny analytický prístup a počet požadovaných premenných.

DIZAJN, NASTAVENIE A ÚČASTNÍCI

Táto prognostická štúdia použila údaje z prospektívnej kohorty 15 307 účastníkov bez počiatočnej demencie na vykonanie sekundárnej analýzy faktorov, ktoré by sa dali použiť na predpovedanie výskytu demencie. Účastníci sa zúčastnili Národného koordinačného centra pre Alzheimerovu chorobuPamäťklinikách v Spojených štátoch v rokoch 2005 až 2015. Analýzy sa uskutočnili od marca do mája 2021. EXPOZÍCIE 258 premenných zahŕňajúcich domény klinických meraní súvisiacich s demenciou a rizikových faktorov.

HLAVNÉ VÝSLEDKY A OPATRENIA

Hlavným výsledkom bola demencia zo všetkých príčin diagnostikovaná do 2 rokov od základného hodnotenia.

Charlotte James, Ph.D.; Janice M. Ranson, Ph.D.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

VÝSLEDKY

Vo vzorke {{0}} účastníkov (priemerný [SD] vek, 72,3 [9,8] rokov; 9129 [6{{20}} percent] žien a 6178 [4{{24 }} percent ] mužov) bez demencie na začiatku, 1 568 (10 percent ) dostalo diagnózu demencie do 2 rokov od ich počiatočného hodnotenia. V porovnaní s 2 existujúcimi modelmi na predpovedanie rizika demencie (tj kardiovaskulárne rizikové faktory, skóre starnutia a výskytu demencie a krátky indikátor skríningu demencie) boli algoritmy strojového učenia lepšie pri predpovedaní demencie zo všetkých príčin do 2 rokov. Algoritmus stromov zosilnených gradientom mal priemernú (SD) celkovú presnosť 92 percent (1 percento), citlivosť 0,45 (0,05), špecifickosť 0,97 (0,01) a plocha pod krivkou 0,92 (0,01) s použitím všetkých 258 premenných. Analýza premennej dôležitosti ukázala, že na dosiahnutie presnosti 91 percent a plochy pod krivkou aspoň 0,89 bolo potrebných iba 6 premenných pre algoritmy strojového učenia. Algoritmy strojového učenia tiež identifikovali až 84 percent účastníkov, ktorí dostali počiatočnú diagnózu demencie, ktorá sa následne zmenila na miernu kognitívnu poruchu alebo kognitívne nepoškodenú, čo naznačuje možnú nesprávnu diagnózu.

ZÁVERY A RELEVANTNOSŤ

Tieto zistenia naznačujú, že algoritmy strojového učenia by mohli presne predpovedať výskyt demencie v priebehu 2 rokov u pacientov, ktorí dostávajú starostlivosťPamäťklinikách s použitím iba 6 premenných. Tieto zistenia by sa mohli použiť na informovanie o vývoji a overovaní pomôcok na rozhodovanie vPamäťkliniky.

Kliknutím aktivujete DHT pre pamäť

Úvod

Mnohí pacienti posudzovaní v špecializovaných pracoviskách, ako naprPamäťkliniky, nemajú demenciu pri prvej návšteve.1 Je dôležité rozlišovať medzi pacientmi, u ktorých sa demencia rozvinie v klinicky relevantnom časovom rámci, a pacientmi, u ktorých sa demencia nevyskytuje, pretože tento pohľad možno použiť na uprednostnenie pacientov pri následných vyšetreniach a zásahy. Identifikácia pacientov s vysokým rizikom rozvoja demencie je pre lekárov náročná. Jedným z prístupov je zamerať sa na tých, ktorí majú miernu kognitívnu poruchu (MCI) pri počiatočnom hodnotení, a pozvať týchto pacientov na sledovanie. To však môže viesť k značnej nesprávnej klasifikácii pacientov, ktorí nie sú cieľom sledovania, ale u ktorých sa rozvinie demencia, a pacientov, u ktorých sa zameriavajú ďalšie vyšetrenia, ale u ktorých sa demencia nerozvinie. Väčšina pacientov na klinike pamäte s MCI neprejde do demencie ani po 10 rokoch, pričom ročná miera konverzie je 9,6 percenta.2

Pomôcky na klinické rozhodovanie môžu zlepšiť schopnosť lekárov odhadnúť nástup demencie. Na odhad strednodobého a dlhodobého výskytu demencie v rôznych populáciách sú k dispozícii existujúce pomôcky na klinické rozhodovanie. Napríklad skóre rizika kardiovaskulárnych rizikových faktorov, starnutia a výskytu demencie (CAIDE)3 bolo navrhnuté tak, aby predpovedalo riziko rozvoja demencie o 20 rokov u ľudí v strednom veku a Brief Demencia Screening Indicator (BDSI)4 má za cieľ identifikovať starších ľudí. pacientov, aby sa zamerali na kognitívny skríning stanovením ich rizika rozvoja demencie do 6 rokov. Podľa našich vedomostí však nebola vyvinutá žiadna klinická pomôcka na rozhodovanie na predpovedanie výskytu demencie v pamäťových klinikách počas kratšieho klinicky relevantného obdobia.

Strojové učenie (ML) umožňuje využívať informácie z veľkých a zložitých súborov údajov. Nedávno sa aplikoval na diagnostiku demencie a predpovedanie rizika.{0}} Tieto modely však často obsahujú informácie, ktoré nie sú bežne dostupné v bežnej klinickej praxi, ako sú pokročilé neurozobrazovanie, genetické testovanie a biomarkery mozgovomiechového moku, čo obmedzuje klinickú aplikáciu na špecializované alebo výskumné zariadenia.

Skúmali sme, či je možné techniky ML použiť na predpovedanie výskytu demencie počas 2-ročného obdobia pomocou údajov pamäťovej kliniky z amerického Národného úraduAlzheimerovej chorobyKoordinačné centrum (NACC). Preskúmali sme tiež minimálny súbor premenných potrebných pre modely ML na dosiahnutie plného diagnostického výkonu.

Metódy

Štúdia NACC získala etické schválenie od inštitucionálnej kontrolnej rady každej lokality predtým, ako mohla poskytnúť údaje, a všetci účastníci poskytli informovaný písomný súhlas. Táto prognostická štúdia sa považovala za vyňatú z inštitucionálneho etického schválenia, pretože sme použili predtým zozbierané neidentifikované údaje. Údaje použité v tejto štúdii sú k dispozícii na požiadanie NACC. Táto štúdia sa uvádza v súlade s pokynmi na podávanie správ Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD). Údaje boli analyzované od marca do mája 2021.

Ukážka štúdie

Použili sme predtým zhromaždené údaje z jednotného súboru údajov NACC (UDS).10 UDS obsahuje údaje o perspektívnej kohorte z amerického Národného inštitútu pre starnutie.Alzheimerovej chorobyChorobaProgram centra pre multicentrický kolaboratívny výskum naAlzheimerova chorobachorobaa iné neurodegeneratívne poruchy.11 Náš súbor údajov pozostáva z údajov pamäťovej kliniky zozbieraných medzi septembrom 2005 a februárom 2015 od 30.Alzheimerova chorobaChorobaCentrá nachádzajúce sa v Spojených štátoch. Súbor údajov zahŕňa sociodemografické charakteristiky účastníka a spoluúčastníka, rodinnú anamnézu, funkčný stav,12 behaviorálnych symptómov (hodnotené pomocou výsledkov dotazníka neuropsychiatrického inventára13), batériu neuropsychologických testov14 a diagnózu klinickej demencie NACC, pridelenú každýmAlzheimerovej chorobyChorobaCentrum s použitím publikovaných klinických diagnostických kritérií založených na štandardizovanom klinickom hodnotení UDS. Podrobnosti o diagnostických kritériách prijatých protokolom UDS a súvisiace pokyny boli publikované už skôr.15

Použili sme UDS verzie 1 a 2, ktoré zahŕňajú 32 573 účastníkov pamäťovej kliniky so základným hodnotením. Aj keď sú naše modely navrhnuté tak, aby predpovedali výskyt demencie do 2 rokov, aby sme zohľadnili odchýlky v čase medzi následnými stretnutiami, zahrnuli sme sledovanie, ku ktorému došlo do 29 mesiacov od úvodnej návštevy, aby sme sa uistili, že návšteva bola buď prvá, alebo druhé následné stretnutie.

Výstupná premenná

Výstupnou premennou bola diagnostika demencie zo všetkých príčin v priebehu 29 mesiacov (približne 2 roky) od východiskového hodnotenia. Patria sem podtypy demencie, ako je Alzheimerova demencia, demencia s Lewyho telieskami, vaskulárna demencia a ďalšie zriedkavejšie podtypy. Alzheimerova demencia bola diagnostikovaná podľa kritérií NINCSD-ADRDA,16 vaskulárna demencia bola diagnostikovaná podľa kritérií NINDS-AIREN,17 Demencia s Lewyho telieskami (LBD) bola diagnostikovaná podľa tretej správy kritérií Konzorcia Demencia s Lewyho telieskami18 a frontotemporálna demencia bol diagnostikovaný podľa kritérií Nearyho a kolegov z roku 1998.19

Kandidátske predpovede

Zahrnuli sme všetky klinicky relevantné premenné zhromaždené počas úvodnej návštevy vo verziách 1 a 2 UDS (eTabuľka 1 v doplnku). Vylúčili sme premenné s hodnotami voľného textu, ako sú názvy liekov, a premenné, ktoré boli u všetkých účastníkov konštantné, ako napríklad počet návštev. Boli vygenerované štyri syntetické premenné na pomoc s hodnotením premennej dôležitosti (tieto premenné by mali byť zoradené nižšie); 3 z týchto premenných boli permutácie existujúcich premenných (1 binárna, 1 kategorická a 1 numerická premenná) a 1 premenná bola náhodne vygenerovaná z normálneho rozdelenia. Výsledkom bolo celkovo 258 premenných.

Premenné z UDS začlenené do našich modelov zahŕňajú demografické charakteristiky účastníka (15 premenných), demografické charakteristiky spoluúčastníka (7 premenných), rodinnú anamnézu (3 premenné), anamnézu (47 premenných), lieky (21 premenných), fyzické (12 premenných). ) a neurologické (4 premenné) výsledky vyšetrení, jednotná škála hodnotenia Parkinsonovej choroby20 (UDPRS) (28 premenných), škála hodnotenia klinickej demencie (CDR)21 (8 premenných), funkčný stav (10 premenných), batéria neuropsychologických testov (50 premenných) , škála geriatrickej depresie (17 premenných) a klinické hodnotenie symptómov (32 premenných). Z týchto premenných chýbalo 239 (93 percent ) aspoň u 1 účastníka a všetkým účastníkom chýbala aspoň 1 premenná.

Vývoj modelu

Implementovali sme 4 algoritmy ML22: logistickú regresiu (LR),23 podporný vektorový stroj (SVM),24 náhodný les (RF),25,26 a stromy zosilnené gradientom (XGB)27 (eMethods v doplnku). Tieto algoritmy vykonávajú klasifikačnú úlohu: určujú, či účastník spadá do triedy 0 (predpokladá sa, že zostane bez demencie 29 mesiacov od východiskovej hodnoty) alebo triedy 1 (predpokladá sa, že zažije incidentovú demenciu do 29 mesiacov od východiskovej hodnoty). Klasifikácia je založená na premenných zaznamenaných pri ich prvej (základnej) návšteve kliniky s pamäťou. Na implementáciu algoritmov ML sme použili knižnicu Python sci-kit-learn (Python Software Foundation),28 s 5-násobnou krížovou validáciou (eMethods v doplnku). Chýbajúce hodnoty boli pripočítané vzorkovaním s nahradením z chýbajúcich hodnôt. Všetky spracovania a analýzy údajov boli implementované v Pythone verzie 3.9, NumPy verzie 1.19.4 a sci-kit-learn verzii 0.24.0.

Štatistická analýza

Hodnotenie modelu

Výkonnosť všetkých modelov sme vyhodnotili porovnaním ich celkovej presnosti, citlivosti a špecifickosti pre prahy rozhodovania vopred špecifikované v literatúre (existujúce modely) alebo prah 0,5 (modely ML), ktorý má rovnakú váhu ako falošne pozitívne a falošne negatívne chyby. Oblasť pod krivkou prevádzkovej charakteristiky prijímača (AUC)29 sa použila na zhrnutie výkonu modelu cez všetky možné prahové hodnoty, a teda chybné váženie chýb pri nesprávnej klasifikácii.30 Stredné miery výkonu a SD boli získané pomocou bootstrappingu (eMethods v doplnku).

Porovnanie s existujúcimi modelmi

BDSI a CAIDE sú existujúce modely predikcie rizika demencie, ktoré priraďujú pacientom skóre predstavujúce ich riziko rozvoja demencie v dlhších časových intervaloch. Na odvodenie skóre rizika BDSI a CAIDE sme vybrali premenné z UDS, ktoré najviac zodpovedajú premenným použitým predtým (eTabuľka 2 v doplnku). Výkonnosť našich modelov ML bola porovnaná s výkonnosťou BDSI a CAIDE na predpovedanie 2-ročného výskytu demencie.

Výkon modelu naprieč podtypmi demencie

Demencia môže mať rôzne príčiny, ktoré zodpovedajú rôznym podtypom demencie. Aby sme zhodnotili schopnosť modelov ML identifikovať rôzne podtypy demencie, rozdelili sme prípady demencie na Alzheimerovu demenciu, LBD, vaskulárnu demenciu a ďalšie podtypy demencie. Pomocou týchto 4 stratifikácií sme vypočítali percento správne klasifikovaných účastníkov (skutočne pozitívna miera) a porovnali ROC krivky pre každý model ML.

Skúmanie diagnostickej stability

Je známe, že klinická diagnóza demencie zahŕňa pacientov, ktorí sú na začiatku nesprávne diagnostikovaní (v skutočnosti sú falošne pozitívne aj falošne negatívne chyby).31 Reverziu definujeme ako keď účastník, ktorému bola diagnostikovaná demencia do 2 rokov po prvej návšteve kliniky pre pamäť a následne dostane diagnózu bez demencie (buď MCI alebo nepoškodenú kognitívu) do 2 rokov od diagnózy demencie. Vzhľadom na to, že tieto reverzie sú nestabilné diagnózy a pravdepodobne boli výsledkom nesprávnej diagnózy demencie, skúmali sme presnosť klasifikácie modelov ML na vzorke účastníkov s reverziou (eMethods v doplnku). Použili sme funkciu kumulatívnej distribúcie (CDF) výstupov klasifikačných skóre každého modelu ML na porovnanie účastníkov s reverziou s pacientmi, u ktorých sa vyvinula demencia, a pacientmi, ktorí zostali bez demencie.

Výsledky

Po vylúčení {{0}} účastníkov s diagnózou demencie na začiatku, 4 557 účastníkov, ktorí nemali žiadne následné údaje, a 573 účastníkov, ktorí absolvovali prvé sledovanie viac ako 29 mesiacov po svojej prvej návšteve , posledná analytická vzorka obsahovala 15 307 účastníkov (priemerný [SD] vek, 72,3 [9,8] rokov; 9129 [60 percent ] žien a 6178 [40 percent ] mužov). Charakteristiky vzorky sú uvedené v tabuľke 1. V priebehu 2 rokov od začiatku štúdie dostalo 1568 účastníkov (10 percent) diagnózu demencie. Z 1568 účastníkov, ktorým bola diagnostikovaná demencia, 273 (17 percent ) bolo diagnostikovaných jediným lekárom a 1 216 (78 percent ) bolo diagnostikovaných konsenzuálnym panelom; pre 79 účastníkov (5 percent ), zdroj diagnózy nebol špecifikovaný. Kľúčové ukazovatele výkonnosti hodnotiace predikčnú schopnosť každého modelu sú uvedené v tabuľke 2. V porovnaní s existujúcimi modelmi boli modely ML lepšie v schopnosti predpovedať, či sa u jednotlivca rozvinie demencia do 2 rokov, a vo všetkých meraniach prekonali existujúce modely. Všetky modely ML fungovali podobne dobre, pričom XGB mal najväčší výkon pri meraní podľa celkovej presnosti (92 percent) a AUC (priemer [SD], 0,92 [0,01]). Krivka prevádzkovej charakteristiky prijímača pre každý model demonštruje podobnosť medzi modelmi ML a ich nadradenosť v porovnaní s 2 existujúcimi modelmi rizika (obrázok 1).

Výkon modelu naprieč podtypmi demencie

Na posúdenie výkonnosti modelu ML v rôznych podtypoch demencie sme rozdelili populáciu na 4 podtypy demencie: Alzheimerova demencia (1285 účastníkov), LBD (82 účastníkov), vaskulárna demencia (21 účastníkov) a iné podtypy demencie (180 účastníkov). Model LR bol najlepší pri identifikácii Alzheimerovej demencie a iných podtypov, pričom správne klasifikoval 589 účastníkov (46 percent) s Alzheimerovou demenciou a 99 účastníkov (55 percent) s inými podtypmi. Model SVM fungoval najlepšie u účastníkov s LBD, pričom správne klasifikoval 40 účastníkov (49 percent). Všetky modely správne klasifikovali 7 účastníkov (33 percent) s vaskulárnou demenciou. Krivky prevádzkových charakteristík prijímača ukazujú, že všetky modely fungovali približne rovnako dobre na každom podtype (eObrázok 1 v dodatku).

Skúmanie minimálneho počtu premenných

Jednou z potenciálnych nevýhod použitia prístupu ML je veľký počet zahrnutých premenných. Keď sa počet premenných požadovaných modelom zvyšuje, implementácia v klinickom prostredí sa stáva menej praktickou a interpretovateľnosť modelu sa zhoršuje. Aby sme zhodnotili, koľko premenných si každý model ML vyžadoval na dosiahnutie ekvivalentnej prediktívnej sily, akú sme našli pomocou všetkých 258 premenných (tabuľka 2), vyhodnotili sme, ako sa AUC menila s počtom premenných zahrnutých v modeloch. Konkrétne sme zoradili premenné pre každý model tak, že sme ich zoradili v zostupnom poradí dôležitosti (tj diskriminačnej schopnosti každej premennej podľa algoritmu; eMethods v doplnku). Následne sme preškolili každý model so zvyšujúcim sa počtom premenných, počnúc tými najdôležitejšími. Zistili sme, že všetky modely vyžadujú iba 22 premenných na dosiahnutie diagnostického výkonu štatisticky nerozoznateľného od ich optimálneho priemerného výkonu (obrázok 2; eobrázok 2 v dodatku). Syntetické premenné pridané na zabezpečenie platnosti hodnotenia dôležitosti premennej sa nenachádzali v 22 najlepších premenných pre žiadny model, čo odráža skutočnosť, že po dosiahnutí úplného diagnostického výkonu bolo málo informácií na silné určenie poradia premenných.

Identifikácia kľúčových rizikových faktorov

Z 22 najdôležitejších premenných pre každý model bolo iba 5 spoločných pre všetky modely (tj klinický úsudok o poklese pamäti, kognitívnych schopností, správania, schopnosti riadiť záležitosti alebo motorických a pohybových zmien; čas na dokončenie testu tvorby trasy Časť B; CDR: zhoršenie orientácie; CDR: zhoršenie domova a koníčkov; a úroveň nezávislosti). Zo zostávajúcich premenných bol 1 0 pár, ktorý mal koreláciu väčšiu ako 0.7, čo naznačuje, že išlo o podobné premenné (eTabuľka 3 v Doplnku). Po zohľadnení tejto korelácie výmenou premenných, ktoré boli vysoko korelované, sme zistili, že existuje 6 vysoko prediktívnych premenných (klinický úsudok o poklese, čas na dokončenie testu vytvárania trás časť B, 3 zložky CDR [orientácia, pamäť a domov a koníčky poškodenie] a úroveň nezávislosti), ktoré boli spoločné pre všetky modely ML (eTabuľka 4 v dodatku). Trénovaním každého modelu iba pomocou týchto premenných sme zistili, že v prípade LR a XGB nedošlo k žiadnemu významnému zníženiu diagnostického výkonu: pri použití tejto základnej sady 6 premenných mali tieto modely strednú (SD) presnosť 91 percent (0 percent ) pre LR a 91 percent (1 percento ) pre XGB a priemernú (SD) AUC 0,89 (0.01) pre LR a 0,89 (0,02) pre XGB (eTabuľka 5 v dodatku).

Diagnostická stabilita

Z 1 568 účastníkov, ktorým bola do 2 rokov diagnostikovaná demencia, sme identifikovali 130 (8 percent ), ktorí prežívali reverziu a ktorí boli pravdepodobne pôvodne nesprávne diagnostikovaní, a preto boli nesprávne označení na účely ML. Zistili sme, že zatiaľ čo reverzie boli hlásené len u 0,8 percenta účastníkov, predstavovali 92 až 109 účastníkov (7 percent -8 percent ) nesprávne klasifikovaných účastníkov, s malým množstvom variácií medzi modelmi (tabuľka 3). Model RF mal najvyššiu diagnostickú stabilitu, správne identifikoval 109 zo 130 účastníkov s reverziou (84 percent) tak, že ich klasifikoval ako predpokladanú bez demencie po 2 rokoch. Aby sme preskúmali diagnostickú stabilitu modelov ML, odstránili sme účastníkov s reverziou počas tréningu (eMethods v doplnku). Po preškolení modelov bez reverzií sme zistili, že RF identifikovala 106 účastníkov, ktorí zažili reverzie (medián [IQR], 82 percent [78 percent -82 percent]), SVM identifikovala 93 účastníkov, ktorí zažili reverzie (medián [IQR], 72 percent [69 percent -74 percent ]) a LR aj XGB identifikovali 92 účastníkov, ktorí zaznamenali reverzie (medián [IQR], 71 percent [68 percent -75 percent]). IQR boli získané bootstrapingom účastníkov, ktorí zažili reverziu.

Aby sme pochopili rozdiel medzi nesprávne klasifikovanými účastníkmi, účastníkmi s reverziou a účastníkmi, u ktorých sa vyvinula demencia bez reverzie, analyzovali sme CDF klasifikačných skóre získaných z každého modelu ML. Zistili sme, že skóre nesprávne klasifikovaných účastníkov a konkrétnych účastníkov s reverziou sa líšilo od účastníkov, u ktorých sa vyvinula demencia, a tých, u ktorých sa demencia nerozvinula (eobrázok 3 v dodatku). CDF klasifikačných skóre pre účastníkov, u ktorých sa nerozvinula demencia, klesli úplne vľavo na každom pozemku, čo naznačuje, že modely ML priradili týmto účastníkom nízku pravdepodobnosť rozvoja demencie. Naopak, pre účastníkov, u ktorých sa vyvinula demencia, CDF padli napravo od grafov: bola im priradená vysoká pravdepodobnosť rozvoja demencie. Pri všetkých modeloch distribúcia skóre pre účastníkov s reverziou klesla naľavo od distribúcie skóre pre účastníkov, u ktorých sa vyvinula demencia, čo znamená, že účastníci s reverziou boli podľa týchto modelov hodnotení ako s nižšou pravdepodobnosťou rozvoja demencie.

Diskusia

V tejto prognostickej štúdii mali algoritmy ML lepšiu prognostickú presnosť v porovnaní s BDSI a CAIDE pri predpovedaní výskytu demencie do 2 rokov od prvého hodnotenia pamäte pacienta. Dva z algoritmov ML boli hodnotené tak, aby dosiahli presnosť 91 percent a AUC 0,89 iba so 6 kľúčovými premennými. Analýzy citlivosti naznačujú, že modely ML by mohli správne klasifikovať vysoký podiel účastníkov, ktorí zažili reverziu a ktorí boli potenciálne nesprávne diagnostikovaní do 2 rokov od ich počiatočnej návštevy. Táto štúdia má niekoľko silných stránok, vrátane veľkej vzorky pacientov pochádzajúcej z viacerých pamäťových kliník v Spojených štátoch, širokého spektra použitých techník ML, porovnávania s existujúcimi rizikovými modelmi a skúmania diagnostickej stability a pravdepodobných nesprávnych diagnóz.

Predchádzajúce štúdie o použití ML na predpovedanie rizika demencie sa zamerali na konverziu z nepoškodenej kognície na Alzheimerovu demenciu alebo MCI,6,8 alebo konverziu z MCI na Alzheimerovu demenciu.5 Tieto prístupy sú menej užitočné v klinickom prostredí, pretože vylučujú iné typy demencie5,6,8 alebo pacienti, ktorí sú spočiatku kognitívne bez poškodenia.5 Údaje použité v týchto štúdiách zahŕňali skenovanie pozitrónovou emisnou tomografiou5,8 a biomarkery mozgovomiechového moku,8 z ktorých nie sú bežne dostupné v prostredí pamäťovej kliniky. Štúdia Lin et al6 to prekonala použitím údajov NACC na nájdenie súboru 15 neinvazívnych klinických premenných na posúdenie rizika konverzie z nepoškodenej kognície na MCI v období 4-roka. Konštrukt MCI však zostáva do istej miery kontroverzný32 a miery konverzie medzi MCI a demenciou sú často nízke.32,33 Naše modely ML dopĺňajú tieto analýzy a majú výhodu v tom, že zahŕňajú iba 6 kľúčových premenných počas klinicky relevantného časového rámca a predpovedajú výsledok demencie zo všetkých príčin.

Z existujúcich modelov skúmaných v našej štúdii bol model CAIDE najmenej presný v predpovedaní rizika demencie počas 2 rokov, čo nie je prekvapujúce, keďže bol vyvinutý na predpovedanie dlhodobého rizika demencie u dospelých v strednom veku na oveľa dlhšie obdobie. obdobie sledovania 20 rokov. BDSI fungoval lepšie ako CAIDE, čo pravdepodobne odráža, že bol navrhnutý na použitie u starších dospelých počas miernejšieho obdobia sledovania 6 rokov. Všetky modely ML však prekonali tieto existujúce modely. Použitím všetkých premenných bol XGB najsilnejším prístupom ML pri predpovedaní pacientov, u ktorých bola pravdepodobnosť diagnostikovania demencie do 2 rokov, čo naznačuje, že spôsob, akým sú nové rozhodovacie stromy trénované na opravu chýb posledných troch, vedie k marginálnemu výkonu. zisk. Zdá sa však, že XGB je prístup, ktorý je najmenej schopný identifikovať účastníkov, ktorí zažili reverziu, tj tých, ktorým bola pôvodne diagnostikovaná demencia do 2 rokov a táto diagnóza bola zvrátená do 2 rokov od počiatočnej diagnózy.

Výkonnosť modelov ML môže byť značne znížená nesprávne označenými trénovacími údajmi.34 Vylúčenie nesprávne označených trénovacích údajov nie vždy zlepší výkon.35 Keď sa úroveň šumu v trénovacích údajoch zvyšuje, hodnota vylúčenia alebo zníženia tohto hluku klesá, ak rovnaký šum je prítomný vo validačných údajoch.36 Filtrovanie tréningových údajov teda môže dokonca znížiť údaje o neplatnosti výkonu, ako sa zistilo v tejto štúdii. Ak je však úroveň nesprávneho označenia nižšia ako približne 20 percent až 40 percent, odstránenie nesprávne označených údajov môže zlepšiť presnosť údajov validácie, aj keď to zahŕňa nesprávne označené údaje.35,37,38 Toto ilustruje dôležitosť skúmania diagnostickej stability pri školení a validačné údaje: dokonca aj štandardné údaje kritéria obsahujú chyby.

Pozorovaná miera reverzie (8 percent) bola podobná ako v štúdii z roku 2019 založenej na inej populácii v USA.31 V našej štúdii sa zistilo, že percento falošne pozitívnych výsledkov kolíše od 7 percent do 19 percent v závislosti od kognitívnej použité hodnotenie. Pokiaľ je nám známe, toto je prvá analýza potenciálnej nesprávnej diagnózy v NACC UDS a naznačuje, že používanie ML ako pomôcky pri klinickom rozhodovaní má potenciál znížiť chybnú diagnózu falošne pozitívnych výsledkov až o 84 percent. Vzhľadom na to, že pacienti, u ktorých dôjde k reverzii, sú z diagnostického hľadiska hraniční, z klinického hľadiska môže byť rozumné, aby ich aj tak sledovali, keďže existujú dôvody na klinické obavy. XGB teda môže byť najlepším modelom pre klinické rozhodovanie. Alternatívne môže byť ešte užitočnejší súborný prístup, ktorý vytvára sekundárne predpovede o pravdepodobnej diagnostickej stabilite a potenciáli nesprávnej klasifikácie.

Obmedzenia

Táto štúdia má niekoľko obmedzení. Po prvé, CAIDE aj BDSI boli vyvinuté s použitím odlišných populácií ako v tejto štúdii. Nie všetky premenné použité na vývoj týchto modelov mali presný ekvivalent v UDS, čo mohlo ovplyvniť ich výkonnosť v tomto súbore údajov. Po druhé, metóda použitá na imputáciu údajov môže viesť k chybe imputácie. Konkrétne, imputácia nahrádza všetky chýbajúce hodnoty číselnou hodnotou, avšak niektoré hodnoty chýbajú kvôli ich vzťahu s inou hodnotou; preto skutočnosť, že nejaká hodnota chýba, je informatívna. Avšak zatiaľ čo účastníci mali v priemere 14 percent chýbajúcich údajov, 6 identifikovaných kľúčových premenných chýbalo v priemere 1 percentu účastníkov. Po tretie, hoci naša štúdia použila veľkú vzorku účastníkov pamäťovej kliniky v Spojených štátoch, vďaka čomu sú naše výsledky vysoko aplikovateľné na toto prostredie, rozsah, v akom sa tieto výsledky zovšeobecnia na iné populácie, nie je známy.

Závery

Táto prognostická štúdia zistila, že modely ML prekonali existujúce modely predikcie rizika demencie a môžu mať potenciál zlepšiť predikciu demencie v priebehu 2 rokov na pamäťových klinikách. Šesť kľúčových faktorov pre riziko demencie identifikovaných v tejto štúdii môže mať potenciál zlepšiť klinickú prax na pamäťových klinikách, ak sa začlenia do budúcich pomôcok klinického rozhodovania.

LITERATÚRA

1. Hejl A, Høgh P, Waldemar G. Potenciálne reverzibilné stavy u 1000 po sebe idúcich pacientov na klinike pamäti. J Neurol Neurosurg Psychiatria.

2. Mitchell AJ, Shiri-Feshki M. Miera progresie mierneho kognitívneho poškodenia k demencii – metaanalýza 41 robustných počiatočných kohortových štúdií. Acta Psychiatr Scand. 2009;119(4):252-265.

3. Barnes DE, Beiser AS, Lee A, a kol. Vývoj a validácia krátkeho indikátora skríningu demencie pre primárnu starostlivosť. Alzheimerova demencia. 2014;10(6):656-665.e1. doi:10.1016/j.jalz.2013.11.006

4. Kivipelto M, Ngandu T, Laatikainen T, Winblad B, Soininen H, Tuomilehto J. Rizikové skóre pre predpoveď rizika demencie po 20 rokoch u ľudí stredného veku: longitudinálna populačná štúdia. Lancet Neurol. 2006;5(9):735-741. doi:10.1016/S1474-4422(06)70537-3

5. Cui Y, Liu B, Luo S a kol.; Iniciatíva pre neurozobrazovanie Alzheimerovej choroby. Identifikácia konverzie z mierneho kognitívneho poškodenia na Alzheimerovu chorobu pomocou multivariačných prediktorov. PLoS One.

6. Lin M, Gong P, Yang T, Ye J, Albin RL, Dodge HH. Analytické prístupy veľkých údajov k súboru údajov NACC: napomáhanie obohateniu predklinických štúdií. Alzheimer Dis Assoc Disord. 2018; 32(1):18-27.

7. Park JH, Cho HE, Kim JH, a kol. Predpovedanie výskytu Alzheimerovej choroby pomocou strojového učenia pomocou rozsiahlych administratívnych údajov o zdraví. NPJ Digit Med. 2020; 3 (1): 46.

8. Zhan Y, Chen K, Wu X a kol.; Iniciatíva pre neurozobrazovanie Alzheimerovej choroby. Identifikácia konverzie z normálnej kognície starších ľudí na Alzheimerovu chorobu pomocou multimodálneho podporného vektorového stroja. J Alzheimers Dis. 2015; 47(4):1057-1067.

9. Burgos N, Colliot O. Strojové učenie na klasifikáciu a predikciu chorôb mozgu: nedávne pokroky a nadchádzajúce výzvy. Curr Opin Neurol. 2020; 33(4):439-450.

10. Beekly DL, Ramos EM, Lee WW a kol.; NIA centrá pre Alzheimerovu chorobu. Databáza Národného koordinačného centra pre Alzheimerovu chorobu (NACC): Uniform Data Set. Alzheimer Dis Assoc Disord. 2007;21(3):249-258.

11. Národný inštitút pre starnutie. Výskumné centrá Alzheimerovej choroby. Sprístupnené 21. mája 2021.

12. Pfeffer RI, Kurosaki TT, Harrah CH Jr, Chance JM, Filos S. Meranie funkčných aktivít u starších dospelých v komunite. J Gerontol. 1982; 37(3):323-329.

13. Kaufer DI, Cummings JL, Ketchel P, a kol. Validácia NPI-Q, stručná klinická forma neuropsychiatrického inventára. J Neuropsychiatry Clin Neurosci. 2000;12(2):233-239.

14. Weintraub S, Salmon D, Mercaldo N, a kol. Uniform Data Set (UDS) centier Alzheimerovej choroby: batéria neuropsychologických testov. Alzheimer Dis Assoc Disord. 2009;23(2):91-101.

15. Morris JC, Weintraub S, Chui HC, a kol. Uniform Data Set (UDS): klinické a kognitívne premenné a popisné údaje z centier pre Alzheimerovu chorobu. Alzheimer Dis Assoc Disord. 2006;20(4):210-216.

16. McKhann G, Drachman D, Folstein M, Katzman R, Price D, Stadlan EM. Klinická diagnóza Alzheimerovej choroby: správa pracovnej skupiny NINCDS-ADRDA pod záštitou pracovnej skupiny Ministerstva zdravotníctva a sociálnych služieb pre Alzheimerovu chorobu. Neurológia. 1984; 34(7):939-944.

17. Román GC, Tatemichi TK, Erkinjuntti T, a kol. Vaskulárna demencia: diagnostické kritériá pre výskumné štúdie: správa z medzinárodného workshopu NINDS-AIREN. Neurológia. 1993; 43(2):250-260.

18. McKeith IG, Dickson DW, Lowe J a kol.; Konzorcium na DLB. Diagnóza a manažment demencie pomocou Lewyho teliesok: tretia správa konzorcia DLB. Neurológia.

19. Neary D, Snowden JS, Gustafson L a kol. Frontotemporálna lobárna degenerácia: konsenzus o klinických diagnostických kritériách. Neurológia. 1998;51(6):1546-1554.

20. Martínez-Martín P, Gil-Nagel A, Gracia LM, Gómez JB, Martínez-Sarriés J, Bermejo F; Kooperatívna multicentrická skupina. Charakteristiky a štruktúra jednotnej škály hodnotenia Parkinsonovej choroby. Mov porucha. 1994; 9 (1):76-83.

21. Morris JC. Klinické hodnotenie demencie: spoľahlivé a platné diagnostické a stagingové opatrenie pre demenciu Alzheimerovho typu. Int Psychogeriatr. 1997;9(S1)(dodatok 1):173-176.

22. Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Science & Business Media; 2009.

23. Hosmer Jr DW, Lemeshow S, Sturdivant RX. Aplikovaná logistická regresia. John Wiley & Sons; 2013.

24. Cortes C, Vapnik V. Podporno-vektorové siete. Mach Naučte sa. 1995; 20(3):273-97. doi:10.1007/BF00994018

25. Breiman L. Náhodné lesy. Mach Naučte sa. 2001;45(1):5-32. doi:10.1023/A:1010933404324

26. Ho TK. Náhodné rozhodovacie lesy. In: Zborník z 3. medzinárodnej konferencie o analýze a rozpoznávaní dokumentov. IEEE; 1995:278-282.

27. Friedman JH. Stochastické zvýšenie gradientu. Výpočtová analýza štatistických údajov. 2002; 38(4):367-78.

28. Pedregosa F, Varoqaux G, Gramfort A a kol., Scikit-learn: strojové učenie v Pythone. J Mach Learn Res. 2011; 12:2825-2830.

29. Krzanowski WJ, Hand DJ. ROC krivky pre spojité dáta. CRC Press; 2009.

30. Fawcett, T. Úvod do analýzy ROC. Rozpoznávanie vzorov Lett. 2006;27(8):861-874. doi:10.1016/j. Patric.2005.10.010

31. Ranson JM, Kuźma E, Hamilton W, Muniz-Terrera G, Langa KM, Llewellyn DJ. Prediktory nesprávnej klasifikácie demencie pri použití krátkych kognitívnych hodnotení. Neurol Clin Pract. 2019; 9(2):109-117.

32. Bruscoli M, Lovestone S. Je MCI skutočne len skorá demencia: systematický prehľad štúdií konverzie. Int Psychogeriatr. 2004;16(2):129-140.

33. Farias ST, Mungas D, Reed BR, Harvey D, DeCarli C. Progresia mierneho kognitívneho poškodenia k demencii v klinických a komunitných kohortách. Arch Neurol. 2009;66(9):1151-1157.

34. Guan D, Yuan W, Ma T, Khattak AM, Chow F. Nákladovo citlivá eliminácia nesprávne označených tréningových dát. Inf Sci. 2017; 402:{4}}.

35. Brodley CE, Friedl MA. Identifikácia nesprávne označených tréningových údajov.J Artif Intelligence Res.

36. Quinlan JR. Indukcia rozhodovacích stromov. Mach Naučte sa. 1986; 1(1):81-106.

37. Brodley CE, Friedl MA. Identifikácia a odstránenie nesprávne označených prípadov školenia. In: AAAI '96: Zborník z trinástej národnej konferencie o umelej inteligencii. AAAI; 1996:799-805.

38. Brodley CE, Friedl MA. Zlepšenie automatizovaného mapovania krajinnej pokrývky identifikáciou a odstránením nesprávne označených pozorovaní z tréningových údajov. In: IGARSS '96: 1996 International Geoscience and Remote Sensing Symposium. IEEE;1996:1379-1381.