Výkonnosť algoritmov strojového učenia na predpovedanie progresie k demencii u pacientov na klinike pamäti

Kontakt: Audrey Hu Whatsapp/hp: 0086 13880143964 E-mail:audrey.hu@wecistanche.com

Charlotte James, Ph.D.; Janice M. Ranson, Ph.D.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

Abstraktné

DÔLEŽITÉ: Algoritmy strojového učenia by sa mohli použiť ako základ pre klinické rozhodovacie pomôcky na zlepšenie klinickej praxe. CIEĽ Zhodnotiť schopnosť algoritmov strojového učenia predpovedať výskyt demencie do 2 rokov v porovnaní s existujúcimi modelmi a určiť optimálny analytický prístup a počet požadovaných premenných. NÁVRH, NASTAVENIE A ÚČASTNÍCI: Táto prognostická štúdia použila údaje z prospektívnej kohorty 15 307 účastníkov bez počiatočnej demencie na vykonanie sekundárnej analýzy faktorov, ktoré by sa mohli použiť na predpovedanie výskytu demencie. Účastníci sa zúčastnili Národného koordinačného centra pre Alzheimerovu chorobuPamäťkliniky v celých Spojených štátoch medzi 2005 a 2015. Analýzy sa vykonávali od marca do 2. mája021. EXPOZÍCIE: 258 premenných pokrývajúcich domény klinických meraní súvisiacich s demenciou a rizikových faktorov. HLAVNÉ VÝSLEDKY A OPATRENIA: Hlavným výsledkom bola demencia zo všetkých príčin diagnostikovaná do 2 rokov od základného hodnotenia. VÝSLEDKY: Vo vzorke 15 307 účastníkov (priemerný [SD] vek, 72,3 [9,8] rokov; 9129 [60 percent ] žien a 6178 [40 percent ] mužov) bez s demenciou na začiatku, 1 568 (10 percent) dostalo diagnózu demencie do 2 rokov od počiatočného hodnotenia. V porovnaní s 2 existujúcimi modelmi na predpovedanie rizika demencie (tj kardiovaskulárne rizikové faktory, skóre starnutia a výskytu demencie a krátky indikátor skríningu demencie) boli algoritmy strojového učenia lepšie pri predpovedaní demencie zo všetkých príčin do 2 rokov. Algoritmus stromov zosilnených gradientom mal priemernú (SD) celkovú presnosť 92 percent (1 percento), citlivosť 0,45 (0,05), špecifickosť 0,97 (0,01) a plochu pod krivkou 0,92 (0,01) pri použití všetkých 258 premenné. Analýza premennej dôležitosti ukázala, že na dosiahnutie presnosti 91 percent a plochy pod krivkou aspoň 0,89 bolo potrebných iba 6 premenných pre algoritmy strojového učenia. Algoritmy strojového učenia tiež identifikovali až 84 percent účastníkov, ktorí dostali počiatočnú diagnózu demencie, ktorá sa následne zmenila na miernu kognitívnu poruchu alebo kognitívne nepoškodenú, čo naznačuje možnú nesprávnu diagnózu. ZÁVERY A RELEVANTNOSŤ: Tieto zistenia naznačujú, že algoritmy strojového učenia by mohli presne predpovedať výskyt demencie v priebehu 2 rokov u pacientov, ktorí dostávajú starostlivosťPamäťklinikách s použitím iba 6 premenných. Tieto zistenia by sa mohli použiť na informovanie o vývoji a overovaní pomôcok na rozhodovanie vPamäťkliniky.

Úvod

Mnohí pacienti posudzovaní v špecializovaných pracoviskách, ako naprPamäťkliniky, nemajú demenciu pri prvej návšteve.1 Je dôležité rozlišovať medzi pacientmi, u ktorých sa demencia rozvinie v klinicky relevantnom časovom rámci, a pacientmi, u ktorých sa demencia nevyskytuje, pretože tento pohľad možno použiť na uprednostnenie pacientov pri následných vyšetreniach a zásahy. Identifikácia pacientov s vysokým rizikom rozvoja demencie je pre lekárov náročná. Jedným z prístupov je zamerať sa na tých, ktorí majú miernu kognitívnu poruchu (MCI) pri počiatočnom hodnotení, a pozvať týchto pacientov na sledovanie. To však môže viesť k značnej nesprávnej klasifikácii pacientov, ktorí nie sú cieľom sledovania, ale u ktorých sa rozvinie demencia, a pacientov, u ktorých sa zameriavajú ďalšie vyšetrenia, ale u ktorých sa demencia nerozvinie.

Väčšina pacientov na klinike pamäti s MCI neprejde do demencie ani po 10 rokoch, pričom ročná miera konverzie je 9,6 percenta.2 Pomôcky na klinické rozhodovanie môžu zlepšiť schopnosť lekárov odhadnúť začiatok demencie. Na odhad strednodobého a dlhodobého výskytu demencie v rôznych populáciách sú k dispozícii existujúce pomôcky na klinické rozhodovanie. Napríklad skóre rizika kardiovaskulárnych rizikových faktorov, starnutia a výskytu demencie (CAIDE)3 bolo navrhnuté tak, aby predpovedalo riziko rozvoja demencie o 20 rokov u ľudí v strednom veku a Brief Demencia Screening Indicator (BDSI)4 má za cieľ identifikovať starších ľudí. pacientov, aby sa zamerali na kognitívny skríning stanovením ich rizika rozvoja demencie do 6 rokov. Podľa našich vedomostí však nebola vyvinutá žiadna klinická pomôcka na rozhodovanie na predpovedanie výskytu demencie v pamäťových klinikách počas kratšieho klinicky relevantného obdobia. Strojové učenie (ML) umožňuje využívať informácie z veľkých a zložitých súborov údajov. Nedávno sa použila na diagnostiku demencie a predpovedanie rizika.{14}}

Tieto modely však často obsahujú informácie, ktoré nie sú bežne dostupné v bežnej klinickej praxi, ako je pokročilé neurozobrazovanie, genetické testovanie a biomarkery mozgovomiechového moku, čo obmedzuje klinickú aplikáciu na špecializované alebo výskumné prostredia. Skúmali sme, či možno techniky ML použiť na predpovedanie výskytu demencie počas 2-ročného obdobia pomocouPamäťklinické údaje z amerického Národného koordinačného centra pre Alzheimerovu chorobu (NACC). Preskúmali sme tiež minimálny súbor premenných potrebných pre modely ML na dosiahnutie plného diagnostického výkonu.

Metódy

Štúdia NACC získala etické schválenie od inštitucionálnej kontrolnej rady každej lokality predtým, ako mohla poskytnúť údaje, a všetci účastníci poskytli informovaný písomný súhlas. Táto prognostická štúdia sa považovala za vyňatú z inštitucionálneho etického schválenia, pretože sme použili predtým zozbierané neidentifikované údaje. Údaje použité v tejto štúdii sú k dispozícii na požiadanie NACC. Táto štúdia sa uvádza v súlade s pokynmi na podávanie správ Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD). Údaje boli analyzované od marca do mája 2021.

Ukážka štúdie

Použili sme predtým zozbierané údaje zo súboru NACC Uniform Data Set (UDS).10 UDS obsahuje prospektívne kohortové údaje z programu amerického Národného inštitútu pre starnutie Alzheimerovej choroby pre multicentrický kolaboratívny výskum Alzheimerovej choroby a iných neurodegeneratívnych porúch.11 Náš súbor údajov pozostáva údajov z pamäťovej kliniky zozbieraných v období od septembra 2005 do februára 2015 z 30 centier pre Alzheimerovu chorobu v Spojených štátoch. Súbor údajov zahŕňa sociodemografické charakteristiky účastníka a spoluúčastníka, rodinnú anamnézu, funkčný stav,12 behaviorálnych symptómov (hodnotené pomocou výsledkov dotazníka neuropsychiatrického inventára13), batériu neuropsychologických testov,14 a diagnózu klinickej demencie NACC, pridelené každým centrom pre Alzheimerovu chorobu pomocou publikovaných klinických diagnostických kritérií. na základe štandardizovaného klinického hodnotenia UDS. Podrobnosti o diagnostických kritériách prijatých protokolom UDS a súvisiace pokyny boli publikované už skôr.15

Použili sme UDS verzie 1 a 2, ktoré zahŕňajú 32 573 účastníkov pamäťovej kliniky so základným hodnotením. Aj keď sú naše modely navrhnuté tak, aby predpovedali výskyt demencie do 2 rokov, aby sme zohľadnili odchýlky v čase medzi následnými stretnutiami, zahrnuli sme sledovanie, ku ktorému došlo do 29 mesiacov od úvodnej návštevy, aby sme sa uistili, že návšteva bola buď prvá, alebo druhé následné stretnutie.

Výstupná premenná

Výstupnou premennou bola diagnostika demencie zo všetkých príčin v priebehu 29 mesiacov (približne 2 roky) od východiskového hodnotenia. Patria sem podtypy demencie, ako je Alzheimerova demencia, demencia s Lewyho telieskami, vaskulárna demencia a ďalšie zriedkavejšie podtypy. Alzheimerova demencia bola diagnostikovaná podľa kritérií NINCSD-ADRDA,16 vaskulárna demencia bola diagnostikovaná podľa kritérií NINDS-AIREN,17 demencia s Lewyho telieskami (LBD) bola diagnostikovaná podľa tretej správy kritérií Konzorcia Demencia s Lewyho telieskami18 a frontotemporálna demencia bol diagnostikovaný podľa kritérií Nearyho a kolegov z roku 1998.19

Kandidátske predpovede

Zahrnuli sme všetky klinicky relevantné premenné zozbierané počas úvodnej návštevy vo verziách 1 a 2 UDS (eTabuľka 1 v doplnku). Vylúčili sme premenné s hodnotami voľného textu, ako sú názvy liekov, a premenné, ktoré boli u všetkých účastníkov konštantné, ako napríklad počet návštev. Boli vygenerované štyri syntetické premenné, ktoré majú pomôcť s hodnotením premennej dôležitosti (tieto premenné by mali byť zoradené nižšie); 3 z týchto premenných boli permutácie existujúcich premenných (1 binárna, 1 kategorická a 1 numerická premenná) a 1 premenná bola náhodne vygenerovaná z normálneho rozdelenia. Výsledkom bolo celkovo 258 premenných.

Premenné z UDS začlenené do našich modelov zahŕňajú demografické charakteristiky účastníka (15 premenných), demografické charakteristiky spoluúčastníka (7 premenných), rodinnú anamnézu (3 premenné), anamnézu (47 premenných), lieky (21 premenných), fyzickú (12 premenných). ) a neurologické (4 premenné) výsledky vyšetrení, jednotná škála hodnotenia Parkinsonovej choroby20 (UDPRS) (28 premenných), škála hodnotenia klinickej demencie (CDR)21 (8 premenných), funkčný stav (10 premenných), batéria neuropsychologických testov (50 premenných) , škála geriatrickej depresie (17 premenných) a klinické hodnotenie symptómov (32 premenných). Z týchto premenných chýbalo 239 (93 percent ) aspoň u 1 účastníka a všetkým účastníkom chýbala aspoň 1 premenná.

Vývoj modelu

Implementovali sme 4 algoritmy ML22: logistickú regresiu (LR),23 podporný vektorový stroj (SVM),24 náhodný les (RF),25,26 a stromy zosilnené gradientom (XGB)27 (eMethods v doplnku). Tieto algoritmy vykonávajú klasifikačnú úlohu: určujú, či účastník spadá do triedy 0 (predpokladá sa, že zostane bez demencie 29 mesiacov od východiskovej hodnoty) alebo triedy 1 (predpokladá sa, že bude mať demenciu incidentu do 29 mesiacov od východiskovej hodnoty). Klasifikácia je založená na premenných zaznamenaných pri ich prvej (základnej) návšteve kliniky s pamäťou. Na implementáciu algoritmov ML sme použili knižnicu Python sci-kit-learn (Python Software Foundation),28 s 5-násobnou krížovou validáciou (eMethods v doplnku). Chýbajúce hodnoty boli pripočítané vzorkovaním s nahradením z chýbajúcich hodnôt. Všetky spracovania a analýzy údajov boli implementované v Pythone verzie 3.9, NumPy verzie 1.19.4 a sci-kit-learn verzii 0.24.0.

Štatistická analýza

Hodnotenie modelu

Výkonnosť všetkých modelov sme vyhodnotili porovnaním ich celkovej presnosti, citlivosti a špecifickosti pre prahy rozhodovania vopred špecifikované v literatúre (existujúce modely) alebo prah 0,5 (modely ML), ktorý má rovnakú váhu ako falošne pozitívne a falošne negatívne chyby. Oblasť pod krivkou prevádzkovej charakteristiky prijímača (AUC)29 sa použila na zhrnutie výkonu modelu cez všetky možné prahové hodnoty, a teda chybné váženie chýb pri nesprávnej klasifikácii.30 Stredné miery výkonu a SD boli získané pomocou bootstrappingu (eMethods v doplnku).

Porovnanie s existujúcimi modelmi

BDSI a CAIDE sú existujúce modely predikcie rizika demencie, ktoré priraďujú pacientom skóre predstavujúce ich riziko rozvoja demencie v dlhších časových intervaloch. Na odvodenie skóre rizika BDSI a CAIDE sme vybrali premenné z UDS, ktoré najviac zodpovedajú premenným použitým predtým (eTabuľka 2 v doplnku). Výkonnosť našich modelov ML bola porovnaná s výkonnosťou BDSI a CAIDE na predpovedanie 2-ročného výskytu demencie.

Výkon modelu naprieč podtypmi demencie

Demencia môže mať rôzne príčiny, ktoré zodpovedajú rôznym podtypom demencie. Aby sme zhodnotili schopnosť modelov ML identifikovať rôzne podtypy demencie, rozdelili sme prípady demencie na Alzheimerovu demenciu, LBD, vaskulárnu demenciu a ďalšie podtypy demencie. Pomocou týchto 4 stratifikácií sme vypočítali percento správne klasifikovaných účastníkov (skutočne pozitívna miera) a porovnali ROC krivky pre každý model ML.

Skúmanie diagnostickej stability

Je známe, že klinická diagnóza demencie zahŕňa pacientov, ktorí sú na začiatku nesprávne diagnostikovaní (v skutočnosti sú falošne pozitívne aj falošne negatívne chyby).31 Reverziu definujeme ako keď účastník, ktorému bola diagnostikovaná demencia do 2 rokov po prvej návšteve kliniky pre pamäť a následne dostane diagnózu bez demencie (buď MCI alebo nepoškodenú kognitívu) do 2 rokov od diagnózy demencie. Vzhľadom na to, že tieto reverzie sú nestabilné diagnózy a pravdepodobne boli výsledkom nesprávnej diagnózy demencie, skúmali sme presnosť klasifikácie modelov ML na vzorke účastníkov s reverziou (eMethods v doplnku). Použili sme funkciu kumulatívnej distribúcie (CDF) výstupov klasifikačných skóre každého modelu ML na porovnanie účastníkov s reverziou s pacientmi, u ktorých sa vyvinula demencia, a pacientmi, ktorí zostali bez demencie.

Výsledky

Po vylúčení {{0}} účastníkov s diagnózou demencie na začiatku, 4 557 účastníkov, ktorí nemali žiadne následné údaje, a 573 účastníkov, ktorí absolvovali prvé sledovanie viac ako 29 mesiacov po svojej prvej návšteve , posledná analytická vzorka obsahovala 15 307 účastníkov (priemerný [SD] vek, 72,3 [9,8] rokov; 9129 [60 percent ] žien a 6178 [40 percent ] mužov). Charakteristiky vzorky sú uvedené v tabuľke 1. V priebehu 2 rokov od začiatku štúdie dostalo 1568 účastníkov (10 percent) diagnózu demencie. Z 1568 účastníkov, ktorým bola diagnostikovaná demencia, 273 (17 percent ) bolo diagnostikovaných jediným lekárom a 1 216 (78 percent ) bolo diagnostikovaných konsenzuálnym panelom; pre 79 účastníkov (5 percent), zdroj diagnózy nebol špecifikovaný. Kľúčové ukazovatele výkonnosti hodnotiace predikčnú schopnosť každého modelu sú uvedené v tabuľke 2. V porovnaní s existujúcimi modelmi boli modely ML lepšie v schopnosti predpovedať, či sa u jednotlivca rozvinie demencia do 2 rokov, a vo všetkých meraniach prekonali existujúce modely. Všetky modely ML fungovali podobne dobre, pričom XGB mal najväčší výkon pri meraní podľa celkovej presnosti (92 percent) a AUC (priemer [SD], 0,92 [0,01]). Krivka prevádzkovej charakteristiky prijímača pre každý model demonštruje podobnosť medzi modelmi ML a ich nadradenosť v porovnaní s 2 existujúcimi modelmi rizika (obrázok 1).

Výkon modelu naprieč podtypmi demencie

Na posúdenie výkonnosti modelu ML v rôznych podtypoch demencie sme rozdelili populáciu na 4 podtypy demencie: Alzheimerova demencia (1285 účastníkov), LBD (82 účastníkov), vaskulárna demencia (21 účastníkov) a iné podtypy demencie (180 účastníkov). Model LR bol najlepší pri identifikácii Alzheimerovej demencie a iných podtypov, pričom správne klasifikoval 589 účastníkov (46 percent) s Alzheimerovou demenciou a 99 účastníkov (55 percent) s inými podtypmi. Model SVM fungoval najlepšie u účastníkov s LBD, pričom správne klasifikoval 40 účastníkov (49 percent). Všetky modely správne klasifikovali 7 účastníkov (33 percent) s vaskulárnou demenciou. Krivky prevádzkových charakteristík prijímača ukazujú, že všetky modely fungovali približne rovnako dobre na každom podtype (eObrázok 1 v dodatku).

Skúmanie minimálneho počtu premenných

Jednou z potenciálnych nevýhod použitia prístupu ML je veľký počet zahrnutých premenných. Keď sa počet premenných požadovaných modelom zvyšuje, implementácia v klinickom prostredí sa stáva menej praktickou a interpretovateľnosť modelu sa zhoršuje. Aby sme zhodnotili, koľko premenných si každý model ML vyžadoval na dosiahnutie ekvivalentnej prediktívnej sily, akú sme našli pomocou všetkých 258 premenných (tabuľka 2), vyhodnotili sme, ako sa AUC menila s počtom premenných zahrnutých v modeloch. Konkrétne sme zoradili premenné pre každý model tak, že sme ich zoradili v zostupnom poradí dôležitosti (tj diskriminačnej schopnosti každej premennej podľa algoritmu; eMethods v doplnku). Následne sme preškolili každý model so zvyšujúcim sa počtom premenných, počnúc tými najdôležitejšími. Zistili sme, že všetky modely vyžadujú iba 22 premenných na dosiahnutie diagnostického výkonu štatisticky nerozoznateľného od ich optimálneho priemerného výkonu (obrázok 2; eobrázok 2 v dodatku). Syntetické premenné pridané na zabezpečenie platnosti hodnotenia dôležitosti premennej neboli v 22 najlepších premenných pre žiadny model, čo odráža skutočnosť, že po dosiahnutí úplného diagnostického výkonu bolo k dispozícii len málo informácií na silné určenie poradia premenných.

Identifikácia kľúčových rizikových faktorov

Z 22 najdôležitejších premenných pre každý model bolo iba 5 spoločných pre všetky modely (tj klinický úsudok o poklese pamäti, kognitívnych schopností, správania, schopnosti riadiť záležitosti alebo motorických a pohybových zmien; čas na dokončenie testu tvorby trasy Časť B; CDR: zhoršenie orientácie; CDR: zhoršenie domova a koníčkov; a úroveň nezávislosti). Zo zostávajúcich premenných bol 1 0 pár, ktorý mal koreláciu väčšiu ako 0.7, čo naznačuje, že išlo o podobné premenné (eTabuľka 3 v Doplnku). Po zohľadnení tejto korelácie výmenou premenných, ktoré boli vysoko korelované, sme zistili, že existuje 6 vysoko prediktívnych premenných (klinický úsudok o poklese, čas na dokončenie testu vytvárania trás časť B, 3 zložky CDR [orientácia, pamäť a domov a koníčky poškodenie] a úroveň nezávislosti), ktoré boli spoločné pre všetky modely ML (eTabuľka 4 v dodatku). Trénovaním každého modelu iba pomocou týchto premenných sme zistili, že v prípade LR a XGB nedošlo k žiadnemu významnému zníženiu diagnostického výkonu: pri použití tejto základnej sady 6 premenných mali tieto modely strednú (SD) presnosť 91 percent (0 percent ) pre LR a 91 percent (1 percento ) pre XGB a priemernú (SD) AUC 0,89 (0.01) pre LR a 0,89 (0,02) pre XGB (eTabuľka 5 v dodatku).

Diagnostická stabilita

Z 1 568 účastníkov, ktorým bola do 2 rokov diagnostikovaná demencia, sme identifikovali 130 (8 percent ), ktorí prežívali reverziu a ktorí boli pravdepodobne pôvodne nesprávne diagnostikovaní, a preto boli nesprávne označení na účely ML. Zistili sme, že zatiaľ čo reverzie boli hlásené len u 0,8 percenta účastníkov, predstavovali 92 až 109 účastníkov (7 percent -8 percent ) nesprávne klasifikovaných účastníkov, s malým množstvom variácií medzi modelmi (tabuľka 3). Model RF mal najvyššiu diagnostickú stabilitu, správne identifikoval 109 zo 130 účastníkov s reverziou (84 percent) tak, že ich klasifikoval ako predpokladanú bez demencie po 2 rokoch. Aby sme preskúmali diagnostickú stabilitu modelov ML, odstránili sme účastníkov s reverziou počas tréningu (eMethods v doplnku). Po preškolení modelov bez reverzií sme zistili, že RF identifikovala 106 účastníkov, ktorí zažili reverzie (medián [IQR], 82 percent [78 percent -82 percent]), SVM identifikovala 93 účastníkov, ktorí zažili reverzie (medián [IQR], 72 percent [69 percent -74 percent ]) a LR aj XGB identifikovali 92 účastníkov, ktorí zaznamenali reverzie (medián [IQR], 71 percent [68 percent -75 percent]). IQR boli získané bootstrapingom účastníkov, ktorí zažili reverziu.

Aby sme pochopili rozdiel medzi nesprávne klasifikovanými účastníkmi, účastníkmi s reverziou a účastníkmi, u ktorých sa vyvinula demencia bez reverzie, analyzovali sme CDF klasifikačných skóre získaných z každého modelu ML. Zistili sme, že skóre nesprávne klasifikovaných účastníkov a konkrétnych účastníkov s reverziou sa líšilo od účastníkov, u ktorých sa vyvinula demencia, a tých, u ktorých sa demencia nerozvinula (eobrázok 3 v dodatku). CDF klasifikačných skóre pre účastníkov, u ktorých sa nerozvinula demencia, klesli úplne vľavo na každom pozemku, čo naznačuje, že modely ML priradili týmto účastníkom nízku pravdepodobnosť rozvoja demencie. Naopak, pre účastníkov, u ktorých sa vyvinula demencia, CDF padli napravo od grafov: bola im priradená vysoká pravdepodobnosť rozvoja demencie. Pri všetkých modeloch distribúcia skóre pre účastníkov s reverziou klesla naľavo od distribúcie skóre pre účastníkov, u ktorých sa vyvinula demencia, čo znamená, že účastníci s reverziou boli hodnotení ako s nižšou pravdepodobnosťou rozvoja demencie podľa týchto modelov.

Diskusia

V tejto prognostickej štúdii mali algoritmy ML lepšiu prognostickú presnosť v porovnaní s BDSI a CAIDE pri predpovedaní výskytu demencie do 2 rokov od prvého hodnotenia pamäte pacienta. Dva z algoritmov ML boli hodnotené tak, aby dosiahli presnosť 91 percent a AUC 0,89 iba so 6 kľúčovými premennými. Analýzy citlivosti naznačujú, že modely ML by mohli správne klasifikovať vysoký podiel účastníkov, ktorí zažili reverziu a ktorí boli potenciálne nesprávne diagnostikovaní do 2 rokov od ich počiatočnej návštevy. Táto štúdia má niekoľko silných stránok, vrátane veľkej vzorky pacientov pochádzajúcej z viacerých pamäťových kliník v Spojených štátoch, širokého spektra použitých techník ML, porovnávania s existujúcimi rizikovými modelmi a skúmania diagnostickej stability a pravdepodobných nesprávnych diagnóz.

Predchádzajúce štúdie o použití ML na predpovedanie rizika demencie sa zamerali na konverziu z nepoškodenej kognície na Alzheimerovu demenciu alebo MCI,6,8 alebo konverziu z MCI na Alzheimerovu demenciu.5 Tieto prístupy sú menej užitočné v klinickom prostredí, pretože vylučujú iné typy demencie5,6,8 alebo pacienti, ktorí sú spočiatku kognitívne bez poškodenia.5 Údaje použité v týchto štúdiách zahŕňali skeny pozitrónovou emisnou tomografiou5,8 a biomarkery mozgovomiechového moku,8 z ktorých nie sú bežne dostupné v prostredí pamäťovej kliniky. Štúdia Lin et al6 to prekonala použitím údajov NACC na nájdenie súboru 15 neinvazívnych klinických premenných na posúdenie rizika konverzie z nepoškodenej kognície na MCI v období 4-roka. Konštrukt MCI však zostáva do istej miery kontroverzný32 a miery konverzie medzi MCI a demenciou sú často nízke.32,33 Naše modely ML dopĺňajú tieto analýzy a majú výhodu v tom, že zahŕňajú iba 6 kľúčových premenných počas klinicky relevantného časového rámca a predpovedajú výsledok demencie zo všetkých príčin.

Z existujúcich modelov skúmaných v našej štúdii bol model CAIDE najmenej presný v predpovedaní rizika demencie počas 2 rokov, čo nie je prekvapujúce, keďže bol vyvinutý na predpovedanie dlhodobého rizika demencie u dospelých v strednom veku na oveľa dlhšie obdobie. obdobie sledovania 20 rokov. BDSI fungoval lepšie ako CAIDE, čo pravdepodobne odráža, že bol navrhnutý na použitie u starších dospelých počas miernejšieho obdobia sledovania 6 rokov. Všetky modely ML však prekonali tieto existujúce modely. Použitím všetkých premenných bol XGB najsilnejším prístupom ML pri predpovedaní pacientov, u ktorých bola pravdepodobnosť diagnostikovania demencie do 2 rokov, čo naznačuje, že spôsob, akým sú nové rozhodovacie stromy trénované na opravu chýb posledných troch, vedie k marginálnemu výkonu. zisk. Zdá sa však, že XGB je prístup, ktorý je najmenej schopný identifikovať účastníkov, ktorí zažili reverziu, tj tých, ktorým bola pôvodne diagnostikovaná demencia do 2 rokov a táto diagnóza bola zvrátená do 2 rokov od počiatočnej diagnózy.

Výkonnosť modelov ML môže byť značne znížená nesprávne označenými trénovacími údajmi.34 Vylúčenie nesprávne označených trénovacích údajov nie vždy zlepší výkon.35 Keď sa úroveň šumu v trénovacích údajoch zvyšuje, hodnota vylúčenia alebo zníženia tohto hluku klesá, ak rovnaký šum je prítomný aj vo validačných údajoch.36 Filtrovanie tréningových údajov teda môže dokonca znížiť údaje o neplatnosti výkonu, ako sa zistilo v tejto štúdii. Ak je však úroveň nesprávneho označenia nižšia ako približne 20 percent až 40 percent, odstránenie nesprávne označených údajov môže zlepšiť presnosť údajov validácie, aj keď to zahŕňa nesprávne označené údaje.35,37,38 Toto ilustruje dôležitosť skúmania diagnostickej stability pri školení a validačné údaje: dokonca aj štandardné údaje kritéria obsahujú chyby.

Pozorovaná miera reverzie (8 percent) bola podobná ako v štúdii z roku 2019 založenej na inej populácii v USA.31 V našej štúdii sa zistilo, že percento falošne pozitívnych výsledkov kolíše od 7 percent do 19 percent v závislosti od kognitívnej použité hodnotenie. Pokiaľ je nám známe, toto je prvá analýza potenciálnej nesprávnej diagnózy v NACC UDS a naznačuje, že používanie ML ako pomôcky pri klinickom rozhodovaní má potenciál znížiť chybnú diagnózu falošne pozitívnych výsledkov až o 84 percent. Vzhľadom na to, že pacienti, u ktorých dôjde k reverzii, sú z diagnostického hľadiska hraniční, z klinického hľadiska môže byť rozumné, aby ich aj tak sledovali, keďže existujú dôvody na klinické obavy. XGB teda môže byť najlepším modelom pre klinické rozhodovanie. Alternatívne môže byť ešte užitočnejší súborný prístup, ktorý vytvára sekundárne predpovede o pravdepodobnej diagnostickej stabilite a potenciáli nesprávnej klasifikácie.

Obmedzenia

Táto štúdia má niekoľko obmedzení. Po prvé, CAIDE aj BDSI boli vyvinuté s použitím odlišných populácií ako v tejto štúdii. Nie všetky premenné použité na vývoj týchto modelov mali presný ekvivalent v UDS, čo mohlo ovplyvniť ich výkonnosť v tomto súbore údajov. Po druhé, metóda použitá na imputáciu údajov môže viesť k chybe imputácie. Konkrétne, imputácia nahrádza všetky chýbajúce hodnoty číselnou hodnotou, avšak niektoré hodnoty chýbajú kvôli ich vzťahu s inou hodnotou; preto skutočnosť, že nejaká hodnota chýba, je informatívna. Avšak zatiaľ čo účastníci mali v priemere 14 percent chýbajúcich údajov, 6 identifikovaných kľúčových premenných chýbalo v priemere 1 percentu účastníkov. Po tretie, hoci naša štúdia použila veľkú vzorku účastníkov pamäťovej kliniky v Spojených štátoch, vďaka čomu sú naše výsledky vysoko aplikovateľné na toto prostredie, rozsah, v akom sa tieto výsledky zovšeobecnia na iné populácie, nie je známy.

Závery

Táto prognostická štúdia zistila, že modely ML prekonali existujúce modely predikcie rizika demencie a môžu mať potenciál zlepšiť predikciu demencie v priebehu 2 rokov na pamäťových klinikách. Šesť kľúčových faktorov pre riziko demencie identifikovaných v tejto štúdii môže mať potenciál zlepšiť klinickú prax na pamäťových klinikách, ak sa začlenia do budúcich pomôcok klinického rozhodovania.