Microsoft Word – Hlboké vzdelávanie verzus tradičné modely_Abdel Hai_Záverečná časť. 2. časť

Na prípravu údajov pre modely strojového učenia sa vykonali nasledujúce techniky predbežného spracovania údajov.

Dáta a pamäť spolu úzko súvisia. V modernej spoločnosti dostávame každý deň veľké množstvo informácií a dát, vrátane textu, obrázkov, videí atď. Ako efektívne spracovať a usporiadať tieto dáta si vyžaduje silnú pamäť.

Na jednej strane nám dáta môžu poskytnúť podporu pamäte. Keď sa napríklad naučíme nové poznatky, dokážeme rýchlejšie a lepšie porozumieť a zvládnuť vedomostné body tým, že si zapamätáme príslušné údaje a fakty. Takáto metóda učenia nám môže pomôcť vybudovať silnú pamäť a udržať si schopnosť ovládať vedomosti po dlhú dobu.

Na druhej strane nám dáta môžu pomôcť trénovať a zlepšovať pamäť. Rôznymi metódami trénovania pamäti môžeme flexibilne využívať dáta na trénovanie pamäti, do určitej miery zlepšiť našu pamäťovú schopnosť a tým sa lepšie prispôsobiť vývoju spoločnosti a potrebám práce a života.

Je vidieť, že vzťah medzi dátami a pamäťou je veľmi úzky a dôležitý. Len aktívnym a efektívnym spracovaním a využívaním dát môžeme lepšie využívať naše pamäťové schopnosti a dosahovať lepšie výsledky. Preto by sme mali aktívne liečiť vzťah medzi dátami a pamäťou, robiť príslušné školenia a aplikácie a neustále zlepšovať svoje schopnosti. Je vidieť, že potrebujeme zlepšiť pamäť a Cistanche deserticola dokáže výrazne zlepšiť pamäť, pretože Cistanche deserticola dokáže regulovať aj rovnováhu neurotransmiterov, ako je zvýšenie hladín acetylcholínu a rastových faktorov. Tieto látky sú veľmi dôležité pre pamäť a učenie. Okrem toho Mäso môže tiež zlepšiť prietok krvi a podporiť dodávku kyslíka, čo môže zabezpečiť, že mozog dostane dostatok živín a energie, čím sa zlepší mozgová vitalita a vytrvalosť.

Kliknite na vedieť spôsoby, ako zlepšiť funkciu mozgu

Kategorické znaky boli zakódované; spojité a diskrétne znaky boli normalizované pomocou min-maxnormalizačných techník,32 definovaných ako:

Pre každú z nasledujúcich funkcií bol pri každom stretnutí rôzny počet nahrávok. Namiesto toho boli vypočítané nasledujúce štatistické hodnoty. Pre diastolický a systolický krvný tlak sme vypočítali minimálne, maximálne a stredné hodnoty.

Pre BMI boli použité minimum, maximum, priemer a koeficient rozptylu. Tieto štatistické hodnoty boli normalizované a použité ako vlastnosti. Okrem toho sa počet funkcií pri stretnutiach líšil v dôsledku rôzneho počtu laboratórnych testov, diagnóz a postupov. Stretnutie môže mať viacero diagnóz a/alebo kódov procedúr alebo žiadne.

Aby sa to napravilo a zjednotila sa dimenzionalita vektorov znakov, na zlepšenie učenia modelov sa použili nasledujúce techniky reprezentácie údajov. Na diagnostiku a kódy procedúr sme použili reprezentáciu jednorazových kódovaní, kde každá hodnota bola nastavená na 0 alebo 1, čo značí, či kód diagnostiky/postupu pre každé stretnutie existoval alebo nie. Túto techniku ​​reprezentácie údajov sme mierne upravili pre laboratórne testy, pretože každý test mal súvisiaci výsledok.

Preto sme nahradili 1, ktorá indikovala existenciu kódu, laboratórnym výsledkom. Laboratórne výsledky boli normalizované pomocou rovnice 1. Pretože výsledky boli rôznych jednotiek a mier, pri normalizácii laboratórnych výsledkov sme uvažovali minimum a maximum pre každý laboratórny kód zvlášť. Táto technika vytvorila vysokorozmerné riedke pole vďaka mnohým jedinečným kódom.
Potom sme použili algoritmus Singular Value Decomposition (SVD), aby sme sa naučili vkladanie a zníženú dimenzionalitu. SVD sa použilo, pretože nepredpokladá štvorcovú maticu ako vstup a je lepšie pre riedke údaje.33 Laboratórne testy boli zredukované na 50 komponentov, postup kódy sa zredukovali na 45 komponentov a diagnostické kódy sa znížili na 25 komponentov.

Skúmali sa rôzne komponenty a pozoroval sa súčet pomeru rozptylu, aby sa určil optimálny počet komponentov na zníženie rozmerov. Všetky funkcie boli pri každom stretnutí zreťazené vo vektore prvkov. SVD bolo aplikované pri každom stretnutí samostatne, aby sa zmenšili a zjednotili rozmery; rozmer stretnutí bol znížený na 50 prvkov na stretnutie.

Potom sme zreťazili všetky stretnutia pre daného pacienta vo vektore znakov zoradených postupne podľa dátumu prijatia. Distribúcia tried bola 27 511 pacientov bez readmisie (negatívna trieda) a 9 130 pacientov, ktorí boli opätovne prijatí (pozitívna trieda).

Experimentálne prístupy

Uskutočnili sme rozsiahle experimenty s použitím údajov EHR na riešenie nasledujúcich cieľov:

- Predpovedajte, či budú pacienti s cukrovkou znovu prijatí do 30 dní

- Porovnajte výkonnosť používaných metód DL s niekoľkými tradičnými modelmi

- Analyzujte, koľko predchádzajúcich stretnutí (tj historických údajov) v priebehu 2 rokov je optimálne na predpovedanie readmisie

- Vyhodnoťte účinky začlenenia všetkých laboratórnych testov do údajov v porovnaní s učením sa z podskupiny testov, ktoré vybral odborník v danej oblasti

V tejto štúdii modely DL berú ako vstup 3-3-rozmerný tenzor � x � x � na reprezentáciu f funkcií pre každé z e stretnutí pre p pacientov. Naproti tomu v tradičných modeloch sú údaje zvyčajne reprezentované ako 2-rozmerná matica, pričom všetky funkcie všetkých stretnutí zodpovedajú jedinému pacientovi zreťazené v dlhom vektore znakov.

Rozmernosť každého stretnutia bola znížená a zjednotená na 50 prvkov, takže v hlbokom modeli má veľkosť 50. V tradičnom modeli vektor prvkov pozostáva zo všetkých stretnutí, a preto má veľkosť � x 50.

Pacienti majú rôzny počet stretnutí, čo vedie k nejednotným rozmerom; preto boli vektory prvkov vyplnené 0, aby sa dosiahol jednotný tvar. Reprezentácia údajov použitá ako vstup pre DL a tradičné modely je znázornená na ľavom a pravom paneli na obrázku 1.
Na modelovanie heterogénnych sekvenčných údajov sme vyvinuli 2 varianty modelov DL a porovnali sme oba s niekoľkými tradičnými modelmi používanými ako východiskové hodnoty. Modely DL použité v našej štúdii boli: 1) 1-sieť s dlhou krátkodobou pamäťou (LSTM), ktoré sú variantom rekurentnej neurónovej siete (RNN), ktorá je schopná učiť sa sekvenčné údaje v závislosti od poradia32; a 2) Bidirectional Gated Recurrent Unit (GRU), čo je ďalší variant RNN.

Tradičné modely použité ako základné línie boli: 1) Random Forest (RF), súborová metóda na klasifikáciu a regresiu; počas tréningu konštruuje viacero rozhodovacích stromov;30 RF často dosahuje najmodernejší výkon v existujúcej literatúre o predpovediach s použitím medicínskych údajov. 2) Viacvrstvový perceptrón (MLP), jednoduchý model neurónovej siete, ktorý neberie do úvahy časové informácie.

MLP pozostáva z viacerých vrstiev perceptrónu, vykonáva učenie spätného šírenia a využíva nelineárnu aktivačnú funkciu.{1}} Logistická regresia (LR), interpretovateľný model, ktorý sa často používa v existujúcej literatúre o predpovediach readmisie a používa sa na lekárske údaje; a 4) AdaBoost, ktorý je menej náchylný na preťaženie, pretože jeho vstupné parametre nie sú spoločne optimalizované.

DL modely boli implementované pomocou "Keras" Python knižníc, vysokoúrovňového API "TensorFlow". Knižnica "Scikit-learn" bola použitá na implementáciu tradičných modelov v Pythone.

Architektúra navrhovaného modelu, LSTM, obsahuje 128 neurónov, sekvenčnú vrstvu, vrstvu pretvorenia, ktorá bola použitá na pretvorenie vstupu na 3-rozmerný tenzor, a maskovaciu vrstvu s hodnotou masky 0 slúži na preskočenie časových krokov, pre ktoré údaje chýbali.

Keďže sa na zjednotenie rozmerov vykonalo vyplnenie pomocou 0s, použila sa maskovacia vrstva, aby sa predišlo akémukoľvek výpočtu s chýbajúcimi hodnotami vo všetkých vrstvách nasledujúcich po maskovacej vrstve, a preto sa chýbajúce hodnoty počas učenia nezohľadnili.

Okrem toho bol medzi skrytú a výstupnú vrstvu pridaný výpadok. Využitie tejto techniky na náhodný výber daného percenta, ktoré sa má klesnúť, je bežnou technikou regularizácie, ktorá pomáha modelu učiť sa všeobecné vzorce v údajoch.

RNN je variant neurónových sietí, ktoré pozostávajú zo skrytých neurónov, ktoré sú schopné analyzovať časové údaje EHR.32 RNN má rovnakú štruktúru ako základná neurónová sieť, ale neuróny v rovnakej vrstve sú prepojené, čo umožňuje neurónom učiť sa z rovnakých susedných vrstiev, okrem učenia sa z výstupov predchádzajúcich vrstiev a vstupných údajov. Neuróny RNN teda zahŕňajú dva zdroje vstupov, súčasnosť a nedávnu minulosť. Proces učenia je definovaný ako:

Na výpočet hodnoty �" skrytého neurónu � sa použije nelineárna transformačná funkcia ReLU na váženú �hodnotu jeho ľavého skrytého neurónu �"#$ a váženú � hodnotu jeho vstupu �".

Predpovede sa počítajú pomocou asigmoidnej funkcie váženého súčtu všetkých skrytých neurónov s pridanou odchýlkou. Nevýhodou RNN je, že trpí problémom miznúceho gradientu, čo znamená, že váhy zostávajú nezmenené, čo sťažuje konvergenciu modelu, a preto sa model ťažko učí.

Na vyriešenie tohto problému bola zavedená vrstva LSTM, v ktorej sú sigmoidné neuróny RNN nahradené komplexnejšou štruktúrou krátkodobej pamäte. LSTM zdieľa rovnaké váhy medzi vrstvami, čo znižuje počet parametrov, ktoré sieť počíta.

GRU je alternatívne riešenie pre problém s prechodom. Nahrádza jednoduchý neurón hradlovou jednotkou, ktorá má menej parametrov ako neuróny LSTM, pretože nemá výstupnú bránu.33

For more information:1950477648nn@gmail.com