AttentionMNIST: Súbor údajov sledovania pozornosti po kliknutí myšou na rozpoznávanie ručne písaných čísel a abecedy

Viaceré modely založené na pozornosti, ktoré rozpoznávajú objekty prostredníctvom sledu pohľadov, hlásili výsledky rozpoznávania ručne písaných číslic. Nie sú však k dispozícii žiadne údaje sledovania pozornosti na rozpoznávanie ručne písaných číslic alebo abecedy. Dostupnosť takýchto údajov by umožnila hodnotiť modely založené na pozornosti v porovnaní s ľudskou výkonnosťou. Zhromažďujeme údaje sledovania pozornosti pri kliknutí myšou od 382 účastníkov, ktorí sa pokúšajú rozpoznať ručne písané číslice a abecedy (veľké a malé písmená) z obrázkov prostredníctvom postupného vzorkovania. Obrázky z referenčných súborov údajov sú prezentované ako podnety. Zozbieraný súbor údajov s názvom AttentionMNIST pozostáva zo sekvencie vzorových umiestnení (kliknutí myšou), prstanovené štítky triedy pri každom odbere vzoriek a trvanie každého odberu vzoriek. Naši účastníci v priemere pozorujú iba 12,8 % obrazu na rozpoznanie. Navrhujeme základný model na predpovedanie miesta a triedy (tried), ktoré si účastník vyberie pri ďalšom odbere vzoriek. Keď sú vystavené rovnakým stimulom a experimentálnym podmienkam ako naši účastníci, vysoko citovaný model posilnenia založený na pozornosti zaostáva za ľudskou efektívnosťou.

čínsky cistanchebylina- Predchádzajte výrobkom proti Alzheimerovej chorobe

Modely strojového učenia (ML), ktoré rozpoznávajú objekty prostredníctvom sekvencie pohľadov, získali v posledných rokoch záujem vďaka svojej škálovateľnosti a efektívnosti. Mnohé z týchto modelov, ako napríklad 1–7, uviedli experimentálne výsledky na referenčnom súbore údajov MNIST na rozpoznávanie ručne písaných čísel. Bohužiaľ nie sú k dispozícii žiadne údaje o sledovaní pozornosti pre MNIST. To bráni hodnoteniu modelov založených na pozornosti v porovnaní s ľudským výkonom. Do tejto medzery sme sa dostali zhromaždením súboru údajov od dospelých účastníkov, ktorí sa pokúšali rozpoznať ručne písané číslice a abecedy z obrázkov pomocou postupného vzorkovania. Na rozdiel od sledovania pozornosti pri pohybe očí (emAT) účastník klikne na miesto na obrázku, ktoré chce vidieť (forma sledovania pozornosti pri kliknutí myšou (mcAT)). Hneď potom vyberie triedu (triedy), do ktorej by mohol objekt na základe svojich doterajších pozorovaní patriť. Pri každej vzorkovacej epizóde teda naše údaje pozostávajú z vybraného umiestnenia obrázka, predpovedaných označení triedy a času od poslednej epizódy účastníkom. Po každom obrázku dostane účastník odmenu na základe jeho výkonu (presnosti a efektivity).

Výhody cistanche tubulosa-Anti Alzheimerova choroba

Výhody mcAT oproti emAT pre rozpoznávanie ručne písaných číslic/abecedy.

(1) mäso obsahuje výraznú intra- a interpersonálnu variabilitu v mieste fixácie, najmä pre statické podnety (obrazy)8,9. Na dosiahnutie štatisticky významných záverov je teda potrebné veľké množstvo údajov o fixácii oka. mcAT nie je citlivý na niektoré zo zdrojov technického šumu, ktoré sú spoločné pre údaje zo sledovania očí10. (2) Pohyby očí môžu byť výsledkom dobrovoľných aj nedobrovoľných mechanizmov11. Na uľahčenie rozhodovania závislého na úlohe poskytujeme účastníkom adekvátny čas, kontext a posilňujúce signály, ktoré môžu byť prezentované aj modelu ML. (3) Presnosť a presnosť údajov emAT závisí od zariadenia na sledovanie pohybu očí, zatiaľ čo v prípade údajov mcAT je to nezávislé od akéhokoľvek zariadenia. (4) Je výzvou synchronizovať pohyby očí s výberom triedy. Aby sme to prekonali, v našom prípade sa miesto odberu vzoriek a trieda (triedy) vyberú v rovnakej epizóde. (5) Nakoniec, naša metóda umožňuje zber údajov pomocou Amazon Mechanical Turk (MTurk), ako je in12,13, čo je nákladovo a časovo efektívne a ľahko reprodukovateľné.

Príspevky.

Zhromažďujeme súbor údajov mcAT s názvom AttentionMNIST pomocou MTurk od 382 účastníkov, ktorí sú odmenení za presné a efektívne rozpoznávanie ručne písaných číslic a abeced (veľké a malé písmená) z obrázkov prostredníctvom postupného vzorkovania. Obrázky z referenčných súborov údajov (MNIST, EMNIST) sú prezentované ako podnety. V priemere je zaznamenaných 169,1 odpovedí na triedu čísel/abecedy. Pomocou tohto súboru údajov ukazujeme nasledovné: • V priemere účastníci vyžadujú 4,2, 4,7 a 4,9 vzoriek na rozpoznanie číslic, veľkých a malých písmen, čo zodpovedá iba 11,3 %, 13,4 % a 13,7 % plochy obrázka. . Presnosť klasifikácie sa zvyšuje s niekoľkými vzorkami. • Model prezentovaný ako základná línia dokáže predpovedať triedu (triedy) a umiestnenie, ktoré si účastník vyberie pri ďalšej epizóde odberu vzoriek, s presnosťou 74,4 % a 67,7 %, pričom obe sú spriemerované zo všetkých odberov vzoriek a súborov údajov. Presnosť predikcie triedy sa zvyšuje a presnosť predikcie polohy klesá so zvyšujúcim sa počtom vzoriek. • Pri vystavení rovnakým stimulom a podmienkam ako naši účastníci, vysoko citovaný model rekurentnej pozornosti (RAM)3 vyžaduje 3,7, 8,5 a 7,6 vzoriek na rozpoznanie číslic, veľkých a malých písmen, čo zodpovedá 8,9 % , 21.{31}} %, 18,7 % plochy obrázka. Ostatné modely posilňovania založené na pozornosti (napr. 1,2,4,5,7,14) môžu byť podobne hodnotené v porovnaní s ľudským výkonom.

Doplnok Cistanche v mojej blízkosti – Zlepšenie pamäte

Kliknutím sem zobrazíte produkty Cistanche zlepšujúce pamäť a prevenciu Alzheimerovej choroby

【Požiadať o viac】 E-mail:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Súvisiaca práca

Časová sekvencia kliknutí myšou v mcAT je analogická s dráhou skenovania pohybu očí10. mcAT môže účinne nahradiť emAT, pretože spolu významne korelujú10, 12, 13, 15–17. V štúdiách mcAT sa použili rôzne druhy stimulov, ako sú obrázky živých a neživých objektov10, obrázky prírodných scén12,13, statické webové stránky13, rozloženia stránok vyhľadávania16 a dva zoznamy alfanumerických reťazcov na vizuálne porovnanie17. mcAT sa však nepoužíval na úlohy ručnej klasifikácie podľa čísel/abecedy ani na hodnotenie modelov klasifikácie založených na pozornosti. Štúdie mcAT používali funkcie, ako je čas do kontaktu, relatívna frekvencia fixácie v oblastiach záujmu (AOI), relatívny podiel subjektov, ktoré klikli aspoň raz v AOI10, počet fixácií na test, refixácia v rámci testov, doby zotrvania a skenovacie dráhy17 , fixačné mapy12,13, AOI a vzor toku informácií16. Postupnosť časovo označených miest kliknutia a predpovedané označenia tried predstavujú nespracované údaje potrebné na vyhodnotenie účinnosti a presnosti modelov založených na pozornosti alebo ľudí pri klasifikačných úlohách. Z týchto údajov možno odvodiť rôzne vlastnosti. Náš súbor údajov mcAT s viacerými výhodami oproti údajom o sledovaní očí vypĺňa zásadnú medzeru vo výskume modelov založených na pozornosti v AI, ML a ďalších oblastiach. Náš súbor údajov umožní hodnotiť modely založené na pozornosti v porovnaní s ľudskou výkonnosťou. Okrem iného to uľahčí vývoj efektívnych systémov optického rozpoznávania znakov v reálnom čase, ktoré majú široké využitie v praxi (pozri napríklad18–20). Princípy, ktorými sa riadia vizuálne fixácie, možno predpokladať a testovať pomocou nášho súboru údajov. Úspešné princípy možno preniesť do vývoja systémov pre úlohy vizuálneho rozpoznávania v reálnom svete, kde je kľúčovým problémom efektívnosť, ako napríklad pri autonómnom riadení.

Údaje

Naše údaje pozostávajú zo sekvencie T epizód pre každého účastníka. Údaje z každej epizódy pozostávajú z (1) polohy na obrázku, na ktorú účastník klikol (jedno kliknutie na obrázok na epizódu), (2) triedy (tried) vybratej účastníkom a (3) času, ktorý účastník strávil účastník zaregistrovať aktuálnu vzorku (tj čas, ktorý uplynul medzi posledným a aktuálnym kliknutím na obrázok). Táto časť vysvetlí náš proces zberu údajov vrátane výberu stimulov, účastníkov, vizuálnych úloh, hodnotenia výkonu a filtrovania údajov.

Výber stimulov. Stimuly sa vyberajú z obrázkov v dvoch referenčných súboroch údajov: (1)

Množina údajov MNIST21 pozostáva zo 7 0, 000 označených obrázkov (28 × 28 pixelov) s 10 ručne písanými číslicami {0, 1, ..., 9}. (2)

Dátový súbor EMNIST22 pozostáva zo 145 600 obrázkov (28×28 pixelov) ručne písaných anglických abecied veľkými a malými písmenami, ktoré tvoria vyváženú triedu. Všetky obrázky sú označené jednou z 26 tried {a, b, ..., z}. Štítok s veľkými alebo malými písmenami však nie je spojený so žiadnym obrázkom. Z každej kategórie vyberáme 15 dobre tvarovaných číslic z MNIST a 15 dobre tvarovaných abecied, každú z množín údajov EMNIST s veľkými písmenami a malými písmenami EMNIST. Dobre vytvorená číslica alebo abeceda je podobná norme svojej triedy. Preto uvádzame podnety zo súboru 15 (10 + 26 + 26)=930 jedinečných obrázkov, pričom 15 obrázkov patrí do každej zo 62 tried. Správne vytvorených 930 obrázkov sa vyberá takto:

Krok 1: Normalizujte každý obrázok pomocou min-max a nastavte intenzitu medzi 0 a 1.

Krok 2: Označte dobre tvarované obrázky EMNIST veľkými alebo malými písmenami. Pre každú triedu abecedy sa ručne vyberie a označí správne vytvorená abeceda z obrázkov veľkých aj malých písmen. Vypočíta sa kosínusová podobnosť všetkých obrázkov patriacich do tejto triedy s dvomi označenými obrázkami. Snímkam, ktoré sú nad prahom kosínusovej podobnosti (empiricky vybraté ako 0.8), sa priradí štítok s veľkými alebo malými písmenami.

Krok 3: Vypočítajte priemer obrázkov patriacich do každej triedy. Priemerný obraz triedy tvorí jej normu. Obrázok je vhodný ako stimul, ak je jeho kosínusová podobnosť s priemerným obrázkom svojej triedy väčšia ako empiricky určená prahová hodnota (0,7 pre MNIST, 0,75 pre EMNIST).

Krok 4: Spomedzi vhodných obrázkov sa manuálne vyberie 15 obrázkov z každej triedy podľa toho, ako dobre sú sformované. Každý obrázok, pôvodne 28 × 28 pixelov, sa zmenší na 27 × 25 odstránením pixelov v blízkosti hraníc, pretože nemajú žiadne zmeny intenzity. Priemer týchto 15 obrázkov sa vypočíta pre každú zo 62 tried. Tieto stredné obrázky označujeme ako I1, I2, ..., In pre n tried v každom súbore údajov.

Účastníci.

Celkovo sa našej štúdie zúčastnilo 382 odlišných dospelých jedincov. Neboli použité žiadne výberové kritériá. Účastník mohol odpovedať na viacero obrázkov. Pre každú zo 62 tried bolo zaznamenaných priemerne 169,1 odpovedí.

Výhody cistanche tubulosa -Proti Alzheimerovej chorobe

Vizuálna úloha.

Rozhranie MTurk pre našu vizuálnu úlohu je znázornené na obr. 1. Plátno s veľkosťou 270×250 vždy zobrazuje obrázok na pozadí s nízkou intenzitou. Obrázky pozadia a podnetov sa desaťkrát prevzorkujú na rozlíšenie 270 × 250. Stred plátna je zarovnaný so stredom obrázkov. Pozadie Pozadie je na začiatku priemerom všetkých obrázkov v súbore údajov, z ktorých sa čerpá stimul. Po prvej epizóde je pozadie priemerom všetkých obrázkov zo skupiny tried vybraných účastníkom v poslednej epizóde. V reálnom svete sa kontext pre umiestnenie, veľkosť a orientáciu číslice alebo abecedy získava z písma v jej susedstve, ktoré tu chýba. Keď boli naše experimenty vykonávané s prázdnym pozadím, účastníci často vzorkovali miesta obrazu, ktoré neobsahovali žiadnu časť objektu. Toto správanie bolo obsiahnuté prezentáciou stredného obrázka vybranej triedy (tried) na pozadí s nízkou intenzitou a zmenšením veľkosti všetkých obrázkov MNIST a EMNIST z 28 × 28 pixelov na 27 × 25. Zakaždým, keď si účastník vyberie miesto na plátne kliknutím naň, zobrazí sa náplasť 50 × 50 pixelov so stredom v tomto mieste z obrázka stimulu. Raz odhalený patch sa bude zobrazovať až do poslednej epizódy. Úloha účastníka pozostáva z troch krokov v každej epizóde t (t=1, ..., T):

Krok 1: Kliknutím na ľubovoľné miesto na plátne 270 × 250 zobrazíte záplatu, ktorú chce otestovať. Akceptuje sa iba prvé kliknutie.

Krok 2: Rozpoznajte číslovku/abecedu zo všetkých doteraz pozorovaných vzoriek. Účastník si môže vybrať viacero tried a bude si musieť vybrať aspoň jednu triedu zo zoznamu tried zobrazeného pod plátnom.

Krok 3: Pokračujte kliknutím na tlačidlo „Ďalej“ v dolnej časti obrazovky. Na presné a rýchle odvodenie triedy si účastník bude musieť vybrať miesta uvážlivo na základe svojich pozorovaní až do aktuálnej epizódy. Pre epizódu nie je časový limit. Celkový čas T epizód snímky však obmedzujeme na šesť minút. Vybrali sme T=12, pretože vysoko citované práce o rozpoznávaní alebo generovaní rukopisu na základe pozornosti použili menej ako 12 pohľadov (napr. RAM3 dokázala rozpoznať čísla MNIST do 7 pohľadov, DRAW23 mohla generovať čísla MNIST do 11 pohľadov) a ľudia dokážu rozpoznať ručne písané číslice a abecedy oveľa menej ako 12 pohľadmi.

Hodnotenie výkonu. Účastníkovi sa pridelí skóre na základe jeho presnosti a efektívnosti z hľadiska počtu pozorovaných vzoriek. Nech je to súbor tried, ktoré si vybral v ktorejkoľvek epizóde t. Desať, jeho skóre v t je:

Obrázok 1. Naše rozhranie MTurk z pohľadu účastníka. Je zobrazené druhé vzorkovanie pre veľkú abecedu EMNIST.

kde |.| označuje mohutnosť množiny. Celkové skóre udelené v T epizódach je h {{0}} T t=1 Pt. Preto maximálny počet bodov v T epizódach je T, ak si vždy vyberie len správnu triedu. Minimálne skóre v T epizódach je nula, ak si vždy vyberie sadu tried, ktoré nezahŕňajú správnu triedu. Takže 0 Menšie alebo rovné h Menšie alebo rovné T. Čím skôr účastník vyberie správnu triedu, tým vyššie bude jeho skóre. Tento skórovací mechanizmus teda berie do úvahy presnosť rozpoznávania a účinnosť vzorkovania. Pokúšať sa maximalizovať skóre výberom iba jednej triedy z úplne prvej epizódy bude riskantné, pretože ak nejde o správnu triedu, bude udelené nulové skóre, zatiaľ čo skóre vyššie ako nula bude udelené, ak si účastník vyberie viacero tried ( dokonca všetky triedy), ktoré zahŕňajú správnu triedu. To bude motivovať účastníka reagovať na základe pravdepodobných tried v jeho mysli pri akejkoľvek epizóde. Skóre udelené pri každej epizóde sa zverejní až po dokončení T epizód, aby sa účastníkovi neposkytla žiadna rada. V MTurk je odmena, ktorú dostane účastník za obrázok, úmerná jeho celkovému skóre, h.

Filtrovanie údajov.

Ak je skóre účastníka v poslednej (tj T-tej) epizóde pre stimulačný obrázok nulové, jeho údaje zaznamenané pre tento obrázok sa vyradia. Údaje sa vyradia aj vtedy, ak účastník zanechá úlohu neúplnú. S týmito výberovými kritériami sme získali odpovede na 1736 stimulov od MNIST, 4431 stimulov od EMNIST veľkých písmen a 4315 stimulov od EMNIST malých písmen; to znamená v priemere 169,1 odpovedí na triedu.

Modely a metódy využitia dát

V tejto časti ilustrujeme užitočnosť zozbieraných údajov tým, že (4.1) poskytujeme základný model na predpovedanie správania účastníka a (4.2) ukazujeme, ako možno existujúci model posilnenia pozornosti porovnať s rozpoznávaním ľudských čísel/abecedy. výkon. Základ pre predikciu správania. Správanie pri akejkoľvek epizóde pozostáva z výberu miesta a výberu triedy. Keďže vzorka obsahuje rôzne množstvá informácií pre rôznych pozorovateľov alebo dokonca pre toho istého pozorovateľa v rôznych časoch9, predikcia správania každého účastníka je zložitý problém. Nech n je počet tried v množine údajov, ηt je množina jednotlivých skupín obsahujúcich skutočnú triedu pre obraz stimulu v t, ct je množina tried a lt je miesto vybrané účastníkom v t, ktoré má byť jeho pozorovaním v t a 1:t označuje postupnosť 1, 2, ..., t. Do akéhokoľvek t sú pozorovania účastníka o1:t a miesta, ktoré si vybral, sú l1:t. Problém predikcie správania účastníka formulujeme nasledovne: Predikcia triedy Odhadnite pravdepodobnosť i∈ct (i=1, 2, ..., n) vzhľadom na jeho o1:t a l1:t, tj P( i ∈ ct|o1:t, l1:t). Predpoveď polohy Odhadnite pravdepodobnosť lt+1 vzhľadom na jeho o1:t, l1:t a ct, tj P(lt+1|o1:t, l1:t,ct). Predikcia triedy. Aby sme predpovedali triedu, ktorú si účastník vyberie v epizóde t, vypočítame pravdepodobnosť, že obrazový stimul v t patrí do triedy I vzhľadom na vybraté miesta účastníka l1:t a zodpovedajúce pozorovania o1:t takto:

kde Ii je priemer zobrazení stimulov (27×25) patriacich do triedy i, I′ je obrázok 27×25 obsahujúci o1:t pri l1:t, · označuje skalárny súčin a .označuje euklidovskú normu. Všetky intenzity pixelov sú nezáporné. V ktorejkoľvek epizóde t, k najvyšších pravdepodobných tried z distribúcie viery P(i|o1:t, l1:t) tvorí množinu tried ˆct, predpovedaných naším modelom, kde k=|ct|. Presnosť klasifikácie sa meria pomocou Jaccardovho indexu (JI). JI meria podobnosť medzi dvoma množinami, X a Y, ako: J(X, Y) {{10}} |X ∩ Y|/|X ∪ Y|. JI je ohraničená medzi 0 a 1; ak X=Y, J(X, Y)=1. Pri akejkoľvek epizóde t je presnosť klasifikácie účastníka J(ηt,ct), zatiaľ čo presnosť nášho modelu je J(ηt, ˆct). Vzhľadom na svojho menovateľa JI penalizuje viac, keď sa zvyšuje počet prvkov v predpovedanej množine (ct alebo ˆct), ktoré nie sú v ηt, čo je pre náš prípad žiaduca vlastnosť. Podobnosť medzi klasifikáciou účastníka a klasifikáciou nášho modelu sa meria pomocou J(ct, ˆct). Náš model je tiež hodnotený z hľadiska presnosti výberu triedy a odmietnutia s ohľadom na každého účastníka. Nech st=ct − ct−1 je množina nových vybraných tried a rt=ct−1 − ct je množina tried odmietnutých účastníkom v čase t. Podobne ˆst=ˆct − ct−1 je množina nových vybraných tried a ˆrt=ct−1 − ˆct je množina tried odmietnutých naším modelom pri t. Potom výber a odmietnutie modelovej triedy možno porovnať s triedou účastníka pomocou J(st, ˆst), keď |st| > 0 a J(rt, ˆrt), keď |rt| > 0, resp. Predpoveď polohy. Hypotéza V ideálnom prípade by rozdelenie viery vo všetkých triedach malo byť unimodálne (tj iba jeden vrchol) a tenké gaussovské (tj malá štandardná odchýlka) v tvare, čo naznačuje, že účastník je presvedčený o triede (stave) stimulu (prostredia). Ako je však zrejmé z našich údajov (pozri obr. 2), účastník je často zmätený medzi viacerými triedami, najmä počas niekoľkých prvých epizód. V týchto prípadoch má jeho rozdelenie viery viacero vrcholov alebo je tučné Gaussovské. Predpokladáme, že cieľom účastníka je konvergovať k unimodálnemu a tenkému Gaussianu, na dosiahnutie čoho selektívne vzorkuje miesta, ktoré znižujú pravdepodobnosť všetkých tried okrem jednej. Táto hypotéza vedie k minimalizácii neistoty ohľadom tried (stavov prostredia), čo je dobre známy princíp, ktorý riadi činnosť24 vrátane pohybov očí25.

Obrázok 2. Trvanie a rozdelenie triedy medzi všetkých účastníkov a stimuly patriace do kategórií '0', 'a' a 'A'.

Te observations at certain locations in a stimulus image can discriminate between certain classes. Te observation at a location l might indicate that the numeral/alphabet belongs to class I and not to class j. Such locations are more salient than others in achieving a participant's goal. To sample such locations, a saliency map, Dij, is computed such that if l is salient, the observation at l is evidence to increase the probability of class I and decrease that of j. Mathematically, Dij = N (., σ ) ∗ g(.), where ∗ is the convolution operator, g(.) is a saliency scoring function, and N (., σ ) is a 5×5 Gaussian kernel with standard deviation σ = 6 to smooth the saliency scores. We denote the set of all saliency maps as D = {Dij: i, j ∈ {1, 2, ..., n}, i �= j}. A location l in a stimulus image is salient for class i with respect to class j if Dij(l)>θ, kde prahová hodnota θ=0.5 × max(D) je empiricky určená skalárna veličina.

Za kandidátov na funkciu g považujeme dve asymetrické metriky, Kullback-Leiblerovu (KL) divergenciu a rozdiel. Divergencia KL Vzhľadom na dva normalizované stredné obrazy, Ii a Ij, KL divergencia KL(Ii, Ij) meria stratu informácie, keď sa Ij použije na aproximáciu Ii. Toto sa vypočíta pre každý pixel k as26: KL(Ii,k, Ij,k)=Ii,k log δ + Ii,k Ij,k+δ, kde Ij,k je intenzita k-tého pixelu Ij a δ je regularizačná konštanta. Keď Ii,k=Ij,k, KL(Ii,k,Ij,k) → 0. Rozdiel Dané dva normalizované stredné obrázky, Ii a Ij, rozdiel pre každý pixel k je Rozdiel (Ii,k, Ij,k)=Ii,k − Ij,k. Keď Ii,k=Ij,k, Diff (Ii,k, Ij,k)=0. Účastník si nie je istý, pokiaľ ide o súbor tried, ct, ktoré si vybral v aktuálnej epizóde. Preto pri predpovedi polohy berieme do úvahy iba tie mapy význačnosti v D, ktoré zahŕňajú triedy v ct. Miesto je predpovedané, ak je výrazné na základe týchto máp význačnosti a účastník ho nikdy nevybral. Tus, za predpokladu o1:t, l1:t a ct, umiestnenie lt+1 je predpovedané takto:

kde Ŵ je množina 3- nvíc obsahujúcich predpovedanú polohu ˆl, triedu, pre ktorú je podstatná (i), a vzhľadom na ktorú triedu (j). Miesto je predpovedané správne, ak existuje �ˆl, i, j� ∈ Ŵ také, že �ˆl − lt+1� < ǫ, I ∈ ct+1 a j /∈ ct{{3} }, kde ǫ je maximálna euklidovská vzdialenosť medzi stredovým pixelom a akýmkoľvek pixelom v pozorovacej ploche. Pseudokód na predikciu polohy je zobrazený v Algoritme 1. Podrobné vysvetlenie pseudokódu je zahrnuté v sekcii S1 doplnkového materiálu. (Rozdelenie pravdepodobnosti, P(lt+1|o1:t, l1:t,ct), možno vypočítať tak, že sa predpokladá, že skóre význačnosti miest, ktoré nie sú v Ŵ, je nulové, a potom sa skóre význačnosti všetkých miest na súčet do jednoty. Táto pravdepodobnosť však nebola použitá, pretože na účely tohto článku postačuje rovnica (3).

Hodnotenie modelov založených na pozornosti.

Za predstaviteľa modelov založených na pozornosti považujeme vysoko citovaný model opakovanej pozornosti (RAM)3, ktorý uvádza experimentálne výsledky na súbore údajov MNIST. Model vystuženia sekvenčne vzorkuje obrázok a rozhoduje, kde sa bude vzorkovať ďalej v každom okamihu vzorkovania, vďaka čomu je vhodný na vyhodnotenie pomocou zozbieraných údajov.

RAM

klasifikuje obrázky pomocou sekvencie pohľadov. Ďalšie miesto sa vyberá stochasticky z distribúcie parametrizovanej lokalizačnou sieťou. Tento model je trénovaný od začiatku do konca maximalizáciou nasledujúceho cieľa3:

kde M je počet epizód, T je počet pozorovaní, xi 1:t sú interakčné sekvencie získané spustením aktuálneho agenta do I epizód, ui t je aktuálna akcia, θ je množina trénovateľných parametrov, Ri t je kumulatívna odmena, bt je základná línia a π(ui t|xi 1:t; θ ) je politika. Správanie RAM sa dá porovnať so správaním účastníkov porovnaním fixačných máp získaných zo sekvencie miest predpovedaných RAM a tých, ktoré si vybrali účastníci. Fxačná mapa sa vypočíta tak, že každému miestu sa priradí hodnota rovnajúca sa frekvencii jeho výberu a potom sa tieto hodnoty normalizujú, aby sa vytvorilo rozdelenie na všetky miesta.

Metriky na porovnanie fixačných máp. Pre metriky porovnávajúce dve fixačné mapy, P a Q, pozorne sledujeme 26. Na porovnanie distribúcie miest odberu používame tri metriky založené na distribúcii: KL divergencia (KL), Pearsonov korelačný koeficient (CC) a Podobnosť (SIM). z modelu s modelom od účastníkov zaznamenaným v zhromaždených údajoch.

KL (definovaný skôr) je vysoko citlivý na nulové hodnoty.

CC môže vyhodnotiť lineárny vzťah medzi dvoma mapami ako26: CC(P, Q)=σ (P, Q) σ (P)σ (Q), kde σ je rozptyl alebo kovariancia. Keďže CC je symetrický, nedokáže odvodiť, či sú rozdiely medzi fixačnými mapami spôsobené falošne pozitívnymi alebo falošne negatívnymi výsledkami.

SIM sa meria ako 26: SIM(P, Q)=k min (Pk, Qk), kde k Pk=k Qk=1. Rovnako ako CC, aj SIM je symetrická a zdedí rovnakú nevýhodu. SIM karta je tiež veľmi citlivá na chýbajúce hodnoty a penalizuje predpovede, ktoré nezohľadňujú základnú hustotu pravdy.

Výskum ľudí a zvierat.

Inštitucionálna revízna rada na Univerzite v Memphise rozhodla, že táto štúdia nespĺňa definíciu ochrany výskumu ľudských subjektov úradu pre výskum ľudských subjektov a 45 CFR časť 46 neplatí. Táto štúdia si preto nevyžaduje schválenie ani preskúmanie IRB.

Experimentálne výsledky Analýza údajov.

Zozbierané údaje je možné vizualizovať z hľadiska postupnosti distribúcie vybraných lokalít (obr. 3), vybraných tried (obr. 2) a trvania medzi po sebe idúcimi epizódami (obr. 2). Tieto distribúcie sú veľmi podobné pre tri súbory údajov. Pre akúkoľvek číslicu alebo abecedu sa distribúcia vybraných miest po poslednej epizóde podobá distribúcii intenzity pixelov danej triedy zo súboru údajov. Postupnosť vybraných miest je však stochastická. Distribúcia tried naznačuje zmätok medzi kategóriami s podobnými štruktúrami v niekoľkých úvodných epizódach, keď si účastníci vyberú viacero tried. Tento zmätok sa obmedzí väčším odberom vzoriek. Existuje významná pozitívna korelácia medzi stupňom zámeny (# vybraných tried/celkom # tried) a trvaním odberu vzoriek (pozri obr. 4). Ak je počet vybraných tried vysoký (nízky), trvanie medzi po sebe nasledujúcimi epizódami je vysoké (nízke). CC poradia miest vybraných účastníkom pre triedu nie je významné (tabuľka 1). Očakáva sa to kvôli variabilite medzi subjektmi pri vzorkovaní statických obrázkov. Priemerný počet vzoriek požadovaných účastníkom na presné predpovedanie triedy je pomerne nízky. Na presnú klasifikáciu obrázkov MNIST, EMNIST veľkých a malých písmen v priemere trvá 4,2, 4,7 a 4,9 vzoriek, čo zodpovedá 36, 44,1 a 48,1 sekundám. Účastníci v priemere videli iba 11,3 %, 13,4 % a 13,7 % plochy obrázka na presné zatriedenie obrázka číslic, veľkých písmen a malých písmen (pozri obr. S2 v doplnkovom materiáli). Tieto výsledky zdôrazňujú účinnosť systému ľudského vizuálneho uvažovania, aj keď v nižšom rozlíšení ako údaje sledovania očí, ale s menším šumom a variabilitou. Tieto empirické výsledky môžu byť užitočné pri navrhovaní modelov založených na pozornosti pre aplikácie v reálnom svete. Predikcia správania. V tejto časti sa hodnotí výkonnosť nášho základného modelu z hľadiska toho, ako presne dokáže predpovedať umiestnenie každého účastníka a výber triedy. Keďže naše experimentálne výsledky využívajúce dve funkcie hodnotenia význačnosti, divergenciu KL a rozdiel, sú dosť podobné, výsledky sa uvádzajú iba pomocou rozdielu, pokiaľ nie je uvedené inak. Predikcia triedy. Predikcia triedy a jej metódy vyhodnocovania presnosti sú popísané v časti „Predpovedanie triedy“. Presnosť predikcie triedy, znázornená na obr. 5, sa vypočíta pre všetky triedy pre všetky vzorky. Priemerná presnosť predikcie triedy pre všetky vzorky a súbory údajov je 74,4 % (štandardný vývoj 26,5). Obrázky 5a a b ukazujú, že súbor tried zvolených účastníkmi a naším základným modelom (Rov. 2) je v počiatočných epizódach dosť nepresný a zlepšuje sa so zvyšujúcim sa počtom vzoriek. Obrázok 5c ukazuje, že počas počiatočných epizód sú tieto dva súbory, ct a ˆct, dosť odlišné; podobnosť sa zvyšuje s nárastom vzoriek. To isté platí pre výber nových tried (pozri obr. 5f). Avšak odmietnutia triedy sú podobné v počiatočných epizódach; podobnosť sa ďalej zvyšuje s viacerými vzorkami (pozri obr. 5e). Keďže J(st, ˆst)=|(ct ∩ ˆct) − ct−1| |(ct ∪ ˆct) − ct−1| a J(rt, ˆrt)=|ct−1 − (ct ∪ ˆct)| |ct−1 − (ct ∩ ˆct)|, z obr. 5e, f možno odvodiť, že v počiatočných epizódach je priesečník medzi ct−1 a ct ∪ ˆct malý, čo naznačuje, že spočiatku účastníci a náš základný model vykonať veľa zmien vo výbere triedy medzi po sebe nasledujúcimi epizódami. Preto je spočiatku proces výberu triedy vysoko stochastický. Aj keď existujú určité rozdiely medzi predikciou triedy účastníkov a nášho modelu počas počiatočných epizód, správanie sa pri ďalších vzorkách čoraz viac podobá. Počas niekoľkých prvých (zvyčajne 4 až 7) epizód sa odhalia veľmi výrazné časti stimulu. To pomáha vybrať len správnu triedu v neskorších vzorkovaniach, čo zvyšuje presnosť predikcie. Keďže existuje veľa tried, ktorých priemerné šablóny sa zhodujú s pozorovanými časťami stimulu počas niekoľkých úvodných epizód, proces výberu triedy je výrazne stochastickejší, čo vedie k nízkej presnosti klasifikácie zo strany účastníkov, ako aj nášho modelu.

Obrázok 3. Rozdelenie miest odberu vzoriek medzi všetkých účastníkov pre každú triedu čísel/abecedy a každú epizódu odberu vzoriek. Každý riadok zodpovedá triede, každý stĺpec zodpovedá epizóde vzorkovania, ktorá sa zvyšuje zľava doprava.

Predpoveď polohy. Presnosť predpovede polohy nášho základného modelu (Rov. 3), spriemerovaná zo všetkých odberov vzoriek a súborov údajov, je 67,7 % (štandardný vývoj 14,1) (odkaz Obr. 5d). Trend tejto presnosti predikcie je opačný ako trend presnosti predikcie triedy. Vysvetlenie však zostáva rovnaké. Presnosť predpovede polohy je vysoká počas počiatočných odberov vzoriek, pretože počas týchto epizód sa vyberú veľmi výrazné miesta, pričom menej výrazné miesta sa nechajú vybrať v neskorších epizódach. Pretože existuje veľa miest s nízkou význačnosťou, ich výberový proces je vysoko stochastický, a preto je ťažké ho predpovedať, čo vedie k zníženiu presnosti predpovede so zvýšeným počtom vzoriek. Klesajúci trend je jedinečný pre každý súbor údajov (pozri obr. 5d), pretože počet tried a počet veľmi významných miest užitočných na diskrimináciu sa medzi súbormi údajov líši. Čím nižší je počet tried a vysoko vyčnievajúce diskriminačné miesta, tým rýchlejšie bude pokles presnosti predikcie polohy so zvýšeným počtom vzoriek.

Obrázok 4. (vľavo) Errorbar graf časového rozdielu (v sekundách) medzi po sebe idúcimi vzorkami spriemerovaný vo všetkých triedach. Tat je, hodnota zobrazená pri vzorkovacej epizóde t je čas, ktorý uplynul medzi kliknutiami účastníka na obrázku v čase t − 1 at. (Vpravo) Errorbar graf zmätku spriemerovaný zo všetkých tried v každej epizóde. Chybové pruhy označujú std. dev.

Obrázok 5. Vyhodnotenie nášho základného modelu (odkaz na časť „Základná línia pre predikciu správania“). (a) Presnosť klasifikácie (ak.) účastníkov a (b) presnosť nášho základného modelu so skutočnými označeniami ako základná pravda. (c) Podobnosť klasifikácie (J(ct, ˆct)), (d) presnosť predikcie polohy, (e) presnosť odmietnutia triedy a (f) presnosť výberu triedy nášho základného modelu s údajmi účastníkov ako základnou pravdou. Podrobnosti nájdete v časti „Predpovedanie správania“.

Tabuľka 1. Priemerný Pearsonov korelačný koeficient (corr.) pre fxačné sekvencie pre rovnakú triedu. Pre akúkoľvek fixáciu je vzdialenosť euklidovská a smer sa meria ako polárny uhol vzhľadom na stred stimulov ako počiatok. Std. dev. sú zahrnuté v zátvorkách.

Hodnotenie RAM.

Pre každú triedu a odber vzoriek sa porovnávajú fixačné mapy z RAM (použili sme implementáciu RAM z github.com/hehefan/Recurrent-Attention-Model) a zozbierané údaje pre rovnaké stimuly prezentované v MTurk. Pre spravodlivé porovnanie s účastníkmi sme v RAM fixovali dĺžku sekvencie na T=12, prvé miesto vzorkovania v strede snímky, vstupné pozorovanie na pole 5×5 s vybratým umiestnením ako jeho stredom a upravil funkciu odmeny o rov. (1). Kumulatívna odmena, Rt v rov. (4,) sa nahradí kumulatívnym skóre t τ=1 Pτ získaným z rovnice. (1). Keďže účastník si môže vybrať viacero tried v ktorejkoľvek epizóde, pre model RAM namiesto predpovedania jedinej triedy na základe najvyššej pravdepodobnosti považujeme priemernú pravdepodobnosť vo všetkých triedach za prah a predpovedáme množinu tried ct s pravdepodobnosťou vyššou ako prah. Tento ct sa používa na výpočet skóre pomocou Eq. (1). Za týchto podmienok RAM vyžaduje 3,7, 8,5 a 7,6 vzoriek na rozpoznanie číslic MNIST, veľkých a malých abecedy EMNIST, čo zodpovedá 8,9 %, 21.0 %, 18,7 % plochy obrázka. V porovnaní s našimi účastníkmi (odkaz na časť „Analýza údajov“) je teda RAM menej efektívna. Pozri tabuľku 2. Výsledky z porovnania fixačných máp z RAM a zozbieraných údajov sú uvedené v tabuľke 3. KL je vyššia v dôsledku citlivosti na nulové hodnoty. To znamená, že niekoľko miest je vzorkovaných účastníkmi, ale nie RAM. Tieto experimenty možno použiť ako základ pre hodnotenie miest vzorkovaných modelom pozornosti.

cistanche výhody - zlepšenie pamäte

Diskusie

Paradigma mcAT, ako sa používa v tomto dokumente, má určité odlišnosti od tých, ktoré sa pri skúmaní mechanizmov rozpoznávania objektov primárne spoliehajú na pohyby očí a pohľady. V druhom prípade najskôr upútajú pozornosť výrazné časti scény, po ktorých nasledujú sakadické pohyby očí smerujúce pohľad na výrazné miesta27. Pohľad je riadený signálmi zdola nahor a zhora nadol, ktoré spolu s informáciami o význačnosti tvoria prioritné mapy, ktoré usmerňujú pohyby očí pri rozpoznávaní objektov. Keďže účastníci tejto štúdie sledovali statické obrázky za podmienok voľného pozerania a s dostatkom času (šesť minút na odber vzoriek T=12), pravdepodobne sa zapojili do série sakadických pohybov očí alebo vizuálneho uvažovania28, aby preskúmali obrázok pred kliknutím na AOI. Tieto pohyby očí mohli byť zachytené v emAT (pomocou eye trackeru), ale nie v mcAT. Tieto pohyby očí sú však ovplyvnené blúdením mysle. Zatiaľ čo mcAT je ovplyvnený aj mysľou29, účinok sa môže znížiť vždy, keď účastníci reagujú po vizuálnom uvažovaní. Keďže pohyby očí v reakcii na podnet sú ovplyvnené úlohou30, vzorce pohybu očí účastníkov boli pravdepodobne ovplyvnené priradenou trojkrokovou úlohou pri každom odbere vzoriek (odkaz na časť „Vizuálna úloha“). Ak by sa použil sledovač očí, pohyby očí účastníkov na preskúmanie vzorky by sa zmiešali s pohybmi očí, aby klikli na vybrané triedy, čo by skomplikovalo interpretáciu vizuálneho skúmania vzorky. Kliknutie na triedu (triedy) je nevyhnutným krokom, pretože odhaľuje, aj keď introspektívne, predpokladanú triedu (triedy) v mysli účastníka. Je pravdepodobné, že pohľady bezprostredne pred a po výbere AOI – možno aj pomocou fixačných očných pohybov{10}}najviac prispeli k rozpoznaniu číslic/abecedy. Domnievame sa, že účastníci si vybrali diagnostické oblasti obrazu na rozlíšenie medzi triedami a tieto oblasti pravdepodobne obsahujú zmes diagnostických informácií zdola nahor (napr. vizuálny kontrast) a zhora nadol (šablóna číslic/abecedy). To je v súlade s naším zistením, že účastníci rýchlo (v priemere do 5 vzoriek) rozlišovali medzi triedami stimulov zdanlivo výberom diagnostických záplat.

Tabuľka 2. Porovnanie účinnosti medzi našimi účastníkmi a modelom RAM z hľadiska priemerného počtu vzoriek potrebných na rozpoznanie číslice/abecedy. Percento pozorovanej oblasti obrazu je uvedené v zátvorkách.

Tabuľka 3. Vyhodnotenie fixačných máp z RAM pre stimuly prezentované v experimentoch MTurk spriemerované zo všetkých tried a vzoriek. Std. dev. sú zahrnuté v zátvorkách.

Závery

Zaviedli sme súbor údajov mcAT na rozpoznávanie ručne písaných číslic a abeced prostredníctvom sekvenčného vzorkovania. Údaje sa zbierajú od 382 účastníkov, ktorým sú prezentované obrázky vybrané z porovnávacích súborov údajov (MNIST, EMNIST). V priemere je zaznamenaných 169,1 odpovedí na triedu čísel/abecedy. Údaje sa dôkladne analyzujú, aby sa odhalila účinnosť ľudského vizuálneho rozpoznávania. Účastníci pozorovali len 12,8 % obrazu na rozpoznanie. Navrhli sme základný model na predpovedanie polohy a triedy (tried), ktoré by si účastník vybral pri ďalšom odbere vzoriek. Ukázali sme, ako možno naše experimentálne podmienky a údaje použiť na vyhodnotenie modelu posilnenia založeného na pozornosti v porovnaní s ľudským výkonom. Tento súbor údajov mcAT s viacerými výhodami oproti údajom o sledovaní očí vypĺňa zásadnú medzeru vo výskume modelov založených na pozornosti v AI, ML a ďalších oblastiach.

Referencie

1. Ranzato, MA O učení, kde hľadať. arXiv:1405.5488, (2014).

2. Ba, J., Salakhutdinov, RR, Grosse, RB, & Frey, BJ Učenie sa modelov opakovanej pozornosti bdenia a spánku. In NIPS, 2593–2601 (2015).

3. Mnih, V. a kol. Opakujúce sa modely vizuálnej pozornosti. In NIPS, 2204–2212 (2014).

4. Ba, J., Mnih, V., & Kavukcuoglu, K. Rozpoznanie viacerých objektov s vizuálnou pozornosťou. arXiv:1412,7755 (2014).

5. Dutta, JK & Banerjee, B. Rozdiely v presnosti klasifikácie s počtom pohľadov. In IJCNN, 447–453 (IEEE, 2017).

6. Larochelle, H. & Hinton, GE Učíme sa kombinovať foveálne pohľady s Boltzmannovým strojom tretieho rádu. In NIPS, 1243–1251 (2010).

7. Elsayed, G., Kornblith, S. & Le, QV Saccader: Zlepšenie presnosti modelov tvrdej pozornosti pre zrak. In NIPS, 702–714 (2019).

8. van Beers, RJ Zdroje variability v sakadických pohyboch očí. J. Neurosci. 27(33), 8757-8770 (2007).

9. Itti, L. & Baldi, P. Bayesovské prekvapenie priťahuje ľudskú pozornosť. Vis. Res. 49(10), 1295-1306 (2009).

10. Egner, S. a kol. Pozornosť a získavanie informácií: Porovnanie kliknutia myšou so sledovaním pozornosti pohybu očí. J. Eye Mov. Res. 11(6), (2018).

11. Peterson, MS, Kramer, AF & Irwin, DE Skryté presuny pozornosti predchádzajú mimovoľným pohybom očí. Vnímať. Psychophys. 66(3), 398-405 (2004).

12. Jiang, M. a kol. Kremík: Výraznosť v kontexte. In CVPR, 1072–1080 (2015).

13. Kim, NW a kol. BubbleView: Rozhranie pre crowdsourcing máp dôležitosti obrázkov a sledovanie vizuálnej pozornosti. ACM Trans. Výpočet. Hum. Interagujte. 24(5), 1–40 (2017).

14. Sermanet, P., Frome, A. & Real, E. Pozor na jemnozrnnú kategorizáciu. arXiv:1412.7054 (2014).

15. Egner, S., Itti, L. & Scheier, C. Porovnanie modelov pozornosti s rôznymi typmi údajov o správaní. Vyšetrovať. Oftalmol. Vis. Sci. 41(4), S39 (2000).

16. Navalpakkam, V. a kol. Meranie a modelovanie správania oko-myš v prítomnosti nelineárnych rozložení stránok. V Proc. Int. Conf. WWW, 953–964 (2013).

17. Matzen, LE, Stites, MC & Gastelum, ZN Štúdium vizuálneho vyhľadávania bez eye trackeru: Hodnotenie umelej foveácie. Cog. Res. Princ. Implicitné. 6(1), 1–22 (2021).

18. Tafi, AP a kol. OCR ako služba: Experimentálne vyhodnotenie Google Docs OCR, Tesseract, ABBYY FineReader a Transym. V Int. Symp. Vis. Comp., 735–746 (Springer, 2016).

19. Memon, J., Sami, M., Khan, RA & Uddin, M. Ručne písané optické rozpoznávanie znakov (OCR): Komplexný systematický prehľad literatúry (SLR). Prístup IEEE 8, 142642–142668 (2020).

20. Chaudhuri, A., Mandaviya, K., Badelia, P. & Ghosh, SK Optické systémy rozpoznávania znakov. In Optické systémy na rozpoznávanie znakov pre rôzne jazyky so Sof Computing, 9–41 (Springer, 2017).

21. LeCun, Y. a kol. Gradient-based learning aplikovaný na rozpoznávanie dokumentov. Proc. IEEE 86(11), 2278 – 2324 (1998).

22. Cohen, G., Afshar, S., Tapson, J. & van Schaik, A. EMNIST: Rozšírenie MNIST na ručne písané listy. arXiv:1702.05373, (2017).

23. Gregor, K., Danihelka, I., Graves, A., Rezende, D. & Wierstra, D. DRAW: A recurrent neural network for image generation. In ICML, 1462–1471 (2015).

24. Friston, K. Princíp voľnej energie: Hrubý sprievodca mozgom?. Trends Cogn. Sci. 13(7), 293-301 (2009).

25. Mirza, MB, Adams, RA, Friston, K. & Parr, T. Predstavenie Bayesovského modelu selektívnej pozornosti založenej na aktívnej inferencii. Sci. Rep. 9(1), 1-22 (2019).

26. Bylinskii, Z., Judd, T., Oliva, A., Torralba, A. & Durand, F. Čo nám hovoria rôzne hodnotiace metriky o modeloch nápadnosti? IEEE Trans. Pattern Anal. Mach. Intell. 41(3), 740 – 757 (2018).

27. Itti, L. & Koch, C. Výpočtové modelovanie zrakovej pozornosti. Nat. Neurosci. 2(3), 194-203 (2001).

28. Lamme, VAF Vizuálne funkcie generujúce vedomé videnie. Predné. Psychol., 11, (2020).

29. da Silva, MRD & Postma, M. Putujúce mysle, putujúce myši: Sledovanie počítačovej myši ako metóda na zistenie blúdenia mysle. Výpočet. Hum. Správaj sa. 112, 106453 (2020).

30. Schütz, AC, Braun, DI & Gegenfurtner, KR Pohyby očí a vnímanie: selektívny prehľad. J. Vis. 11(5), 9-9 (2011).

31. Intoy, J. & Rucci, M. Jemne vyladené pohyby očí zvyšujú ostrosť zraku. Nat. komun. 11(1), 1–11 (2020).