Vzťahy medzi odbornosťou a osobitosťou: Abnormálne lekárske snímky vedú k zlepšenému výkonu pamäte iba u odborníkov, 2. časť

Po zobrazení na 3 sekundy po každom obrázku okamžite nasledovali dve odpovede na otázky: (1) Bol obrázok abnormálny alebo normálny? (2) Videli ste už tento obrázok?

V posledných rokoch veľké množstvo štúdií ukázalo, že medzi obrazovými abnormalitami a pamäťou existuje úzky vzťah. Abnormality obrazu môžu zahŕňať očné problémy, ako je farbosleposť, krátkozrakosť, ďalekozrakosť, astigmatizmus atď. Tieto očné problémy môžu ovplyvniť naše videnie a schopnosti spracovania obrazu. Pamäť je jednou z dôležitých schopností ľudského mozgu, ktorá nám umožňuje zapamätať si dôležité informácie a zážitky a robiť správne rozhodnutia.

Štúdie ukázali, že ľudia s očnými problémami, ako je farbosleposť, krátkozrakosť, astigmatizmus atď., dosahujú horšie výsledky v pamäťových testoch ako normálni ľudia. Je to preto, že ich zorné pole je obmedzené a nie sú schopní plne prijímať informácie o svojom okolitom prostredí, čo spôsobuje, že majú určité ťažkosti s pamäťou. Preto je udržiavanie dobrého zraku a zrakového zdravia kľúčové pre našu pamäť.

Zdravé videnie nám zároveň môže pomôcť lepšie spracovať a zapamätať si informácie. Napríklad pri čítaní knihy alebo pozeraní televízie nám jasné zorné pole môže pomôcť lepšie pochopiť a spracovať text a obrázky. Pomôže nám to lepšie si zapamätať obsah a aplikovať ho na reálne situácie.

Preto by sme mali venovať pozornosť a chrániť naše zdravie zraku, aby sme si zlepšili pamäť. Udržiavanie dobrého zraku a zdravia očí prostredníctvom každodenného cvičenia a stravovania a primeraný odpočinok môže tiež pomôcť chrániť naše oči a pamäť. Udržanie pozitívneho postoja, sebadôvery a vytrvalosti môže tiež pomôcť zlepšiť našu víziu a pamäť.

Stručne povedané, musíme venovať pozornosť a chrániť zdravie nášho zraku, ktorý má veľký význam pre našu pamäť a osobný rozvoj. Len rozvíjaním dobrých zrakových návykov a životného štýlu môžeme dosiahnuť lepšie výsledky v práci a živote. Je vidieť, že potrebujeme zlepšiť pamäť a Cistanche deserticola môže výrazne zlepšiť pamäť, pretože Cistanche deserticola má antioxidačné, protizápalové účinky a účinky proti starnutiu, čo môže pomôcť znížiť oxidačné a zápalové reakcie v mozgu, a tým chrániť zdravie nervového systému. Okrem toho môže Cistanche deserticola tiež podporovať rast a opravu nervových buniek, čím zvyšuje konektivitu a funkciu neurónových sietí. Tieto účinky môžu pomôcť zlepšiť pamäť, rýchlosť učenia a myslenia a môžu tiež zabrániť rozvoju kognitívnej dysfunkcie a neurodegeneratívnych ochorení.

Kliknite na vedieť doplnky na zlepšenie pamäte

Pomocou štandardnej počítačovej myši bolo účastníkom povedané, aby uviedli svoju úroveň istoty na 6-bodovej stupnici hodnotenia v rozsahu od sebavedomého áno/abnormálne po sebavedomé nie/normálne (pozri obr. 1).

Namiesto jednoduchých odpovedí áno/nie sme zbierali hodnotenia spoľahlivosti, aby sme umožnili analýzu ROC. Na odpoveď nebolo kladené žiadne časové obmedzenie. Začatie ďalšieho súdneho konania bolo podmienené zodpovedaním oboch otázok súčasného súdneho konania.

Pred začatím experimentu dostali účastníci inštrukcie a niekoľko demografických otázok (Pohlavie; Vek; „Ste rádiológ?“; „Máte prácu, kde čítate lekárske snímky; tj technik, lekársky fyzik?“). Boli napísané pokyny pre populáciu začiatočníkov bez lekárskeho vzdelania.

Pre začínajúcich účastníkov boli abnormálne prípady široko definované ako "obrázky, ktoré môžu obsahovať lézie alebo rakovinu, alebo by inak mohli byť niečím hodným sledovania, ak ste rádiológ."

Vylučovacie kritérium a plán analýzy

O našich vylučovacích kritériách a analýzach sa rozhodlo vopred (pozri predregistráciu vyššie). Jednotlivé pokusy boli vylúčené, ak účastníkom trvala odpoveď menej ako 1 500 ms alebo viac ako 15,{3}} ms (na základe pilotných údajov).

Účastníci boli vylúčení, ak dokončenie štúdie trvalo menej ako 15 minút (vylúčená nula) alebo viac ako 1 hodinu (3 vylúčení). Rádiológovia boli vylúčení (1 vylúčený), ako aj tí, ktorí mali iné predchádzajúce skúsenosti s čítaním lekárskych snímok (nula vylúčená). Účastníci boli tiež vylúčení, ak mali viac ako 80 % identických odpovedí (napr. vybrali rovnakú odpoveď v takmer každej skúške; jednu vylúčili) alebo mali viac ako 20 % skúšok vylúčených na základe kritérií reakčného času (jedna vylúčená).

Po uplatnení týchto a priori vylučovacích kritérií bolo z analýzy vylúčených sedem účastníkov, čím zostala konečná vzorka 53 účastníkov. Po našich vopred zaregistrovaných analýzach (vyššie) sme nevykonali celkovú analýzu rozptylu (ANOVA), ale najprv sme sa riadili našimi špecifickými cielenými testami. Najprv sme analyzovali hodnotenia spoľahlivosti klasifikácie obrazu ako abnormálneho alebo normálneho.

Následne sme analyzovali hodnotenia spoľahlivosti predstavujúce pamäť pre obrázky. Na tento účel sme vykonali analýzu ROC pre 3-späť a 30-späť ako funkciu typu obrázka (normálny/abnormálny/kontralaterálny-abnormálny). Generovali sme aj ROC pre normálne/abnormálne úsudky. ROC boli zhrnuté podľa plochy pod krivkou (AUC) a porovnané pomocou t-testov.

Ako už bolo uvedené, zaujíma nás, či v rámci skupiny začínajúcich účastníkov existuje prínosná pamäťová výkonnosť pre akýkoľvek typ obrazu (napr. podľa posúdenia podľa normálnej vs. abnormálnej AUC). Keďže nováčikom chýbajú lekárske skúsenosti, každý takýto efekt by nám umožnil nahliadnuť do podstaty súboru obrázkov (tj zapamätateľnosť alebo rozlišovaciu spôsobilosť).

Nakoniec sme vykonali analýzy podobnosti obrázkov, aby sme kvantifikovali, ako môžu rozdiely v obrázkoch ovplyvniť tieto výsledky.

Porovnanie podobnosti obrázkov

Pretože normálne, fokálne abnormálne a kontralaterálne-abnormálne obrázky sú nevyhnutne odlišné súbory obrázkov, je užitočné porovnať, do akej miery je každý súbor obrázkov odlišný od všetkých ostatných obrázkov, aby ste sa pozreli na účinok, ktorý to má na pamäť.

Jedným zo spôsobov, ako to dosiahnuť, je nechať jednotlivcov hodnotiť podobnosti medzi obrázkami. To by si však vyžadovalo 120 ×120=14,440 hodnotení podobnosti. Namiesto toho, aby sme proces zefektívnili, sme sa spoliehali na predtým zavedené techniky počítačového videnia navrhnuté tak, aby poskytovali merania podobnosti pre prirodzené scény. Konkrétne sme vykonali analýzu Gaborovej vlnkovej pyramídy (GWP), ktorá vypočítava vlastnosti obrázkov a porovnáva ich (Greene a kol., 2016; Kay a kol., 2008).

Na posúdenie úrovne podobnosti v rôznych typoch obrázkov GWP predstavuje každý obrázok ako výstup skupiny multiškálových filtrov Gabor. Predchádzajúce práce ukázali, že tieto funkcie môžu úspešne modelovať reprezentáciu objektov v skorých vizuálnych oblastiach (Kay et al., 2008).

Podľa presného postupu a parametrov poskytnutých Greene et al. (2016), každý obrázok bol skonvertovaný do odtieňov sivej, prevzorkovaný na 128 × 128 pixelov a reprezentovaný skupinou filtrov Gabor v troch priestorových mierkach (3, 6 a 11 cyklov na obrázok s vlnkou iba jasu ktorý pokrýva celý obrázok), štyri orientácie (0, 45, 90 a 135 stupňov) a dve fázy (0 a 90 stupňov).

To poskytlo súbor funkcií pre každý obrázok, ktorý sa porovnal so všetkými 120 obrázkami, aby sa vypočítalo skóre vzdialenosti/nepodobnosti výpočtom bodového súčinu vlastností každého obrázka medzi sebou navzájom po odčítaní priemeru medzi obrázkami a normalizácii vektorov prvkov na jednotkovú dĺžku.

Výsledky (1. experiment: nováčikovia)

Výkon na klasifikačnej úlohe

Najprv sme sa pozreli na to, ako sebavedomí nováčikovia klasifikujú obraz ako normálny alebo abnormálny (pozri obr. 2). Zistili sme významný rozdiel medzi normálnymi a abnormálnymi obrazmi, t(52)=4,78, p < 0,001, ale nie medzi normálnymi a kontralaterálnymi-abnormálnymi obrazmi, t(52)=1,94, p > 0.05. Zatiaľ čo účastníci nemali školenie na rozlíšenie normálnych a abnormálnych lekárskych snímok, malý počet snímok v súbore je mimoriadne výrazne abnormálnych (tj jeden jasne biely bod by vyzeral pochybne aj pre začínajúcich divákov).

Pohľad na hodnotenie podľa obrázka (pozri obr. 3) odhaľuje, že tieto obrázky sú do značnej miery zodpovedné za významný rozdiel medzi normálnymi a abnormálnymi hodnoteniami. Stručne povedané, aspoň pre malú podskupinu obrázkov si dokonca aj začínajúci účastníci nevšimnú abnormalitu, čo vedie k nadštandardnému výkonu klasifikácie. Ale pre väčšinu obrázkov sa zdá, že nováčikovia majú málo informácií o normálnosti oproti abnormalite.

Všimnite si, že os y na obr. 2 predstavuje hodnotenia spoľahlivosti pre nováčikov. Začiatočníci si vo všeobecnosti nie sú istí rozlišovaním akéhokoľvek typu obrázka, pričom priemerné odozvy sú tesne zoskupené blízko stredu hodnotiacej stupnice pre všetky podmienky. Ďalším spôsobom vizualizácie týchto údajov je ROC krivka (pozri obr. 4), kde nováčikovia padajú takmer na vrchol bodkovanej diagonálnej čiary indikujúcej náhodný výkon, s AUC iba 0,54 (kde {{5 }}.50 je náhoda a 1.0 je dokonalá).

Hoci, ako je uvedené vyššie, tento rozdiel od náhody je medzi účastníkmi vysoko spoľahlivý, t(52)=4.21, s.< .001, largely because of the few images that participants could all reliably classify.

Pamäť na abnormálne obrázky

Obrázok 5 zobrazuje ROC pre úlohy 3-späť a 30-späť. Keďže nováčikovia neboli z väčšej časti schopní vnímať kontralaterálne-abnormálne obrazy ako odlišné od normálnych obrazov v klasifikačnej úlohe, zamerali sme sa výlučne na pamäťové rozdiely medzi normálnymi a abnormálnymi obrazmi. Celkovo, nezávisle od typu obrázka, a ako sa očakávalo, nováčikovia majú lepšiu 3-spätnú pamäť (priemerná hodnota AUC 0,70 na zisťovanie 3-späť) ako{{8 }}spätná pamäť (priemerná AUC 0,64 pre detekciu 30-spätných zmien), t(52)=6,59, p < 0,001.

Je zaujímavé, že rozdelenie výkonu v závislosti od stavu obrazu odhaľuje, že nováčikovia vykazujú len malú výhodu normálnosti: pamätajú si normálne obrazy lepšie ako abnormálne obrazy v {{0}}stave chrbta aj v 30-stave chrbta, pričom iba 3-späť prináša významný rozdiel. Zistili sme prínos AUC 0,069 pre normálne obrázky vzadu3-, t(52)=5,48, p < 0,001 v porovnaní s abnormálnym a rozdiel AUC 0,026 pre normálne obrázky v 30-zadnej časti, t(52) =1,70, p=0,096 v porovnaní s abnormálnymi. Vzhľadom na slabý výkon pri rozlišovaní normálnych obrázkov od abnormálnych je dosť prekvapujúce že normálnosť mala nejaký vplyv.

Preto sme skúmali údaje na dôkaz viaczákladných účinkov vizuálnej podobnosti. Zistili sme, že nižší výkon pamäte v abnormálnych podmienkach bol do značnej miery spôsobený zvýšenou mierou falošných poplachov v kontralaterálnych abnormálnych a abnormálnych súboroch obrázkov.

Here, we are classifying as "new" all images with a confidence rating >3. Toto je v súlade s účtom podobnosti obrázkov, v ktorom by nováčikovia s väčšou pravdepodobnosťou vyvolali falošný poplach na nové obrázky v kontralaterálnych-abnormálnych a abnormálnych podmienkach jednoducho preto, že tieto obrázky sú si navzájom viac podobné ako obrázky v normálnej sade (ako sa predpokladá na základe súhrnnej podobnosti spomienky, napr. Nosofsky, 1991).

Inými slovami, ak by sa normálne obrázky navzájom trochu líšili v porovnaní s ostatnými obrázkami, mohlo by to vysvetľovať, prečo majú nováčikovia o niečo lepšiu pamäť na normálny stav (t. j. je ľahšie určiť, či je obrázok psa nový, ak je tento pes prezentovaný v sérii rôznych zvierat, než ak je prezentovaný v súbore podobných psov. Efekty podobnosti v našich podnetoch sú oveľa menšie.). Ďalej testujeme túto hypotézu.

Matica podobnosti - Gaborova vlnková pyramídová analýza

Túto hypotézu podobnosti obrázkov sme testovali meraním podobnosti medzi našimi obrázkami, ako je opísané v metódach (Greene a kol., 2016; Kay a kol., 2008). Zistili sme zvýšenú nepodobnosť medzi normálnymi obrazmi v porovnaní s kontralaterálnymi abnormálnymi a abnormálnymi obrazmi (normálne=0 0,174; abnormálne =0 0,139; kontralaterálne-abnormálne=0 0,133). Inými slovami, normálne obrazy sa od seba v priemere viac líšili (a teda lepšie rozlišovali v pamäti) ako abnormálne alebo kontralaterálne-abnormálne obrazy.

To je v súlade s hypotézou, že malý rozdiel v pamäti v prospech normálnych obrázkov je spôsobený rozdielmi v podobnosti obrázkov medzi súbormi. Malý prínos normality zistený v súčasnej štúdii je teda pravdepodobne výsledkom podobnosti obrazu.

V zásade to môže poskytnúť užitočný základ pre zvažovanie pamäte pre tie isté obrázky u odborných rádiológov v Experimente 2.

Experiment 2: Rádiológovia

Experiment 2 bol rovnaký ako experiment 1, ibaže bol vykonaný na rádiologických pozorovateľoch.

Metóda

Účastníci

Počas konferencie RadiologicalSociety of North America (RSNA) v Chicagu v štáte Illinois v roku 2018 bolo prijatých 32 odborných rádiológov (14 účastníčok, priemerný vek=49 rokov). Všetci rádiológovia dali informovaný súhlas a nedostali odmenu okrem toho, že boli zaradení do lotérie o darčekovú kartu v hodnote 500 USD. Postupy informovaného súhlasu boli schválené Inštitucionálnou revíznou radou Kalifornskej univerzity v San Diego.

Údaje od účastníkov by boli vylúčené, ak by dokončenie štúdie trvalo menej ako 15 minút alebo viac ako 1 hodinu, mali viac ako 80 % identických odpovedí alebo ak by bolo vylúčených viac ako 20 % pokusov. Podľa týchto pokynov neboli z analýzy vylúčení žiadni rádiológovia, takže konečná vzorka 32 účastníkov.

Podnety a postup

Podnety a experimentálny dizajn boli rovnaké ako v experimente 1. Hlavným rozdielom v postupe bolo, že experiment bol vykonaný na konferencii RSNA, kde experimentátor vysvetlil pokyny osobne.

Na rozdiel od experimentu 1, v experimente 2 sme poskytli všeobecnejšie pokyny, v ktorých sme sa pýtali na akúkoľvek abnormalitu, než aby sme konkrétne žiadali účastníkov, aby hľadali fokálne lézie alebo rakovinu: „Pre každý obrázok posúďte, či je obrázok abnormálny alebo normálny a či ste ho už predtým videli počas experiment."

Výsledky

V tejto časti porovnávame výkon odborných rádiológov s výkonom začínajúcich účastníkov Experimentu1. Predovšetkým skúmame, ako sa neodborníci porovnávajú s úsudkami odborníkov o klasifikácii obrázkov (tj normálne vs. abnormálne) a kriticky, či odborníci vykazujú rozdielnu pamäť pre abnormálne a normálne obrázky. Pri analýze výkonu expertov berieme do úvahy idiosynkrázie v našej sade obrázkov, ktoré sme sa naučili z Experimentu 1, ako napríklad, že naše bežné obrázky sú rozdielnejšie, a preto sú vo svojej podstate o niečo nezabudnuteľnejšie.

Výkon na klasifikačnej úlohe

Podobne ako v experimente 1 sme najprv analyzovali výkon pri klasifikačnej úlohe tak, že sme sa pozreli na hodnotenia spoľahlivosti klasifikácie každého obrázka ako normálneho alebo abnormálneho. Akí dobrí sú rádiológovia v jednoduchom rozlíšení abnormálnych obrázkov od normálnych? Nie je prekvapením, že rádiológovia sú veľmi dobrí na rozlišovanie abnormalít (pozri obr. 6a). Rádiológovia si boli výrazne istí, že abnormálny obraz je abnormálny namiesto normálneho, t(31)=13.17, p < 0.001.

Obrázok 6b ukazuje ROC krivku na rozlíšenie fokálne-abnormálnych obrazov od normálnych obrazov u rádiológov. ROC boli zhrnuté podľa plochy pod krivkou (rádiológ AUC=0.72; pripomeňme, že AUC nováčika=0.54).

Ako je uvedené v experimente 1, kontroly sú blízko k diagonálnej čiare indikujúcej náhodu, zatiaľ čo rádiológovia vyhľadávajú typické krivočiare ROC indikujúce vnímaný (a významný) rozdiel medzi normálnymi a abnormálnymi obrázkami s AUC výrazne nad náhodou, t(31)=19 0,8, p < 0,001. Ďalej sme sa zamerali na to, či rádiológovia dokážu odhaliť abnormality v kontralaterálnych-abnormálnych obrazoch.

Medzi normálnymi a kontralaterálnymi abnormálnymi stavmi nebol významný rozdiel, t(31)=0.43, p=0.67. V pôvodnej štúdii Evans et al. (2016) zistili vplyv abnormality v teoretických informáciách (tj vo veľmi krátkom prezentačnom čase ~250 ms). Naše pokyny a súbor stimulov mohli zaujať účastníkov proti hláseniu kontralaterálnych obrázkov ako abnormálnych.

V súbore obrázkov, ktoré zahŕňajú viditeľné lézie (abnormálne prípady) a pri absencii pokynov na vyhľadávanie asymptomatických obrázkov od symptomatických pacientov (kontralaterálne prípady), možno nie je prekvapujúce, že rádiológovia si svoje abnormálne hodnotenia vyhradili pre abnormálne prípady s lézie. Okrem toho je možné, že naše pokyny mohli pripraviť rádiológov, aby hľadali benígne aj malígne lézie, hoci v súčasnej štúdii neboli prítomné žiadne benígne lézie.

Budúce štúdie by mohli preskúmať účinky výučby na túto úlohu. Pripomeňme si však, že náš záujem o tento experiment je v pamäti rádiológov pre tieto obrázky. Napríklad kontralaterálne-abnormálne snímky by sa mohli lepšie zapamätať, ak by ich nejasne podozrivý vzhľad prinútil rádiológov venovať im viac pozornosti.

Pamäť na abnormálne obrázky

Obrázok 7 ukazuje výkon rádiológa pri pamäťovej úlohe. Rádiológovia majú lepšiu pamäť pre abnormálne obrazy v oboch pamäťových podmienkach, ale výhoda pre abnormálne obrazy je významná len v 30-stave chrbta, t(31)=2. 86, p =,008, rozdiel AUC=0,051.

Zistili sme výhodu AUC 0.02 pre abnormálne obrázky na 3-zadnej strane. Hoci to nebolo významné, t(31)=1,62, p=0,12, sleduje to rovnaký trend ako 30-stav chrbta. Rádiológovia nepreukázali žiadnu pamäťovú výhodu pre kontralaterálne-abnormálne snímky , dokonca aj pri veľkých oneskoreniach (p=0,24). Keďže rádiológovia nedokázali v klasifikačnej úlohe rozlíšiť medzi kontralaterálnymi-abnormálnymi snímkami a normálnymi snímkami, možno tento výsledok očakávať; Pripomeňme si však, že sme hľadali dôkazy, že implicitne rozpoznaná abnormálna podstata môže zlepšiť pamäť.

To nie je to, čo sme našli. Celkovo, nezávisle od typu snímky, rádiológovia majú lepšiu pamäť 3-spätne (priemerná hodnota AUC 0,852 pre detekciu 3-späť) ako 30-späť (priemerná hodnota AUC 0,752 pre detekciu 30- chrbty) pre lekárske snímky. Prečo sú rádiológovia lepší 3-vzadu ako 30-vzadu? Aj keď sa zdá byť jasné, že tento rozdiel do značnej miery odráža typické účinky zabudnutia a zasahovania (napr. Wixted, 2005), je tiež možné, že pozorovatelia skôr „chytia“ prítomnosť 3-späť než { {10}}spätné opakovania.

Ak áno, môžu prijať stratégiu, ktorá uprednostňuje 3-úlohu spätného chodu. Avšak vzhľadom na to, že 3-späť a 30-spätné testy boli rovnako pravdepodobné a rovnomerne rozdelené v rámci úlohy a že pozorovatelia dôsledne tvrdili, že si pamätajú, že videli mamografy z 30 snímok dozadu (a preto si boli jasne vedomí toho, že {{4} }späť nebol jediným prítomným testom n-back), zdá sa nepravdepodobné, že by pozorovatelia prešli na stratégiu, ktorá uprednostňuje iba 3-úlohu spätnej pamäte.

Celkovo tieto výsledky naznačujú, že odborníci majú celkovo lepšiu pamäť v 3-zadnej časti ako30-vzadu, ale že prínos pre nenormálne obrázky v porovnaní s normálnymi obrázkami je významný iba 30-vzadu .V štúdiách rozpoznávacej pamäte sa takmer vždy zistilo, že ROC nie sú konzistentné s modelom detekcie signálov s rovnakým rozptylom (napr. Egan, 1958; Wixted, 2007).

Jedným zo spôsobov, ako sa na to pozrieť, je konvertovať počet nájdených a falošných poplachov na zskóre a vykresliť funkcie zROC. V grafe zROC rovná variancia vytvára údaje so sklonom zROC 1.0. Namiesto toho, ako je typické pri úlohách rozpoznávania pamäte, sklony nášho zROC boli spoľahlivo pod 1.0 v 3 zo 4 pamäťových podmienok. Prispôsobíme lineárny model so zmiešaným efektom so sklonom a priesečníkom ako náhodnými faktormi pre subjekt (priemerný sklon[M]=0,68 pre 3-späť pre normálne obrázky, rozdiel od 1.{13}} : p < .0{{30}}1; M =1.05 pre 30-späť pre normálne obrázky, ktoré sa nelíšia od 1, p {{19} },60; M=0,52 pre 3-späť pre abnormálne obrázky, p < 0,82 pre 30-späť pre abnormálne obrázky, p=0,005). Po kolapse naprieč všetkými podmienkami, čo umožnilo spoľahlivejšie odhadnúť sklon, bol priemerný sklon zROC 0,68, čo je výrazne odlišné od 1,0 (p < 0,00001).

Celkovo teda ROCswe pozorované v pamäti boli nekonzistentné s modelom detekcie signálu rovnakej odchýlky a konzistentné s modelom nerovnomernosti, potenciálne kvôli variácii v sile pamäte medzi rôznymi položkami.

 Toto je typické pre rozpoznávaciu pamäť a dôvod, prečo je na posúdenie sily pamäte potrebné zhromažďovanie úsudkov spoľahlivosti a vykonávanie analýzy ROC. Jednoduché d' v tomto kontexte správne nezohľadňuje rozdiely v kritériách odozvy (napr. Dougal & Rotello 2007).

For more information:1950477648nn@gmail.com