Abnormálna detekcia vo videu s veľkými dátami s vylepšeným automatickým kódovačom

1. Úvod

Ako úloha počítačového videnia na vysokej úrovni sa detekcia anomálií videa týka automatickej detekcie abnormálnych udalostí v danej videosekvencii, ktorá dokáže efektívne rozlíšiť abnormálne a normálne aktivity a abnormálne kategórie vo videu. V posledných rokoch výskumníci vykonali mnoho výskumov súvisiacich s detekciou anomálií [1–9]. V porovnaní s normálnymi udalosťami sa udalosti, ktoré sa vyskytujú zriedkavo alebo majú nízku pravdepodobnosť výskytu, zvyčajne považujú za abnormálne. V praxi je však ťažké vytvoriť efektívny model detekcie anomálií kvôli neznámym typom udalostí a nejasným definíciám anomálií. Väčšina existujúcich metód detekcie anomálií je navrhnutá na základe predpokladu, že akýkoľvek vzor odlišný od naučeného normálneho vzoru sa považuje za anomálie. Na základe takýchto predpokladov môže byť rovnaká aktivita v rôznych scenároch reprezentovaná ako normálne alebo abnormálne udalosti. Napríklad bojová scéna, kde sa dvaja ľudia bijú na ulici, môže byť považovaná za nenormálnu, zatiaľ čo dvaja ľudia sú normálni, keď boxujú. Okrem toho je vo vysokorozmerných video dátach veľké množstvo redundantných vizuálnych informácií, čo zvyšuje náročnosť reprezentácie udalostí vo video sekvencii.

Čínska bylina cistanche

Podľa predchádzajúcich prác možno metódy detekcie anomálií vo všeobecnosti rozdeliť na dva typy. Niektoré metódy detekcie anomálií sú navrhnuté prostredníctvom rekonštrukčných chýb, ktoré sa zameriavajú na modelovanie normálnych vzorov vo video sekvenciách [3–5, 7, 8, 10, 11]. (tieto metódy sa učia model reprezentácie funkcií normálneho vzoru vo fáze tréningu a používajú rozdiely medzi abnormálnymi a normálnymi vzorkami na určenie konečného abnormálneho skóre testovacích údajov počas fázy testovania, ako sú chyby rekonštrukcie alebo špecifické prahy [7] –14]. Hoci metódy detekcie anomálií založené na rekonštrukcii sú dobré pri rekonštrukcii normálnych vzorov vo video sekvenciách, kľúčovým problémom týchto metód je, že sa vo veľkej miere spoliehajú na trénovacie dáta. Iný typ metódy považuje detekciu anomálií za klasifikačný problém [ 15, 16]. Pre tieto metódy sa skóre anomálií video sekvencie predpovedá pomocou trénovaného klasifikátora na extrakciu prvkov, ako je histogram optického člena (HOF) alebo dynamická textúra (DT). (Výkon týchto metód je Na získanie uspokojivého výkonu je pre takéto metódy detekcie anomálií nevyhnutné extrahovanie efektívnych a diskriminačných znakov [17–20]. Tieto dva typy metód však zvyčajne modelujú vzťahy medzi udalosťami relatívne jednoduchým spôsobom [7, 10, 21–23]. Napríklad sa berie do úvahy iba lineárny vzťah, ktorý v mnohých prípadoch v reálnom svete nestačí na zložité, vysoko nelineárne vzťahy.

Púštna živá cistanche

V posledných rokoch boli metódy založené na hlbokom učení aplikované v oblasti detekcie videa a dosiahli veľký pokrok [24–26]. Napríklad autoenkódery (AE) používajú chyby rekonštrukcie na detekciu anomálií a na tomto základe sa zlepšila séria metód. Okrem toho boli na vyriešenie problému detekcie anomálií aplikované aj generatívne adversariálne siete (GAN) a dlhodobá krátkodobá pamäť (LSTM). Avšak AE môže mať silnú schopnosť generalizácie, čo vedie k schopnosti rekonštruovať abnormálne udalosti. V [14] výskumníci poukázali na to, že keďže neexistujú žiadne abnormálne tréningové vzorky, rekonštrukcia abnormálnych vzoriek by mala byť nepredvídateľná, čo môže viesť k väčším chybám rekonštrukcie abnormálnych vzoriek. Ak niektoré anomálie zdieľajú spoločný vzor kompozície s normálnymi trénovacími údajmi alebo je dekodér „príliš silný“ a nedokáže dobre dekódovať niektoré kódy anomálie, potom AE dokáže anomáliu dobre zrekonštruovať. Na prekonanie nedostatkov AE tento dokument používa pamäťový modul na zlepšenie hĺbkovej AE a vyvíja metódu AE s rozšírením pamäte (Memory AE). Keď je vložená nová testovacia vzorka, Memory AE ju priamo nezakóduje a nevloží do dekodéra, ale použije ju ako dotaz na získanie relevantného obsahu v pamäťovom module. (sk, obsah je agregovaný a odovzdaný do dekodéra. (tento proces je realizovaný adresovaním pozornosti. Okrem toho tento článok používa diferencovateľné operátory zmršťovania na vyvolanie vzácnosti váh adresovania pamäte, čo môže povzbudiť obsah pamäte, aby pristupoval k dopytom vo funkcii priestor. Počas tréningovej fázy kodér a dekodér aktualizujú pamäťový modul súčasne, aby získali nižšiu priemernú chybu rekonštrukcie. V testovacej fáze je naučený obsah pamäte pevný a použije sa malé množstvo bežných pamäťových položiek na rekonštrukciu. Ak sa tieto vyberú ako susedstvo vstupného kódu, chyba rekonštrukcie bude veľmi zrejmá. Experimenty na niekoľkých verejných referenčných súboroch údajov ukazujú, že detekčný výkon Memory AE dosiahol stav techniky.

Hlavné chemické zložky Cistanche deserticola

2. Princíp algoritmu

Obrázok 1 ukazuje celkovú sieťovú štruktúru Memory AE, ktorá je rozdelená do troch podštruktúr: kodér (používaný na kódovanie vstupu a generovanie dotazov), dekodér (používaný na rekonštrukciu) a pamäťový modul (s pamäťou a súvisiacimi operáciami adresovania). Ako je znázornené na obrázku 1, pri danej udalosti, ktorá sa má testovať, kódovač najskôr získa svoju kódovanú hodnotu. Použitím kódovanej hodnoty ako dotazu pamäťový modul získa najrelevantnejší obsah v pamäťovom module prostredníctvom adresovacieho operátora založeného na pozornosti a potom ho odovzdá dekodéru na rekonštrukciu. Počas tréningu kodér a dekodér optimalizujú parametre, aby sa minimalizovala chyba rekonštrukcie a súčasne sa aktualizuje pamäťový modul na zaznamenávanie prototypových prvkov zakódovaných normálnych dát. Vzhľadom na testovaciu vzorku model používa iba obmedzené normálne vzory zaznamenané v pamäťovom module na vykonanie rekonštrukcie. Týmto spôsobom má rekonštrukcia tendenciu byť blízko normálnej vzorky. Preto je chyba rekonštrukcie normálnej vzorky malá a abnormálna chyba je veľká.

Obrázok 1: (vývojový diagram navrhovanej pamäte AE.

2.1. Kódovače a dekodéry. (E kodér a dekodér sú dve časti AE. (Prvý z nich mapuje vstupné dáta do priestoru vlastností, aby získal ich kódovanú hodnotu, a druhý kódovanú hodnotu rekonštruuje na vstupné dáta. (E AE sa skladá z kodér fw1 (·) a dekodér gw2 (·), ktoré možno vyjadriť ako

kde x a x′ je vstup AE a rekonštruovaného vstupu, v tomto poradí, z sú výsledky kódovania x a W1 a W2 označujú parametre kódovača a dekodéra, ktoré možno získať minimalizáciou chyby rekonštrukcie medzi x a x′:

Rekonštrukciou chyby normálnej vzorky [19, 20] s cieľom určiť, či je abnormálna, bola AE úspešne použitá na vyriešenie úlohy abnormálnej detekcie. Rekonštrukcia abnormálnych vzoriek by však mala byť nepredvídateľná, čo môže viesť k väčším chybám rekonštrukcie abnormálnych vzoriek. Na vyriešenie tohto problému je do AE v časti 2.2 zavedený pamäťový modul a navrhuje sa pamäťový AE.

2.2. Pamäťový modul. (Navrhovaný spôsob zahŕňa pamäťový modul na zaznamenávanie režimu kódovania prototypu a operáciu adresovania na prístup k pamäťovému modulu.

2.2.1. Reprezentácia založená na pozornosti. (modul pozornosti je navrhnutý ako matica M ∈ RN×C obsahujúca N vektorov v reálnom čase. Pre jednoduchosť predpokladajme, že C je rozmer z; potom nech Ζ � RC. Pri riadkovom vektore mi, ∀i ∈ [ N], kde [N] je celé číslo od 1 do N. Každá predstavuje mi pamäťovú položku; za predpokladu množiny dopytov z ∈ RC pamäťová sieť získa? z a odpovie vektorom mäkkej adresy w ∈ R1×N ako nasleduje:

kde w je riadkový vektor a súčet všetkých položiek je 1, čo predstavuje wi, položku w z i. (e hmotnostný vektor w možno získať výpočtom z. Ako ukazuje rovnica (4), váha adresy musí byť blízko w k pamäťovému modulu. (zmiešaný parameter je definovaný ako N, maximálna kapacita pamäťového modulu. Hoci je to N, nie je ľahké nájsť to najlepšie pre rôzne množiny údajov, našťastie Memory AE nie je citlivé na nastavenie N. Dostatočne veľké N možno dobre aplikovať na každý súbor údajov.

2.2.2. Pozor na adresovanie pamäte. V Memory AE je pamäťový modul navrhnutý tak, aby detailne zaznamenával pôvodný normálny režim M tréningovej fázy. (Pamäťový modul je definovaný ako obsahovo adresovateľná pamäť, z⌢ a jeho schéma adresovania vypočítava w, váhu pozornosti, na základe podobnosti medzi dotazom a pamäťovou položkou. Ako je znázornené na obrázku 1, každú váhu možno vypočítať pomocou prevádzka softmax s:

kde d(·, ·) predstavuje mieru podobnosti. (je papier to definuje ako kosínusová podobnosť:

Rovnako ako rovnice (4) – (6), pamäťový modul získava najpodobnejšiu pamäťovú položku, aby získal reprezentáciu z. Kvôli obmedzenej veľkosti pamäte a technológii riedkeho adresovania je možné naraz adresovať len malý počet položiek internej pamäte. (efektívne správanie pamäťového modulu je preto možné vysvetliť nasledovne. Vo fáze trénovania je dekodér v Memory AE obmedzený na použitie veľmi malého počtu addressable pamäťových položiek na rekonštrukciu, čo si vyžaduje efektívne využitie pamäťových položiek. (preto , pri rekonštrukcii je potrebné pamäťový modul prinútiť zaznamenať najreprezentatívnejší prototypový režim vo vstupnom normálnom režime.V testovacej fáze, vzhľadom na natrénovanú pamäť, je možné na rekonštrukciu získať len normálny režim v pamäti.(preto Normálne vzorky sa dajú lepšie rekonštruovať. Naopak, kódovaná hodnota abnormálneho vstupu môže byť nahradená získaným normálnym vzorom, čo vedie k veľkej chybe rekonštrukcie v abnormálnej vzorke.

2.3. Školenie. Vzhľadom na súbor údajov obsahujúci vzorky xi? ?TI�1, nech xi′ označuje rekonštrukčné vzorky xi v trénovacích vzorkách; minimálna refaktorizácia sa vykonáva takto:

(norma e l2 sa používa na meranie chyby rekonštrukcie; wi′ predstavuje váhu adresovania pamäte každej vzorky xi. Aby sa ďalej podporila vzácnosť w′, riedka regularizácia je počas tréningu minimalizovaná. Vzhľadom na to, že všetky w′ sú nezáporné a ‖w′‖1 � 1, optimalizačný problém je vytvorený takto:

Kombináciou stratovej funkcie rovnice (7) a rovnice (8) je objektívna funkcia Memory AE nasledovná:

tu je hyperparameter v tréningovom procese. V praxi je nastavený na 0.0002. V tréningovom procese sa pamäť aktualizuje prostredníctvom spätného šírenia a zostupu gradientu. Pri spätnom šírení môže byť nenulový iba gradient položky pamäte s nenulovou váhou adresovania.

2.4. Test. Po natrénovaní modelu možno chybu rekonštrukcie pixelu v polohe (x, y) zubového rámu t vypočítať podľa nasledujúcej rovnice:

kde h(·) predstavuje celý model. Vzhľadom na chybu rekonštrukcie desiatej snímky na úrovni pixelov možno chybu rekonštrukcie celej snímky snímky získať súčtom e(t) � . (x, y) e (x, y, t). (sk, skóre anomálií snímky možno vypočítať takto:

Nakoniec je možné nastaviť prah na určenie, či je abnormálny, pretože s(t) > θ.

3. Experimentujte

V tejto časti je overená účinnosť navrhovanej metódy a porovnávaná s inými existujúcimi metódami. V súčasnosti sa na experimenty používajú dva verejné súbory údajov, tj súbor údajov Avenue a súbor údajov ShanghaiTech. (ako kvantitatívne hodnotiace indikátory sa používajú oblasť na úrovni rámca pod krivkou (AUC) a EER.

3.1. Príprava. (Dátový súbor e Avenue využíva pevnú kameru s rozlíšením 640 × 360 pixelov na zachytenie a záznam pouličných aktivít City University of Hong Kong. (E dataset Computational Intelligence and Neuroscience 3 obsahuje 16 tréningových videoklipov obsahujúcich normálne ľudské správanie a 21 testovacie videoklipy obsahujúce abnormálne udalosti a ľudské správanie. Má celkovo 30 652 snímok a všetky testovacie videá majú anotácie na úrovni cieľa, čo znamená, že obdĺžniková oblasť sa používa na označenie anomálií v priestorových polohách. Normálne správanie je ľudí, ktorí kráčajú po chodník, zatiaľ čo abnormálne udalosti sú ľudia, ktorí zahadzujú odpadky/odhadzujú predmety, blúdia, kráčajú smerom ku kamere, chodia po tráve a odhadzujú predmety. (ShanghaiTech dataset je veľmi náročná zbierka na detekciu abnormálnych udalostí. Na rozdiel od iných datasetov obsahuje 13 rôznych scény s rôznymi svetelnými podmienkami a uhlami kamery, vrátane celkom 330 tréningových videí a 107 testovacích videí. (Testovacia sada obsahuje celkovo 130 abnormálnych udalostí s anotáciami na úrovni pixelov. (celkový súbor údajov má spolu 316 154 snímok, vrátane 274 515 snímok v trénovacej sade, 42 883 snímok v testovacej sade a 17 090 snímok v abnormálnej snímke. (rozlíšenie každej snímky videa je 480 × 856. (model je testované na platforme s hardvérovou platformou NVIDIA GTX1080TI a 8 GB videopamäte a softvérové ​​prostredie je PyTorch a Python 3.6. Na meranie účinnosti metódy detekcie anomálií videa navrhovanej v tomto dokumente, AUC na úrovni rámca Ako hodnotiaci index sa používa krivka prevádzkovej charakteristiky prijímača (ROC). V prípade indikátorov hodnotenia na úrovni snímok, ak je aspoň jeden pixel snímky označený ako abnormálny, snímka sa považuje za abnormálnu. A AUC na úrovni snímky sa vypočíta porovnaním výsledok detekcie na úrovni rámca s úrovňou rámca skutočného štítku.

Hlavné chemické zložky Cistanche deserticola

Kliknite sem pre zobrazenie produktov Cistanche

【Požiadať o viac】 E-mail:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

3.2. Experimentálne nastavenie. Všetky snímky videa sa upravia na 227 × 227 a potom sa skonvertujú na obrázky v odtieňoch sivej. (vstup modelu je 227 × 227 × 5, to znamená, že ako vstup modelu je použitých 5 po sebe idúcich snímok. Po každej konvolučnej vrstve je vrstva normalizácie dávky a vrstva excitácie ReLU. (napr. dekodér obsahuje 4 dekonvolučné vrstvy. (modul pozornosti je nastavený tak, aby umožnil každému segmentu pamäte zaznamenať funkciu na pixel v mape prvkov, ktorá zodpovedá podoblasti segmentu videa. (preto je pamäťový modul 10 00 × 64 matica. (Na optimalizáciu parametrov celého modelu je vybratý optimalizátor Adam. (Počiatočná rýchlosť učenia je 0,0001 a počet iterácií je 1 000. (parameter hybnosti je ρ1 � 0,9 a ρ2 � 0,999 a veľkosť dávky je 128.

3.3. Experimentálne výsledky. Aby sa preukázala účinnosť navrhovanej metódy pri detekcii anomálií videa, táto práca ju porovnáva s 12 rôznymi existujúcimi metódami. Medzi nimi MPPCA (hybrid pravdepodobnostného analyzátora hlavných komponentov) plus SF (sociálna sila) [17] a MDT (hybrid dynamickej textúry) [18] sú metódy založené na manuálnych vlastnostiach; Conv-AE [8], 3D Conv [19], Stacked RNN [20] a ConvLSTM-AE [21], MemNormality [10] a ClusterAE [22] sú všetky metódy založené na automatických kódovačoch; AbnormalGAN [7] a Pred plus Recon [23] sú založené na generovaní metódy kontradiktórnych sietí. Tabuľka 1 ukazuje výsledky detekcie anomálií videa na úrovni snímok rôznych metód. Je možné pozorovať, že vo výsledkoch týchto dvoch súborov údajov je metóda založená na AE zvyčajne lepšia ako metóda založená na ručne vyrobených vlastnostiach a získavajú sa vyššie AUC na úrovni rámca. (je to preto, že ručne vyrobené prvky sa zvyčajne extrahujú na základe iných úloh, a preto nemusia byť optimálne. V metódach založených na AE je ConvLSTM-AE lepšia ako Conv-AE, pretože prvá dokáže lepšie zachytiť informácie o čase. Okrem toho môže tiež treba poznamenať, že metódy založené na GAN fungujú lepšie ako väčšina základných metód. Nakoniec, metóda Memory AE navrhovaná v tomto dokumente dosahuje 85,7 percenta AUC na úrovni rámca v súbore údajov Avenue, čo je o 0,6 percenta pred najvýkonnejšími Pred plus Recon [23] metóda; zatiaľ čo metóda navrhovaná v tomto dokumente dosiahla 75,3 percenta AUC na úrovni rámca na súbore údajov ShanghaiTech, čo je o 2 percentá pred ostatnými metódami v AUC na úrovni rámca, a účinok je veľmi zrejmý (hlavne preto, že navrhovaná metóda založená na Memory AE využíva pamäťové fragmenty, ktoré dokážu dobre rekonštruovať anomálie a zaviesť niektoré náhodné chyby. Okrem toho v porovnaní so súborom údajov Avenue dosiahol súbor údajov ShanghaiTech vyššiu AUC na úrovni rámca (hlavne preto, že súbor údajov ShanghaiTech obsahuje viac scén a abnormálne udalosti, ktoré sa predtým neobjavili v iných datasetoch, čo je komplikovanejšie. Na overenie výsledkov detekcie jednej scény v súbore údajov ShanghaiTech sa na školenie a testovanie používa segment videa s jednou scénou. 83 segmentov (25 percent ) sa používa na trénovanie a 34 segmentov (32 percent ) sa používa na testovanie, čím sa dosahuje 86,3 percenta AUC na úrovni rámca, ktorá dosiahla úroveň podobnú tej v súbore údajov Avenue. Stručne povedané, navrhovaná metóda Memory AE sa dá flexibilne aplikovať na rôzne typy údajov. Len použitím rekonštrukčných chýb môže navrhovaná metóda získať lepšie výsledky s najmenej špecifickými znalosťami. Aby bolo možné vyhodnotiť výkon preddefinovaného pamäťového modulu pri zisťovaní abnormálnych video udalostí, ďalším krokom je zmeniť veľkosť pamäťového modulu a vykonať experimenty na množine údajov Avenue, pričom hodnoty AUC na úrovni snímok sú uvedené v tabuľke 2. možno zistiť, že pri dostatočne veľkej veľkosti pamäťového modulu môže metóda Memory AE produkovať najlepšie výsledky robustne. Keď je veľkosť pamäťového modulu väčšia ako 1 000, vplyv na výsledok detekcie je malý, ale použitie väčšej veľkosti pamäťového modulu bude mať za následok väčšie množstvo výpočtov, preto sa veľkosť pamäťového modulu zvolí ako 1 000. Obrázky 2(a) a 2(b), v tomto poradí, ukazujú niektoré výsledky detekcie v súbore údajov Avenue a súboru údajov ShanghaiTech. (e Tabuľka 1: Porovnanie s najmodernejšími metódami z hľadiska AUC.

lepšie ako metóda založená na ručne vyrobených prvkoch a získajú sa vyššie AUC na úrovni rámca. (je to preto, že ručne vyrobené prvky sa zvyčajne extrahujú na základe iných úloh, a preto nemusia byť optimálne. V metódach založených na AE je ConvLSTM-AE lepšia ako Conv-AE, pretože prvá dokáže lepšie zachytiť informácie o čase. Okrem toho môže tiež treba poznamenať, že metódy založené na GAN fungujú lepšie ako väčšina základných metód. Nakoniec, metóda Memory AE navrhovaná v tomto dokumente dosahuje 85,7 percenta AUC na úrovni rámca v súbore údajov Avenue, čo je o 0,6 percent viac ako najvýkonnejšia metóda Pred plus Recon [23]; zatiaľ čo metóda navrhovaná v tomto dokumente dosiahla 75,3 percenta AUC na úrovni rámca na súbore údajov ShanghaiTech, čo je o 2 percentá pred ostatnými metódami v AUC na úrovni rámca, a účinok je veľmi zrejmý (je to hlavne preto, že navrhovaná metóda založená na Memory AE používa pamäťové fragmenty, ktoré dokážu dobre rekonštruovať anomálie a zaviesť niektoré náhodné chyby. Okrem toho v porovnaní so súborom údajov Avenue, súbor údajov ShanghaiTech dosiahol vyššiu AUC na úrovni snímok. (je hlavne preto, že súbor údajov ShanghaiTech obsahuje viacero scén a abnormálnych udalostí, ktoré sa predtým neobjavili v iných súboroch údajov, čo je zložitejšie. Na overenie výsledkov detekcie jednej scény v súbore údajov ShanghaiTech sa na školenie a testovanie používa segment videa s jednou scénou. 83 segmentov (25 percent ) sa používa na trénovanie a 34 segmentov (32 percent ) sa používa na testovanie, čím sa dosahuje 86,3 percenta AUC na úrovni rámca, ktorá dosiahla úroveň podobnú tej v súbore údajov Avenue. Stručne povedané, navrhovanú metódu Memory AE možno flexibilne aplikovať na rôzne typy údajov. Len použitím rekonštrukčných chýb môže navrhovaná metóda získať lepšie výsledky s najmenej špecifickými znalosťami. Aby bolo možné vyhodnotiť výkon preddefinovaného pamäťového modulu pri zisťovaní abnormálnych video udalostí, ďalším krokom je zmeniť veľkosť pamäťového modulu a vykonať experimenty na množine údajov Avenue, pričom hodnoty AUC na úrovni snímok sú uvedené v tabuľke 2. možno zistiť, že pri dostatočne veľkej veľkosti pamäťového modulu môže metóda Memory AE produkovať najlepšie výsledky robustne. Keď je veľkosť pamäťového modulu väčšia ako 1 000, vplyv na výsledok detekcie je malý, ale použitie väčšej veľkosti pamäťového modulu bude mať za následok väčšie množstvo výpočtov, preto sa veľkosť pamäťového modulu zvolí ako 1 000. Obrázky 2(a) a 2(b), v tomto poradí, ukazujú niektoré výsledky detekcie v súbore údajov Avenue a súboru údajov ShanghaiTech. (rámčeky v zelenom rámčeku sú normálne rámčeky z bežných videoklipov a rámčeky v červenom rámčeku sú abnormálne rámčeky z nenormálnych videoklipov. Niektoré abnormálne udalosti, ako napríklad padanie konfiet, jazda na bicykli po chodníku, bitie atď., môžu byť zistený.

Tabuľka 2: (e vplyv počtu veľkostí pamäte na experimentálne výsledky súboru údajov Avenue (úroveň rámca AUC/percento).

Obrázok 2: Príklady výsledkov detekcie. (a) Príklad zo súboru údajov Avenue. (b) Príklad zo súboru údajov ShanghaiTech.

4. Záver

(Tento článok navrhuje Memory AE na zlepšenie výkonu detekcie anomálií veľkých dát vo videách. Vzhľadom na vstup navrhovaná metóda Memory AE najprv používa kódovač na získanie kódovanej reprezentácie a potom používa kód ako dotaz na získanie najrelevantnejšieho vzory v pamäťovom module na rekonštrukciu Keďže pamäťový modul je trénovaný na zaznamenávanie typických normálnych vzorov, navrhovaná pamäť AE dokáže dobre rekonštruovať normálne vzorky a zväčšiť chybu rekonštrukcie abnormalít, čo posilňuje úlohu chyby rekonštrukcie ako štandardu detekcie abnormalít. Experimenty na dvoch súboroch údajov dokazujú všestrannosť a efektívnosť navrhovanej metódy. V budúcnosti budeme študovať využitie váh adresovania na detekciu anomálií. Vzhľadom na to, že navrhovaný pamäťový modul je univerzálny a nemá nič spoločné so štruktúrou kódovača a dekodéra, bude integrovaný do zložitejšieho základného modelu a použitý v experimentoch na náročnejších súboroch údajov.

Doplnok Cistanche v mojej blízkosti – Zlepšenie pamäte

Referencie

[1] F. Dong, Y. Zhang a X. Nie, "Duálna diskriminačná generatívna adversariálna sieť na detekciu anomálií videa," IEEE Access, zv. 8, s. 88170 – 88176, 2020.

[2] K. Doshi a Y. Yilmaz, „Any-shot sekvenčná detekcia anomálií v sledovacích videách“, v Proceedings of the CVPRW, str. 934-935, Seattle, WA, USA, jún 2020.

[3] K. Doshi a Y. Yilmaz, „Neustále učenie sa na detekciu anomálií v sledovacích videách“, v Proceedings of the CVPRW, str. 254-255, Seattle, WA, USA, jún 2020.

[4] K. Jayanta, "Dutta a bonny Banerjee. Online detekcia abnormálnych udalostí pomocou prírastkovej dĺžky kódovania", v Proceedings of the AAAI, str. 3755–3761, Austin, Texas, USA, január 2015.

[5] Y. Feng, Y. Yuan a X. Lu, "Learning deep event models for crowd anomaly detection," Neurocomputing, zv. 219, s. 548–556, 2017.

[6] D. Gong, L. Liu, V. Le a kol., „Memorizing normality to detection anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection“, v Proceedings of the ICCV, str. 1705–1714, Soul, Kórea, október 2019.

[7] M. Ravanbakhsh, M. Nabi, E. Sangineto, L. Marcenaro, C. Regazzoni a N. Sebe, "Detekcia abnormálnych udalostí vo videách pomocou generatívnych adversariálnych sietí", v zborníku z medzinárodnej konferencie IEEE o spracovaní obrazu , s. 1577–1581, Peking, Čína, september 2017.

[8] M. Hasan, J. Choi, J. Neumann, AK Roy-Chowdhury a LS Davis, „Learning temporal regularity in videosequences“, v zborníku konferencie IEEE o počítačovom videní a rozpoznávaní vzorov, str. 733– 742, Las Vegas, NV, USA, jún 2016.

[9] W. Liu, W. Luo, D. Lian a S. Gao, „Predpoveď budúceho rámca pre detekciu anomálií – nová základná línia“, v Zborníku konferencie IEEE o počítačovom videní a rozpoznávaní vzoru, s. 6536– 6545, Salt Lake City, UT, USA, jún 2018.

[10] H. Park, J. Noh a B. Ham, „Učenie normality riadenej pamäťou na detekciu anomálií“, v zborníku konferencie IEEE o počítačovom videní a rozpoznávaní vzorov, str. 14 372–{{ 3}}, Seattle, WA, USA, jún 2020.

[11] MZ Zaheer, J.-h. Lee, M. Astrid a S.-I. Lee, „Staré je zlato: predefinovanie nepriaznivo naučenej paradigmy školenia klasifikátorov jednej triedy“, v Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, str. 14 183–214 193, Seattle, WA, USA, jún 2020.

[12] X. Zhu, J. Liu, J. Wang, Y. Fang a H. Lu, "Detekcia anomálií v preplnenej scéne prostredníctvom modelovania vzhľadu a dynamiky", v zborníku z medzinárodnej konferencie IEEE o spracovaní obrazu, s. 2705–2708, Melbourne, VIC, Austrália, september 2013.

[13] RVHM Colque, CAC J´unior a WR Schwartz, "Histogramy orientácie a veľkosti optického partnera na detekciu anomálnych udalostí vo videách", v Zborníku konferencie Sibgrapi o grafike, vzoroch a obrázkoch, s. 126–133 , Salvador, Bahia, Brazília, august 2015.

[14] Bo Zong, S. Qi, RM Martin a kol., „Deep autoencoding Gaussian mixed model for unsupervised anomaly detection“, v zborníku z medzinárodnej konferencie o zastupovaní vzdelávania, Vancouver, Kanada, apríl 2018.

[15] M. Sabokrou, M. Fayyaz, M. Fathy, Z. Moayed a R. Klette, "Hlboká anomália: plne konvolučná neurónová sieť na rýchlu detekciu anomálií v preplnených scénach", Computer Vision and Image Understanding, zv. 172, s. 88–97, 2018.

[16] C. Li, Z. Han, Q. Ye a J. Jiao, "Detekcia vizuálneho abnormálneho správania založená na analýze riedkej rekonštrukcie trajektórie", Neurocomputing, zv. 119, č. 7, s. 94–100, 2013.

[17] V. Mahadevan, W. Li, V. Bhalodia a N. Vasconcelos, "Detekcia anomálií v preplnených scénach", v Zborníku konferencie IEEE o počítačovom videní a rozpoznávaní vzorov (CVPR), s. IEEE, San Francisco, CA, USA, jún 2010.

[18] W. Li, V. Mahadevan a N. Vasconcelos, "Detekcia a lokalizácia anomálií v preplnených scénach", IEEE Transactions on Pattern Analysis and Machine Intelligence, zv. 36, s. 18–32, 2014.

[19] Y. Zhao, B. Deng, C. Shen, Y. Liu, H. Lu a X.-S. Hua, „Spatio-Temporal AutoEncoder for video anomaly detection“, v zborníku ACM International Conference on Multimedia (ACM MM), str. 1933–1941, ACM, Mountain View California USA, október 2017.

[20] W. Luo, L. Wen a S. Gao, "Revisit of sparse coding based anomaly detection in stacked RNN framework", in Proceedings of the IEEE International Conference on Computer Vision (ICCV), Benátky, Taliansko, október 2017.

[21] W. Luo, L. Wen a S. Gao, "Zapamätanie si histórie s konvolučným LSTM na detekciu anomálií", v Zborníku z medzinárodnej konferencie IEEE o multimédiách a výstave (ICME), str. 439–444, IEEE Hongkong, júl 2017.

[22] Y. Chang, Z. Tu, W. Xie a J. Yuan, "Hlboký autokóder riadený klastrami na detekciu anomálií videa", v Zborníku z Európskej konferencie o počítačovom videní (ECCV), s. Springer, Glasgow, Spojené kráľovstvo, august 2020.

[23] L. Wen, W. Luo, D. Lian a S. Gao, „Predpoveď budúceho rámca pre detekciu anomálií – nová základná línia“, v zborníku konferencie IEEE o počítačovom videní a rozpoznávaní vzorov (CVPR), s. 6536–6545, IEEE, Salt Lake City, UT, USA, jún 2018.

[24] M. Song, "A mean field view of the landscape of two-layer neuron networks," Proceedings of the National Academy of Sciences, vol. 115, č. 33, s. E7665–E7671, 2018.

[25] B. Ding a G. Wen, "Sparsity constraint najbližšie subspace classifier for target recognition of SAR images," Journal of Visual Communication and Image Representation, zv. 52, s. 170–176, 2018.

[26] T. Wang a H. Snoussi, "Detekcia abnormálnych vizuálnych udalostí prostredníctvom globálneho optického orientačného histogramu", IEEE Transactions on Information Forensics and Security, zv. 9, č. 6, s. 988–998, 2014.