Vylepšená extrakcia parametrov funkcie z rečových signálov pomocou algoritmu strojového učenia (1)

Abstraktné: Rozpoznávanie reči sa vzťahuje na schopnosť softvéru alebo hardvéru prijať rečový signál, identifikovať vlastnosti hovoriaceho v rečovom signáli a následne ho rozpoznať. Vo všeobecnosti proces rozpoznávania reči zahŕňa tri hlavné kroky: akustické spracovanie, extrakciu funkcií a klasifikáciu/rozpoznanie. Účelom extrakcie vlastností je ilustrovať rečový signál pomocou vopred určeného počtu zložiek signálu. Je to preto, že manipulácia so všetkými informáciami v akustickom signáli je príliš ťažkopádna a niektoré informácie sú pre úlohu identifikácie irelevantné. Táto štúdia navrhuje prístup založený na strojovom učení, ktorý vykonáva extrakciu parametrov funkcie z rečových signálov na zlepšenie výkonu aplikácií rozpoznávania reči v prostredí inteligentných miest v reálnom čase. Navyše princíp mapovania bloku hlavnej pamäte do vyrovnávacej pamäte sa efektívne využíva na skrátenie výpočtového času. Veľkosť bloku vyrovnávacej pamäte je parameter, ktorý výrazne ovplyvňuje výkon vyrovnávacej pamäte. Najmä implementácia takýchto procesov v systémoch v reálnom čase si vyžaduje vysokú výpočtovú rýchlosť. Rýchlosť spracovania hrá dôležitú úlohu pri rozpoznávaní reči v systémoch v reálnom čase. Vyžaduje použitie moderných technológií a rýchlych algoritmov, ktoré zvyšujú zrýchlenie pri extrakcii parametrov funkcie z rečových signálov. Problémy s pretaktovaním počas digitálneho spracovania rečových signálov musia byť ešte úplne vyriešené. Experimentálne výsledky ukazujú, že navrhovaná metóda úspešne extrahuje vlastnosti signálu a dosahuje bezproblémový výkon klasifikácie v porovnaní s inými konvenčnými algoritmami rozpoznávania reči.

Cistanche deserticola

Kľúčové slová: rozpoznávanie reči; paralelné výpočty; distribuovaná výpočtová technika; viacjadrový procesor; Extrakcia funkcií; spektrálna analýza

1. Úvod

Vytvorenie komunikačných prístupov medzi ľuďmi a počítačovou technológiou je kritickou úlohou modernej umelej inteligencie. Jeden z najjednoduchších spôsobov zadávania informácií používateľom je prostredníctvom rečových signálov. Preto sa technológia spracovania rečových signálov a jej nástroje stali nevyhnutnou súčasťou informačnej spoločnosti. Rozpoznávanie reči je základným výskumným aspektom spracovania rečového signálu a životne dôležitou technikou interakcie medzi človekom a počítačom. Rečové signály obsahujú sémantické, osobné a environmentálne informácie [1]. Všeobecným prístupom k spracovaniu rečového signálu je použitie krátkodobej analýzy, pri ktorej je signál rozdelený do časových okien pevnej veľkosti za predpokladu, že sa parametre signálu nemenia. Medzi oknami je umiestnené prekrytie, aby sa získala presnejšia reprezentácia signálu. Algoritmy extrakcie prvkov, ako je spektrálna analýza a lineárna predikcia, sa aplikujú na každé okno. Tieto procesy by však mali brať do úvahy aj rýchlosť a čas.

Púštny ženšen

Časovanie je významným problémom v niekoľkých oblastiach spracovania signálu v reálnom čase. Pomer rýchlosti spracovania možno zvýšiť efektívnym využívaním zdrojov procesora a vývojom nových a rýchlych algoritmov na skrátenie času digitálneho spracovania. Problémy s vysokovýkonnými počítačmi však ešte neboli úplne vyriešené [2]. Okrem toho sa s vývojom hardvéru a softvéru na digitálne spracovanie signálu dosiahol značný pokrok v automatickom rozpoznávaní reči. Napriek týmto pokrokom sa však stroje nedokážu vyrovnať výkonom svojich ľudských náprotivkov, pokiaľ ide o presnosť a rýchlosť rozpoznávania, najmä pri rozpoznávaní reči nezávislého od hovorcu. Veľké množstvo výskumov, ktoré sa uskutočnili v oblasti rozpoznávania reči, sa teda zameralo na problémy rozpoznávania reči, ktoré sú nezávislé od hovoriaceho, a to z dôvodu širokého rozsahu aplikácií a obmedzení dostupných techník rozpoznávania reči [3].

Stručne povedané, hlavné prínosy štúdie sú nasledovné:

Čaj Cistanche

Kliknutím sem zobrazíte čajové produkty Cistanche deserticola

【Požiadať o viac】 E-mail:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Proces identifikácie osoby rečovými signálmi pozostáva z niekoľkých etáp. Medzi nimi niektoré kroky vyžadujú viac času na výpočet. Toto je spektrálna analýza. Jedným z parametrov, ktorý je obzvlášť dôležitý v algoritmoch strojového učenia, je čas tréningu. V tejto práci sme zistili, že proces extrakcie znakov je dôležitý pre identifikáciu rečových signálov. Strojové učenie si navyše vyžaduje veľa času. Zistilo sa, že proces spektrálnej analýzy pozostáva z nezávislých operácií a je možná paralelizácia.

Experimenty ukázali, že FFT a DCT spektrálne transformácie poskytujú dobré výsledky v spektrálnej analýze. Proces spektrálnej analýzy je platný pre každý segment rečového signálu. To nám umožňuje jasne odlíšiť tieto vlastnosti od rečového signálu. S pomocou nástrojov OpenMP a TBB bol vyvinutý paralelný výpočtový algoritmus, ktorý umožnil urýchliť výpočty.

Veľkosť segmentu je dôležitá pri rozdeľovaní rečového signálu na segmenty. Počas experimentov sa zistilo, že veľkosť segmentu rečového signálu závisí od vyrovnávacej pamäte centrálneho procesora. Zistilo sa najmä, že prispôsobenie segmentu veľkosti vyrovnávacej pamäte vo viacjadrových procesoroch má pozitívny vplyv na výpočtovú rýchlosť pri strojovom učení.

Navrhuje sa nová metóda paralelnej implementácie pre spektrálne transformácie signálov na extrakciu parametrov vlastnosti z rečových signálov pomocou algoritmu strojového učenia na viacjadrových procesoroch využívajúcich TBB a OpenMP.

Zistilo sa tiež, že efektívne využitie princípu mapovania hlavného pamäťového bloku na cache a veľkosť bloku cache pamäte môže zvýšiť rýchlosť spracovania.

Doplnok Cistanche v mojej blízkosti – Zlepšenie pamäte

Zvyšok tohto dokumentu je usporiadaný nasledovne. Časť 2 skúma existujúce štúdie na extrakciu špecifických vlastností rečového signálu. Časť 3 popisuje kroky extrakcie funkcií s experimentmi. Časť 4 podrobne predstavuje navrhovaný vysokovýkonný výpočtový algoritmus na extrahovanie parametrov funkcie z rečových signálov. Experimentálne výsledky založené na našej implementácii sú diskutované v časti 5. Časť 6 zdôrazňuje obmedzenia navrhovanej metódy. Nakoniec časť 7 uzatvára štúdiu zhrnutím zistení a poznamenaním budúcich smerov výskumu.

2. Súvisiace práce

V súčasnosti sa vyvíjajú a zdokonaľujú nové metódy, algoritmy a modernejšie aplikácie na segmentáciu rečových signálov a výpočet parametrických indikátorov vybraných fragmentov, čím sa vytvorí spektrogram rečových signálov pomocou spektrálnej analýzy [4–7]. Identifikácia reproduktora pomocou diverzifikovaných hlasových klipov na celom svete je kľúčovou a náročnou úlohou, najmä pri získavaní silných a diskriminačných prvkov [8]. Korkmaz et al. navrhol nový systém Mel Frequency Cepstral Coefficients (MFCC) s extrakčným systémom, ktorý je rýchlejší a energeticky efektívnejší ako tradičná realizácia MFCC. [9]. Namiesto použitia hornopriepustného pre-zdôrazňujúceho filtra použili dolnopriepustný filter. Implementovali pásmový filter s hornopriepustným filtrom, pretože na zvýšenie energie signálu vo vysokých frekvenciách je potrebné predbežné zvýraznenie. V našej predchádzajúcej práci [10] sme predstavili novú metódu na identifikáciu reproduktorov založenú na MFCC. Namiesto použitia konvenčných MFCC používame pixely zo spektrogramu Mel ako našu sadu funkcií. Spektrogram bol transformovaný do 2-D poľa, aby sa vytvoril nový súbor údajov. Na identifikáciu rečníka sa v praxi použilo niekoľko učebných algoritmov s 10-technikou krížovej validácie. Pomocou viacvrstvového perceptrónu (MLP) s funkciou aktivácie tanh bola dosiahnutá najlepšia presnosť 90,2 percenta.

Extrakcia funkcie sa dosiahne zmenou priebehu reči na formu parametrickej reprezentácie pri relatívne menšej rýchlosti dát pre následné spracovanie a analýzu [11–14]. Prístupy extrakcie prvkov zvyčajne poskytujú viacrozmerný vektor znakov pre každý signál reči. Extrakcia funkcií je najdôležitejšou časťou rozpoznávania reproduktorov. Rysy reči majú zásadnú úlohu pri segregácii rečníka od ostatných. Extrakcia funkcie znižuje veľkosť rečového signálu bez toho, aby spôsobila akékoľvek poškodenie sily rečového signálu [15–17]. V [18] autori predstavili nový prístup, ktorý využíva jemné ladenie parametrov veľkosti a posunu okna spektrálnej analýzy používaného na výpočet počiatočnej krátkodobej Fourierovej transformácie na zlepšenie výkonu automatického rozpoznávania reči závislého od hovorcu. (ASR). V neprítomnosti lekárov môžu laici využívať systémy pomoci pri rozhodovaní, ktoré boli vytvorené pomocou prístupov umelej inteligencie. Včasná a neinvazívna detekcia srdcového stavu sa môže uskutočniť pomocou signálov fonokardiogramu (PCG) [19–21].

Ukázalo sa, že konvolučné neurónové siete (CNN) úspešne simulujú štrukturálnu lokalitu v priestore funkcií, ako aj využívajú združovanie v oblasti skreslenej frekvencie na zníženie translačných variácií a prispôsobenie sa poruchám a malým zmenám v priestore funkcií [22]. Mukhamadijev a kol. navrhol end-to-end hlbokú neurónovú sieť skrytú Markovov model rozpoznávania reči a hybridnú konekcionistickú dočasnú klasifikačnú sieť (CTC) pre uzbecký jazyk a jeho dialekty. Navrhovaný prístup skracuje čas tréningu a zlepšuje presnosť rozpoznávania reči efektívnym využitím CTC objektívnej funkcie pri tréningu modelu pozornosti [23]. Extrakcia a klasifikácia funkcií pomocou modelu jednorozmernej konvolučnej neurónovej siete (CNN), ktorý rozdeľuje zvukové signály srdca na normálne a abnormálne priamo nezávislé od elektrokardiogramu (EKG), bola navrhnutá v [24]. Tvrdia, že presnosť klasifikácie je vyššia v 1D CNN ako v 2D CNN pre signály srdcového zvuku použité v tejto štúdii, keď je konvolučné jadro menšie ako 52, pretože veľké konvolučné jadro môže viesť k výpočtovej zložitosti a je čoraz časovo náročnejšie. . V [25] bola trénovaná hlboká neurónová sieť na maximalizáciu posteriórnej presnosti stavových sekvencií akustických modelov týkajúcich sa sekvencií rečových znakov pomocou databázy TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Predspracovanie: Prehľad materiálu

Doplnok Cistanche v mojej blízkosti – Zlepšenie pamäte

Na tento účel je nevyhnutný vývoj rýchlych algoritmov na extrakciu parametrov znakov z rečových signálov a parametrických reprezentácií, extrakcia pomocných a informatívnych vzoriek na spracovanie a vývoj programov na implementáciu spektrogramov vybraných akustických segmentov.

Systémy rozpoznávania reči pozostávajú z dvoch hlavných podsystémov:

Primárne spracovanie rečových signálov (fonogram);

Klasifikácia akustických symbolov pomocou inteligentného algoritmu (spektrogramu).

Prvý subsystém generuje akustické symboly ako súbor informatívnych akustických vlastností signálov a charakteristík signálov. Druhý subsystém prevádza rečový signál do parametrickej podoby na základe získaných akustických charakteristík. Spracovanie rečového signálu pozostáva z nasledujúcich fáz:

Oddelenie hraníc rečového signálu;

Digitálne filtrovanie;

Segmentácia;

Aplikácia vyhladzovacieho okna;

Spektrálna transformácia a normalizácia spektrálnych frekvencií.

Tieto kroky sa vo veľkej miere používajú na extrahovanie parametrov vlastností z rečových signálov a ich hlavné vlastnosti sú uvedené v nasledujúcom texte.

3.1. Oddelenie hraníc

Extrakcia iba častí reči z prichádzajúceho signálu alebo určenie počiatočných a koncových momentov vety v hlučnom prostredí je základnou úlohou pri spracovaní reči. Na vyriešenie tohto problému sa používajú nasledujúce vlastnosti rečového signálu: krátkodobá energia rečového signálu, počet bodov pretínajúcich sa v nule, hustota rozloženia hodnôt poľa ticha v rámci signálu a spektrálnej entropie. Tradičné systémy rozpoznávania reči používajú techniky, ktoré sú založené na prechodných a spektrálnych energiách signálu (napr. detekcia hlasovej aktivity) na určenie hraníc reči z prichádzajúcich signálov reči [26–28].

Hlavnými parametrami rečového signálu sú krátkodobá energia rečového signálu a počet bodov prechádzajúcich nulou. Spravidla sa parametre rečového signálu v priebehu času rýchlo menia; preto je zvykom spracovávať rečový signál na fragmenty s dĺžkou 10 až 30 ms, ktoré sa neprekrývajú. Rečový signál je v tomto rozsahu stacionárny a oblasti ticha v rečovom signáli sú odstránené výpočtom prechodovej energie. Algoritmus na riešenie tohto problému je rozdelený do N sekvencií 256 krátkodobých energetických hodnôt nasledujúceho rečového signálu.

Výpočet energie každého fragmentu delením rečového signálu je vhodný pre paralelné a distribuované výpočty. Každý fragment je spracovaný nezávisle. Ak sa spracovanie použije v n-jadrovom multiprocesore, bude možné vypočítať energiu n fragmentov súčasne. Preto je možné v tejto fáze zvýšiť efektivitu paralelného spracovania [29–32].

3.2. Počet prechodov nulou

Prechod nulou je bod, v ktorom sa mení znamienko matematickej funkcie (napr. z kladného na záporné), ktorý je reprezentovaný priesečníkom osi (nulovou hodnotou) v grafe funkcie [33]. Frekvencia prechodu nulou v signáli môže byť najpriamejším indikátorom jeho spektrálnych vlastností. Napríklad počet bodov, ktoré prechádzajú nulou v rečovom signáli, možno určiť pomocou nasledujúcej rovnice:

Obrázok 1. Metóda separácie reči založená na spektrálnej entropickej analýze.

3.3. Digitálne filtrovanie

Okrem typického užitočného signálu sú prítomné rôzne typy šumu. Keďže hluk negatívne ovplyvňuje kvalitu systémov rozpoznávania reči, riešenie hluku je naliehavým problémom. Na zníženie úrovne šumu v systéme sa používajú dva typy digitálnych filtrov: linkový filter a počiatočný filter. Lineárny filter možno považovať za kombináciu nízko- a vysokofrekvenčných filtrov, pretože zachytáva všetky nízke a vysoké frekvencie. Počiatočné filtrovanie sa používa na minimalizáciu vplyvu lokálnych porúch na charakteristické znaky, ktoré sa používajú na následnú identifikáciu. Rečový signál musí prejsť cez dolnopriepustný filter na spektrálne zarovnanie [35].

3.4. Segmentácia

Segmentácia je proces rozdelenia rečového signálu na samostatné, neprekrývajúce sa fragmenty. Signál sa zvyčajne delí na rečové jednotky ako sú vety, slová, slabiky, fonémy alebo aj menšie fonetické jednotky. Segmentácia nahrávok, ktoré obsahujú výpovede mnohých rečníkov, môže pozostávať z priraďovania častí výpovedí konkrétnym rečníkom. Termín „segmentové stanice“ sa niekedy používa na označenie rozdelenia rečového signálu na rámce pred jeho parametrizáciou [36,37].

3.5. Spektrálna transformácia

Je potrebné rozlíšiť hlavné znaky rečových signálov, ktoré sa používajú v neskorších fázach procesu rozpoznávania reči. Počiatočné znaky sú určené analýzou spektrálnych vlastností rečových signálov. Algoritmus rýchlej Fourierovej transformácie sa bežne používa na získanie spektrálnej frekvencie rečového signálu [38,39].

3.6. Normalizácia spektrálnych frekvencií

Celý výpočtový proces v inteligentných algoritmoch je založený na pohyblivých desatinných číslach. Preto sú parametre objektov, ktoré sú klasifikované pomocou neurónových sietí, obmedzené na rozsah [{{0}}.0, 1.0]. Výsledné spektrum sa normalizuje medzi 0 a 1, aby sa použilo spektrálne spracovanie pomocou neurónovej siete. Aby sa to dosiahlo, každá zložka vektora je rozdelená na svoje maximálne zložky.

Metódy spektrálneho spracovania umožňujú využitie všetkých vzoriek údajov, ktoré sú získané z rečového signálu. Mnohé rečové signály majú špecifickú frekvenčnú štruktúru a spektrálne vlastnosti. Spektrálne metódy poskytujú vysoko presné spracovanie rečových signálov. Nevýhody spektrálneho spracovania zahŕňajú nízku flexibilitu v lokálnych charakteristikách signálov, nedostatok spektrálnych rozmerov a relatívne vysoké výpočtové náklady.

Fourierova transformácia, vlnková analýza a mnohé ďalšie algoritmy sa vo veľkej miere používajú pri spektrálnom spracovaní rečových signálov. Fourierova transformácia sa používa v mnohých oblastiach vedy, vrátane spracovania reči. Pri spracovaní rečového signálu Fourierova transformácia prevádza signál z časového poľa do spektrálneho poľa ako frekvenčnú zložku [40].

V predchádzajúcich štúdiách sa na spektrálnu analýzu použili diskrétna Fourierova transformácia (DFT), diskrétna kosínusová transformácia (DCT), krátkodobá Fourierova transformácia a vlnková transformácia. Tieto metódy sa použili na transformáciu fragmentov rečového signálu do frekvenčnej oblasti a výpočet spektra. Balíky TBB a OpenMP boli použité na vytvorenie paralelných algoritmov pre spektrálne transformácie. V týchto metódach príkaz rozdeľuje signál na rámce; napríklad N=16, 32, ... alebo 4096 pre každý rámec [4]. Veľkosť každého vytvoreného rámca sa rovná veľkosti bloku vyrovnávacej pamäte, pretože vyrovnávacia pamäť je faktorom, ktorý ovplyvňuje efektivitu paralelného spracovania. Výsledky zrýchlenia sú znázornené na obrázku 2.

Obrázok 2. Výsledky zrýchlenia pre (a) štvor- a (b) osemjadrové procesory.

Na softvérovú implementáciu algoritmov paralelného spracovania sa vykonalo sériové a paralelné spracovanie na štvor- a osemjadrových procesoroch, ktoré boli aplikované pomocou osobných počítačov a serverov, ako je uvedené v tabuľke 1.

Tabuľka 1. Charakteristika procesorov Intel.

Hlavnou črtou algoritmu DCT je periodicita. Výhodou DCT je, že má tendenciu sústrediť väčšinu energie signálu na malý počet faktorov. Nasledujúce rovnice poskytujú prvky matice koeficientov:

kde L(k) je hodnota DCT, k je index koeficientov, x(n) predstavuje dátové položky a N je veľkosť rámca.

Parametre Fourierovej analýzy sú základom metód, ktoré sa používajú na generovanie charakteristických vektorov vo väčšine systémov rozpoznávania reči pri digitálnom spracovaní signálov reči v spektrálnej oblasti. Mel-frekvenčné kepstrálne koeficienty (MFCC) [41] a techniky lineárneho prediktívneho kódovania (LPC) [42,43] sa používajú vo Fourierovej analýze na generovanie spektrogramových obrazov z rečových signálov. Spektrá, ktoré sa získajú pomocou Fourierovej analýzy, poskytujú stručné a presné informácie týkajúce sa rečového signálu, ako je znázornené na obrázku 3.

Obrázok 3. DFT: (a) zmena frekvenčného rozsahu v rámci časovej oblasti a (b) spektrogram.

Na spektrálnu analýzu v experimentoch boli použité dvojrozmerné (2D) signály. Charakteristiky 2D spektrálnej analýzy, ktoré sa používajú v algoritmoch paralelného spracovania obrazu, sú vhodné na paralelné spracovanie vo viacjadrových procesoroch [38]. Najmä dopredné a inverzné transformačné vektory a matice majú binárne rozmery a kompatibilita tejto architektúry viacjadrových procesorov môže efektívne zvýšiť výpočtovú rýchlosť. Preto sme aplikovali sekvenčné a paralelné spracovanie na počítači s rôznymi charakteristikami procesora na hardvérovú implementáciu algoritmov, ktoré boli použité na spracovanie 2D signálov (tabuľka 2)

Tabuľka 2. Charakteristika použitia procesorov Intel.

Celý 2D signál bol v každej fáze rozdelený na identické fragmenty rôznych veľkostí [44]. Hodnoty vybraných fragmentov boli medzi pixelovými rozlíšeniami 16 × 16 a 1024 × 1024. Rýchlosť paralelného DCT algoritmu s použitím balíka OpenMP v porovnaní s rýchlosťou sekvenčného algoritmu je znázornená na obrázku 4. Použitie paralelnej 2D spektrálnej analýzy Algoritmus na viacjadrových procesoroch prináša výsledok pretaktovania, ktorý sa blíži počtu jadier.

Obrázok 4. Výsledky zrýchlenia pre 2D paralelnú spektrálnu analýzu.