Umelá neurónová sieť

O neurónovej sieti sa dá uvažovať dvoma spôsobmi. Prvý je ako ľudský mozog. Druhý spôsob je ako matematická rovnica.

Sieť začína vstupom, podobne ako zmyslový orgán. Informácie potom prúdia cez vrstvy neurónov, kde je každý neurón prepojený s mnohými ďalšími neurónmi. Ak určitý neurón dostane dostatok podnetov, pošle správu akémukoľvek inému neurónu, s ktorým je prepojený prostredníctvom svojho axónu. Podobne umelá neurónová sieť má vstupnú vrstvu údajov, jednu alebo viac skrytých vrstiev klasifikátorov a výstupnú vrstvu. Každý uzol v každej skrytej vrstve je prepojený s uzlom v ďalšej vrstve. Keď uzol prijme informáciu, pošle spolu s ňou určité množstvo do uzlov, ku ktorým je pripojený. Toto množstvo je určené matematickou funkciou nazývanou aktivačná funkcia, napríklad sigmoid alebo tanh.

Ak o neurónovej sieti uvažujeme ako o matematickej rovnici, neurónová sieť je jednoducho zoznam matematických operácií, ktoré sa majú aplikovať na vstup. Vstupom a výstupom každej operácie je tenzor (presnejšie vektor alebo matica). Každá dvojica vrstiev je prepojená zoznamom váh. Každá vrstva má v sebe uložených niekoľko tenzorov. Jednotlivý tenzor vo vrstve sa nazýva uzol. Každý uzol je spojený s niektorými alebo všetkými uzlami v nasledujúcej vrstve pomocou váhy. Každý uzol má tiež zoznam hodnôt, ktoré sa nazývajú zaujatosti. Hodnota každej vrstvy je potom výstupom aktivačnej funkcie hodnôt aktuálnej vrstvy (nazývanej X) vynásobenej váhami.

A k t i v á c i a ( W ( e i g h t s ) ∗ X + b ( i a s ) ) {\displaystyle Aktivácia(W(eights)*X+b(ias))}

Pre sieť je definovaná nákladová funkcia. Stratová funkcia sa snaží odhadnúť, ako dobre si neurónová sieť vedie pri plnení pridelenej úlohy. Nakoniec sa použije optimalizačná technika na minimalizáciu výstupu nákladovej funkcie zmenou váh a skreslení siete. Tento proces sa nazýva trénovanie. Trénovanie sa vykonáva po malých krokoch. Po tisícoch krokov je sieť zvyčajne schopná vykonávať svoju pridelenú úlohu celkom dobre.

Zoberme si program, ktorý kontroluje, či je osoba nažive. Kontroluje dve veci - pulz a dýchanie.Ak má osoba pulz alebo dýcha, program vypíše "živý", v opačnom prípade vypíše "mŕtvy". V programe, ktorý sa v priebehu času neučí, by sa to napísalo takto:

Veľmi jednoduchá neurónová sieť zložená len z jedného neurónu, ktorá rieši rovnaký problém, bude vyzerať takto:

Hodnoty pulz, dýchanie a živý budú buď 0, alebo 1, čo predstavuje nepravdivé a pravdivé hodnoty. Ak teda tento neurón dostane hodnoty (0,1), (1,0) alebo (1,1), mal by vydať 1, a ak dostane (0,0), mal by vydať 0. Neurón to robí tak, že na vstup použije jednoduchú matematickú operáciu - sčíta všetky hodnoty, ktoré dostal, a potom pridá svoju vlastnú skrytú hodnotu, ktorá sa nazýva "skreslenie". Na začiatku je táto skrytá hodnota náhodná a v priebehu času ju upravujeme, ak nám neurón nedáva požadovaný výstup.

Ak by sme sčítali hodnoty ako (1,1), mohli by sme dostať čísla väčšie ako 1, ale my chceme, aby náš výstup bol medzi 0 a 1! Aby sme to vyriešili, môžeme použiť funkciu, ktorá obmedzí náš skutočný výstup na 0 alebo 1, aj keď výsledok matematiky neurónu nebol v danom rozsahu. V zložitejších neurónových sieťach aplikujeme na neurón funkciu (napríklad sigmoidu), takže jeho hodnota bude medzi 0 alebo 1 (napríklad 0,66), a potom túto hodnotu odovzdáme ďalšiemu neurónu až dovtedy, kým nepotrebujeme náš výstup.

Existujú tri spôsoby, ako sa môže neurónová sieť učiť: učenie pod dohľadom, učenie bez dohľadu a učenie posilňovaním. Všetky tieto metódy fungujú buď na základe minimalizácie, alebo maximalizácie nákladovej funkcie, ale každá z nich je lepšia pri určitých úlohách.

Výskumný tím z University of Hertfordshire v Spojenom kráľovstve nedávno použil posilňovanie učenia na to, aby sa humanoidný robot iCub naučil hovoriť jednoduché slová žvatlaním.