Učenie s posilňovaním: princípy, zložky a použitie
Prehľad učenia s posilňovaním (reinforcement learning): základné pojmy, formálne rámce, hlavné algoritmy, výzvy, bezpečnosť a bežné aplikácie.
Učenie s posilňovaním (reinforcement learning, RL) je oblasť strojového učenia, ktorá študuje, ako sa má agent správať v prostredí tak, aby maximalizoval kumulatívnu odmenu. Inšpiráciu čerpá z experimentov v biológii učenia a z princípov behavioristickej psychológie. RL sa odlišuje od iných paradigmát strojového učenia, napríklad od učenia pod dohľadom, tým, že tréningový signál nie je párom vstup–správny výstup, ale hodnotenie následkov akcií.
Galéria obrázkov
1 Obrázok
Základné zložky
- Agent: rozhodovacia entita, ktorá na základe pozorovaní vykonáva akcie (agent).
- Prostredie: externer kontext vracajúci stavy a odmeny.
- Politika (policy): pravidlo alebo funkcia mapujúca stavy na akcie; môže byť deterministická alebo stochastická.
- Funkcia hodnoty: odhaduje očakávanú budúcu odmenu stavu alebo páru (stav, akcia).
- Odmena: signál, ktorý agent optimalizuje (odmena); jej návrh je kľúčový a často náročný.
- Model prostredia: odhad prechodovej dynamiky; podľa jeho prítomnosti sa hovorí o model-based alebo model-free prístupoch.
Formálny rámec a teória
Štandardným formálnym modelom pre RL sú Markovove rozhodovacie procesy (MDP), ktoré zahŕňajú množinu stavov, akcií, funkciu prechodov a funkciu odmeny. Cieľom je nájsť politiku maximalizujúcu očakávanú kumulatívnu zľavnenú odmenu v čase. Teoretické metódy zahŕňajú dynamické programovanie, Monte Carlo metódy a temporal-difference (TD) učenie, ktoré poskytujú základy pre praktické algoritmy.
Hlavné typy algoritmov
- Value-based metódy: učia sa hodnotu stavov alebo stav–akcia párov; príkladom je Q-learning.
- Policy-based metódy: priamo optimalizujú politiku pomocou gradientov politík (policy gradients).
- Actor–critic: hybridné prístupy kombinujúce politika (actor) a odhad hodnoty (critic).
- Model-based metódy: stavajú alebo využívajú model prostredia na plánovanie a predpoveď.
Praktické aspekty a metódy
V praxi sa často používajú heuristiky pre prieskum (exploration) a využívanie (exploitation), napríklad epsilon-greedy alebo softmax výber. Pri vysokodimenzionálnych vstupoch (obrazy, senzory) sa RL kombinuje s hlbokými neurónovými sieťami — tzv. deep RL — aby sa automaticky učili reprezentácie. Medzi bežné problémy patrí nízka sample-efficiency, citlivosť na návrh odmeňovacieho signálu, problémy s nestabilitou tréningu a slabá generalizácia do nových situácií.
Výzvy, bezpečnosť a etika
Pri nasadzovaní RL v reálnych aplikáciách je dôležité zvážiť bezpečnosť správania, riziká nečakaných výsledkov a etické dôsledky učenia z interakcií s používateľmi. Návrh odmien môže viesť k nežiadaným cieľom (reward hacking) a preto sa často používajú obmedzenia, zásady robustného učenia a testovanie v simuláciách pred reálnym nasadením.
Aplikácie
- Hry: učenie hierných stratégií a tréning agentov v simulovaných prostrediach.
- Robotika: učenie pohybu, manipulácie, plánovania akcií a adaptácie na zmeny.
- Priemysel: optimalizácia procesov, plánovanie údržby, správa energie a riadenie výroby.
- Personalizácia: odporúčacie systémy a adaptívne rozhrania, ktoré sa učia z interakcií používateľov.
- Doprava a autonómne systémy: plánovanie trás a rozhodovanie v reálnom čase.
Porovnanie s inými paradigam
Na rozdiel od učenia pod dohľadom, kde sú k dispozícii označené príklady správnych výstupov, RL získava len spätnú väzbu v podobe odmien. V porovnaní so širším strojovým učením je RL špecificky zamerané na problém rozhodovania v čase. Jeho psychologické a biologické korelácie možno skúmať cez štúdie biológie a operantného podmieňovania, a rola odmien je detailnejšie rozobraná v literatúre o odmenách.
Pre študentov a praktikov je vhodné začať s teóriou MDP a jednoduchými algoritmami typu Q-learning či policy gradients a následne prejsť k hlbokej integrácii a simulovanému testovaniu. Pre technický prehľad o agentoch a princípoch strojového učenia pozrite tiež zdroje o agente a strojovom učení. Pre širší psychologický kontext navrhujeme referencie k behavioristickej psychológii a k klasickým dielam o operantnom podmieňovaní.
Úvod
Systém posilňovania sa skladá z politiky ( π {\displaystyle \pi }
), funkcie odmeňovania ( R {\displaystyle R}
), funkcie hodnoty ( v {\displaystyle v}
) a voliteľného modelu prostredia.
Zásada hovorí agentovi, čo má v určitej situácii urobiť. Môže to byť jednoduchá tabuľka pravidiel alebo zložité hľadanie správnej akcie. Politiky môžu byť dokonca stochastické, čo znamená, že namiesto pravidiel politika priraďuje každej akcii pravdepodobnosti. Politika sama o sebe môže prinútiť agenta robiť veci, ale nemôže sa sama učiť.
Funkcia odmeny definuje cieľ pre agenta. Prijíma stav (alebo stav a akciu vykonanú v tomto stave) a vracia číslo nazývané odmena, ktoré agentovi hovorí, aké dobré je byť v tomto stave. Úlohou agenta je získať z dlhodobého hľadiska čo najväčšiu sumu odmeny. Ak akcia prináša nízku odmenu, agent pravdepodobne v budúcnosti vykoná lepšiu akciu. Biológia používa signály odmeny, ako je potešenie alebo bolesť, aby sa uistila, že organizmy zostanú nažive a budú sa môcť rozmnožovať. Signály odmeny môžu byť aj stochastické, podobne ako hracie automaty v kasíne, kde niekedy vyplácajú a niekedy nie.
Hodnotová funkcia hovorí agentovi, akú odmenu dostane podľa politiky π {\displaystyle \pi } začínajúcej zo stavu s {\displaystyle s}
. Vyjadruje, aké žiaduce je byť v určitom stave. Keďže hodnotová funkcia nie je agentovi priamo daná, musí prísť s dobrým odhadom alebo odhadom na základe odmeny, ktorú doteraz získal. Odhad hodnotovej funkcie je najdôležitejšou časťou väčšiny algoritmov posilňovania učenia.
Model je agentova mentálna kópia prostredia. Používa sa na plánovanie budúcich akcií.
Ak to vieme, môžeme hovoriť o hlavnej slučke pre epizódu posilňovania učenia. Agent interaguje s prostredím v diskrétnych časových krokoch. Predstavte si to ako "tikot" hodín. Pri diskrétnom čase sa veci dejú len počas "tikov" a "taktov", a nie medzi nimi. V každom čase t = 0 , 1 , 2 , 3 , ... {\displaystyle t=0,1,2,3,... } 
agent pozoruje stav prostredia S t {\displaystyle S_{t}}
a vyberá akciu A t {\displaystyle A_{t}}
na základe politiky π {\displaystyle \pi } . V ďalšom časovom kroku agent dostane signál odmeny R t + 1 {\displaystyle R_{t+1}}
a nové pozorovanie S t + 1 {\displaystyle S_{t+1}} 
. Hodnotová funkcia v ( S t ) {\displaystyle v(S_{t})}
sa aktualizuje pomocou odmeny. Takto sa pokračuje, kým sa nedosiahne koncový stav S T {\displaystyle S_{T}} . 
Súvisiace články
Autor
AlegsaOnline.com Učenie s posilňovaním: princípy, zložky a použitie Leandro Alegsa
URL: https://sk.alegsaonline.com/art/81975