Učenie posilňovaním, druhé vydanie: Úvod do problematiky

Recenzie čitateľov

Kniha je všeobecne považovaná za základný zdroj informácií pre nadšencov a profesionálov v oblasti posilňovania učenia (RL). Je oceňovaná pre svoju hĺbku, zrozumiteľnosť, dobre štruktúrované cvičenia a pedagogický prístup, vďaka čomu je prístupná aj pre ľudí s miernym matematickým vzdelaním. Kritika sa však zameriava na nekonzistentnú kvalitu tlače, najmä pri vydaniach, ktoré nie sú priamo z vydavateľstva MIT Press, a na obavy o jej vhodnosť pre úplných začiatočníkov v tejto oblasti.

⬤ Komplexné pokrytie posilňovania učenia
⬤ dobre štruktúrované a prísne cvičenia
⬤ jasné vysvetlenia
⬤ dobrá kvalita tlače vo výtlačkoch predávaných priamo vydavateľstvom MIT Press
⬤ užitočné pre rôzne úrovne odborných znalostí (najmä pre tých, ktorí majú určité predchádzajúce vedomosti)
⬤ zahŕňa interdisciplinárne prepojenia s psychológiou a neurovedou.

⬤ Nekonzistentná kvalita tlače, najmä u externých predajcov
⬤ nie je vhodný ako úvodný text pre úplných začiatočníkov
⬤ niektoré časti sú matematicky náročné
⬤ historický obsah môžu niektorí čitatelia považovať za zbytočný
⬤ v niektorých výtlačkoch boli zaznamenané drobné redakčné chyby.

(na základe 115 čitateľských recenzií)

Pôvodný názov:

Reinforcement Learning, Second Edition: An Introduction

Obsah knihy:

Výrazne rozšírené a aktualizované nové vydanie široko používaného textu o posilňovaní učenia, jednej z najaktívnejších oblastí výskumu v oblasti umelej inteligencie.

Posilňovacie učenie, jedna z najaktívnejších oblastí výskumu v umelej inteligencii, je počítačový prístup k učeniu, pri ktorom sa agent snaží maximalizovať celkovú výšku odmeny, ktorú dostane pri interakcii s komplexným, neistým prostredím. Richard Sutton a Andrew Barto v knihe Reinforcement Learning prehľadne a jednoducho opisujú kľúčové myšlienky a algoritmy tejto oblasti. Toto druhé vydanie bolo výrazne rozšírené a aktualizované, pričom sa v ňom uvádzajú nové témy a aktualizuje sa pokrytie iných tém.

Podobne ako prvé vydanie, aj toto druhé vydanie sa zameriava na základné algoritmy online učenia, pričom matematický materiál je vyčlenený v tieňovaných rámčekoch. Prvá časť pokrýva čo najviac z posilňovania učenia bez toho, aby prekročila tabuľkový prípad, pre ktorý možno nájsť presné riešenia. Mnohé algoritmy uvedené v tejto časti sú v druhom vydaní nové, vrátane UCB, Expected Sarsa a Double Learning. Časť II rozširuje tieto myšlienky na aproximáciu funkcií, pričom obsahuje nové časti o takých témach, ako sú umelé neurónové siete a Fourierova báza, a ponúka rozšírené spracovanie učenia mimo politiky a metód policy-gradient. Časť III obsahuje nové kapitoly o vzťahoch posilňovania učenia k psychológii a neurovede, ako aj aktualizovanú kapitolu o prípadových štúdiách vrátane AlphaGo a AlphaGo Zero, hrania hier Atari a stávkovej stratégie IBM Watson. Záverečná kapitola sa zaoberá budúcimi spoločenskými vplyvmi posilňovania učenia.