Učenie s posilňovaním a stochastická optimalizácia: Jednotný rámec pre sekvenčné rozhodovanie

Recenzie čitateľov

Kniha je charakterizovaná ako komplexný a dôkladný sprievodca stochastickým dynamickým programovaním a posilňovaním učenia, vhodný pre odborníkov v operačnom výskume. Úspešne prepája rôzne oblasti vrátane posilňovania učenia a teórie riadenia a zároveň poskytuje jednotný rámec pre sekvenčné rozhodovanie. Trpí však mnohými preklepmi a štýlom písania, ktorý sa niektorým môže zdať zmätočný.

⬤ Komplexné pokrytie koncepcií sekvenčného rozhodovania.
⬤ Dobre napísané a prístupné pre čitateľov z rôznych oblastí.
⬤ Efektívne prepája rôzne oblasti a ponúka cenné poznatky.
⬤ Poskytuje jednotný rámec pre viaceré komunity zaoberajúce sa sekvenčným rozhodovaním.
⬤ Užitočné cvičenia a dobrá referencia pre odborníkov.

⬤ Vysoký počet preklepov a pochybných možností zápisu.
⬤ Chýbajú odvodenia niektorých matematických výsledkov, čo si vyžaduje, aby si ich čitatelia overili alebo znovu odvodili sami.
⬤ Štýl písania môže byť pre niekoho zložitý, takže čítanie je únavné.
⬤ Obsah je silne zameraný na operačný výskum, čo môže odradiť tých, ktorí pochádzajú z iných oblastí, napríklad zo strojového učenia.

(na základe 12 čitateľských recenzií)

Pôvodný názov:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Obsah knihy:

POSILŇOVANIE UČENIA A STOCHASTICKÁ OPTIMALIZÁCIA

Prehľad džungle stochastickej optimalizácie

Problémy sekvenčného rozhodovania, ktoré sa skladajú z "rozhodnutia, informácie, rozhodnutia, informácie", sú všadeprítomné a pokrývajú prakticky všetky ľudské činnosti od obchodných aplikácií, zdravotníctva (osobné a verejné zdravie a rozhodovanie v medicíne), energetiky, prírodných vied, všetkých oblastí inžinierstva, financií a elektronického obchodu. Rozmanitosť aplikácií pritiahla pozornosť najmenej 15 rôznych oblastí výskumu, v ktorých sa používa osem rôznych notačných systémov, ktoré vytvorili obrovské množstvo analytických nástrojov. Vedľajším produktom je, že výkonné nástroje vyvinuté v jednej komunite môžu byť pre iné komunity neznáme.

Učenie s posilňovaním a stochastická optimalizácia ponúka jednotný kanonický rámec, ktorý dokáže modelovať akýkoľvek sekvenčný rozhodovací problém pomocou piatich základných komponentov: stavové premenné, rozhodovacie premenné, exogénne informačné premenné, prechodová funkcia a účelová funkcia. Táto kniha poukazuje na dvanásť typov neistoty, ktoré môžu vstupovať do akéhokoľvek modelu, a spája rôznorodý súbor metód rozhodovania, známych ako politiky, do štyroch základných tried, ktoré zahŕňajú všetky metódy navrhované v odbornej literatúre alebo používané v praxi.

Reinforcement Learning and Stochastic Optimization je prvou knihou, ktorá poskytuje vyvážené spracovanie rôznych metód modelovania a riešenia sekvenčných rozhodovacích problémov, a to podľa štýlu, ktorý používa väčšina kníh o strojovom učení, optimalizácii a simulácii. Výklad je určený pre čitateľov s kurzom pravdepodobnosti a štatistiky a so záujmom o modelovanie a aplikácie. Pri špecifických triedach problémov sa príležitostne používa lineárne programovanie. Kniha je určená pre čitateľov, ktorí sú v tejto oblasti nováčikmi, ako aj pre tých, ktorí majú určité skúsenosti s optimalizáciou v podmienkach neurčitosti.

V tejto knihe čitatelia nájdu odkazy na viac ako 100 rôznych aplikácií, ktoré zahŕňajú čisté problémy učenia, dynamické problémy prideľovania zdrojov, všeobecné problémy závislé od stavu a hybridné problémy učenia/prideľovania zdrojov, ako napríklad tie, ktoré vznikli pri pandémii COVID. V knihe sa nachádza 370 cvičení, ktoré sú rozdelené do siedmich skupín, od kontrolných otázok, modelovania, výpočtov, riešenia problémov, teórie, programovacích cvičení až po "denníkový problém", ktorý si čitateľ vyberie na začiatku knihy a ktorý sa používa ako základ pre otázky v celom zvyšku knihy.