Gradientná zostupnosť, stochastická optimalizácia a iné príbehy

Pôvodný názov:

Gradient Descent, Stochastic Optimization, and Other Tales

Obsah knihy:

Cieľom tejto knihy je vyvrátiť a rozptýliť mágiu, ktorá sa skrýva za optimalizátormi čiernych skriniek a stochastickými optimalizátormi. Jej cieľom je vytvoriť pevný základ o tom, ako a prečo tieto techniky fungujú.

Tento rukopis kryštalizuje tieto poznatky tým, že z jednoduchých intuícií odvodzuje matematiku, ktorá sa za týmito stratégiami skrýva. Táto kniha sa nevyhýba ani formálnym, ani neformálnym aspektom metód gradientného zostupu a stochastickej optimalizácie. Dúfa, že tým čitateľom poskytne hlbšie pochopenie týchto techník, ako aj toho, kedy, ako a prečo tieto algoritmy aplikovať.

Gradient descent je jedným z najpopulárnejších algoritmov na vykonávanie optimalizácie a zďaleka najbežnejším spôsobom optimalizácie úloh strojového učenia. Jeho stochastickej verzii sa v posledných rokoch venuje pozornosť, a to najmä pri optimalizácii hlbokých neurónových sietí.

V hlbokých neurónových sieťach sa na úsporu výpočtových zdrojov a únik zo sedlových bodov využíva gradient, po ktorom nasleduje jedna vzorka alebo dávka vzoriek. V roku 1951 Robbins a Monro publikovali A stochastic approximation method, jedno z prvých moderných pojednaní o stochastickej optimalizácii, ktoré odhaduje lokálne gradienty pomocou novej dávky vzoriek.

A v súčasnosti sa stochastická optimalizácia stala základnou technológiou v strojovom učení, najmä vďaka vývoju algoritmu spätného šírenia pri prispôsobovaní neurónovej siete. Jediným cieľom tohto článku je podať samostatný úvod do pojmov a matematických nástrojov v gradientovom zostupe a stochastickej optimalizácii.