Distribuovaná optimalizácia a štatistické učenie prostredníctvom metódy multiplikátorov so striedavým smerom

Pôvodný názov:

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Obsah knihy:

Mnohé problémy, ktoré sú v poslednom čase zaujímavé v oblasti štatistiky a strojového učenia, možno položiť v rámci konvexnej optimalizácie. Vzhľadom na explóziu veľkosti a zložitosti moderných súborov údajov je čoraz dôležitejšie vedieť riešiť problémy s veľmi veľkým počtom príznakov alebo trénovacích príkladov.

V dôsledku toho sú decentralizovaný zber alebo ukladanie týchto súborov údajov, ako aj sprievodné distribuované metódy riešenia buď nevyhnutné, alebo aspoň veľmi žiaduce. Distribuovaná optimalizácia a štatistické učenie prostredníctvom metódy multiplikátorov so striedavým smerom tvrdí, že metóda multiplikátorov so striedavým smerom je vhodná na distribuovanú konvexnú optimalizáciu, a najmä na rozsiahle problémy vznikajúce v štatistike, strojovom učení a príbuzných oblastiach. Metóda bola vyvinutá v 70.

rokoch 20. storočia, pričom jej korene siahajú do 50.

rokov 20. storočia, a je ekvivalentná alebo úzko súvisí s mnohými inými algoritmami, ako sú duálny rozklad, metóda multiplikátorov, Douglasovo-Rachfordovo rozdelenie, Spingarnova metóda parciálnych inverzií, Dykstrove striedavé projekcie, Bregmanove iteračné algoritmy pre ℓ. 1 problémy, proximálne metódy a iné.

Po stručnom prehľade teórie a histórie algoritmu sa v ňom rozoberajú aplikácie na širokú škálu štatistických problémov a problémov strojového učenia, ktoré sú v poslednom čase zaujímavé, vrátane lasa, riedkej logistickej regresie, hľadania bázy, výberu kovariancie, strojov podporných vektorov a mnohých ďalších. Rozoberá aj všeobecnú distribuovanú optimalizáciu, rozšírenia na nekonvexné prostredie a efektívnu implementáciu vrátane niektorých podrobností o distribuovaných implementáciách MPI a Hadoop MapReduce.