XGBoost. Extrémny gradientný boosting pre banské aplikácie

Recenzie čitateľov

Momentálne nie sú žiadne recenzie čitateľov. Hodnotenie je založené na 3 hlasoch.

Pôvodný názov:

XGBoost. The Extreme Gradient Boosting for Mining Applications

Obsah knihy:

Technická správa z roku 2017 v predmete Informatika - Internet, nové technológie, známka: 8, jazyk: Abstrakt: Tree boosting sa empiricky ukázal ako vysoko efektívny a univerzálny prístup pre modelovanie založené na údajoch. Hlavným argumentom je, že stromové boostovanie dokáže adaptívne určiť lokálne susedstvá modelu, čím sa počas prispôsobovania modelu zohľadňuje kompromis medzi skreslením a odchýlkou.

Nedávno si získala popularitu metóda stromového boostovania známa ako XGBoost, ktorá poskytuje vyššiu presnosť. XGBoost ďalej zavádza niektoré vylepšenia, ktoré jej umožňujú ešte dôkladnejšie riešiť kompromis medzi skreslením a odchýlkou. V tejto výskumnej práci navrhujeme demonštrovať použitie adaptívneho postupu, t.

j.

Learned Loss (LL), na aktualizáciu stratovej funkcie v priebehu boostovania. Presnosť navrhovaného algoritmu, t.

j. XGBoost s funkciou zvyšovania straty Learned Loss, sa vyhodnocuje pomocou metódy test/train, metódy K-fold cross validation a metódy stratifikovanej krížovej validácie a porovnáva sa so súčasnými algoritmami, a to s algoritmami XGBoost, AdaBoost, AdaBoost-NN, lineárnou regresiou (LR), neurónovou sieťou (NN), rozhodovacím stromom (DT), podporným vektorom (SVM), bagging-DT, bagging-NN a random forest. Hodnotené parametre sú presnosť, chyba typu 1 a chyba typu 2 (v percentách).

Táto štúdia využíva celkovo desaťročné historické údaje od januára 2007 do augusta 2017 dvoch akciových indexov CNX Nifty a S&P BSE Sensex, ktoré sú veľmi objemné. Ďalej v tejto výskumnej práci budeme skúmať, ako sa XGBoost líši od tradičnejších techník súboru. Okrem toho sa budeme zaoberať regularizačnými technikami, ktoré tieto metódy ponúkajú, a ich vplyvom na modely.

Okrem toho sa pokúsime odpovedať na otázku, prečo sa zdá, že XGBoost vyhráva toľko súťaží. Na tento účel uvedieme niekoľko argumentov, prečo sa stromový boosting, a najmä XGBoost, javí ako taký vysoko efektívny a univerzálny prístup t.