Validity, Reliability, and Significance: Empirical Methods for Nlp and Data Science
Empirické metódy sú prostriedky na zodpovedanie metodologických otázok empirických vied pomocou štatistických techník. Metodologické otázky, ktorými sa zaoberá táto kniha, zahŕňajú problémy validity, reliability a významnosti. V prípade strojového učenia zodpovedajú otázkam, či model predpovedá to, čo má predpovedať, či je výkonnosť modelu konzistentná v rôznych replikáciách a či je rozdiel vo výkonnosti dvoch modelov spôsobený náhodou. Cieľom tejto knihy je odpovedať na tieto otázky prostredníctvom konkrétnych štatistických testov, ktoré možno použiť na posúdenie platnosti, spoľahlivosti a významnosti anotácie údajov a predpovede strojového učenia v oblasti NLP a dátovej vedy.
Zameriavame sa na modelové empirické metódy, v ktorých sa anotácie údajov a predpovede modelov považujú za údaje na trénovanie interpretovateľných pravdepodobnostných modelov z dobre známych rodín zovšeobecnených aditívnych modelov (GAM) a lineárnych modelov so zmiešanými účinkami (LMEM). Na základe interpretovateľných parametrov natrénovaných GAM alebo LMEM sa v knihe uvádzajú štatistické testy založené na modeli, ako napríklad test platnosti, ktorý umožňuje odhaliť kruhové funkcie, ktoré obchádzajú učenie. Okrem toho sa v knihe rozoberá koeficient spoľahlivosti pomocou rozkladu rozptylu na základe parametrov náhodných efektov LMEM. Napokon sa ukazuje test významnosti založený na pomere pravdepodobnosti vnorených LMEM natrénovaných na skóre výkonnosti dvoch modelov strojového učenia, ktorý prirodzene umožňuje zahrnúť do testovania hypotéz zmeny v nastaveniach metaparametrov a ďalej uľahčuje spresnené porovnanie systémov podmienené vlastnosťami vstupných údajov.
Túto knihu možno použiť ako úvod do empirických metód strojového učenia vo všeobecnosti, so špeciálnym zameraním na aplikácie v NLP a dátovej vede. Kniha je samostatná, s dodatkom o matematickom pozadí GAM a LMEM a so sprievodnou webovou stránkou obsahujúcou kód v jazyku R na replikáciu experimentov uvedených v knihe.