Štatistické metódy anotačnej analýzy

Pôvodný názov:

Statistical Methods for Annotation Analysis

Obsah knihy:

Označovanie údajov je jednou z najzákladnejších činností vo vede a už desaťročia je základom praxe, najmä v medicíne, ako aj výskumu v korpusovej lingvistike prinajmenšom od vzniku Brownovho korpusu. S prechodom na strojové učenie v umelej inteligencii (UI) sa ústrednou činnosťou v tejto oblasti stalo aj vytváranie súborov údajov, ktoré sa majú používať na trénovanie a vyhodnocovanie systémov UI, v UI známe aj ako korpusy.

Prvé súbory údajov AI boli vytvárané ad hoc na riešenie konkrétnych problémov. Keďže sa vytvárali väčšie a opakovane použiteľné súbory údajov, ktoré si vyžadovali väčšie investície, vznikla potreba systematickejšieho prístupu k tvorbe súborov údajov, aby sa zabezpečila vyššia kvalita. Prijal sa celý rad štatistických metód, často, ale nie výlučne z lekárskych vied, aby sa zabezpečilo, že použité označenia nebudú subjektívne, alebo aby sa vybralo spomedzi rôznych označení poskytnutých kódovačmi.

V súčasnosti sa pravidelne používa široká škála takýchto metód. Cieľom tejto knihy je poskytnúť prehľad najpoužívanejších z týchto štatistických metód podporujúcich anotačnú prax.

Pokiaľ je autorom známe, ide o prvú knihu, ktorá sa pokúša pokryť dve rodiny metód, ktoré sa používajú v širšej miere. Prvá rodina metód sa zaoberá vývojom schém označovania a najmä zabezpečením, aby tieto schémy boli také, aby bolo možné pozorovať dostatočnú zhodu medzi kódermi.

Druhá skupina zahŕňa metódy vyvinuté na analýzu výstupov kóderov po odsúhlasení schémy, najmä, hoci nie výlučne, na identifikáciu najpravdepodobnejšieho označenia položky spomedzi tých, ktoré poskytli kóderi. Táto kniha sa zameriava predovšetkým na spracovanie prirodzeného jazyka, oblasť umelej inteligencie, ktorá sa venuje vývoju modelov interpretácie a produkcie jazyka, ale mnohé, ak nie väčšina metód, o ktorých sa tu hovorí, sú použiteľné aj v iných oblastiach umelej inteligencie alebo dokonca v iných oblastiach dátovej vedy.