Vzájomné pôsobenie informačných a odhadových mier

Pôvodný názov:

The Interplay Between Information and Estimation Measures

Obsah knihy:

Ak sa na teóriu informácie a teóriu odhadov pozeráme ako na dva vedecké jazyky, potom ich kľúčovými slovníkmi sú informačné miery a miery odhadov. Základnými informačnými mierami sú entropia, vzájomná informácia a relatívna entropia.

Medzi najdôležitejšie miery odhadu patria stredná kvadratická chyba (MSE) a Fisherova informácia. Tieto miery, ktoré zohrávajú prvoradú úlohu v teórii informácie a teórii odhadov, sú podobné hmotnosti, sile a rýchlosti v klasickej mechanike alebo energii, entropii a teplote v termodynamike. Kniha Interakcia medzi informačnými a odhadovými mierami je určená ako príručka známych vzorcov, ktoré priamo súvisia s informačnými a odhadovými mierami.

Poskytuje intuíciu a načrtáva súvislosti medzi týmito vzorcami, poukazuje na niektoré dôležité aplikácie a motivuje k ďalšiemu skúmaniu. Hlavný dôraz sa kladie na takéto vzorce v kontexte modelu aditívneho Gaussovho šumu, v menšej miere sa venuje iným modelom, ako je kanál Poissonovho bodového procesu.

Zahrnuté sú aj viaceré nové výsledky, ktoré sú tu publikované po prvýkrát. Uvádzajú sa dôkazy niektorých základných výsledkov, zatiaľ čo mnohé technickejšie dôkazy, ktoré sú už v literatúre k dispozícii, sú vynechané. V roku 2004 autori tejto monografie našli všeobecný diferenciálny vzťah, ktorý sa bežne označuje ako vzorec I-MMSE.

V tejto knihe je vypracovaný nový, úplný dôkaz vzorca I-MMSE, ktorý obsahuje niektoré technické detaily, ktoré boli v pôvodných prácach vynechané. V závere knihy The Interplay Between Information and Estimation Measures sa poukazuje na vplyv vzťahov medzi informáciou a odhadom na rôzne informačno-teoretické problémy, ktoré sú v súčasnosti predmetom záujmu, a poskytuje sa ďalší pohľad na ich aplikácie.