Informační geometrie je v matematice, a zejména ve statistické inferenci, studium pravděpodobnosti a informace pomocí diferenciální geometrie. V 80. letech 20. století dosáhla vyspělosti díky práci Shun’ichi Amariho, který vydal v současnosti kanonickou referenční knihu: Metody informační geometrie.
Hlavním principem informační geometrie je, že mnoho důležitých struktur v teorii pravděpodobnosti, teorii informace a statistice lze považovat za struktury v diferenciální geometrii tím, že se prostor pravděpodobnosti považuje za diferencovatelný mnohostěn vybavený Riemannovou metrikou a rodinou afinních spojení odlišných od kanonického afinního spojení. E-afinní spojení a m-afinní spojení geometrizují očekávání a maximalizaci, jako v algoritmu maximalizace očekávání.
Význam studia statistických struktur jako geometrických struktur spočívá v tom, že geometrické struktury jsou invariantní při transformaci souřadnic. Například rodinu pravděpodobnostních rozdělení, jako je Gaussovo rozdělení, lze transformovat na jinou rodinu rozdělení, jako je logaritmicko-normální rozdělení, změnou proměnných. Skutečnost, že se jedná o exponenciální rodinu, se však nemění, protože ta je geometrickou vlastností. Vzdálenost mezi dvěma rozděleními v této rodině definovaná pomocí Fisherovy metriky zůstane rovněž zachována.
Statistik Fisher ve 20. letech 20. století rozpoznal, že existuje vnitřní míra množství informací pro statistické odhady. Cramer a Rao ukázali, že Fisherova informační matice je Riemannovou metrikou na prostoru pravděpodobností, a začala se nazývat Fisherova informační metrika.
Matematik Cencov (Čencov) dokázal v 60. a 70. letech 20. století, že na prostoru rozdělení pravděpodobnosti na výběrovém prostoru obsahujícím alespoň tři body,
Obě tyto jedinečnosti jsou samozřejmě až na násobení konstantou.
Studie Amariho a Nagaoky z 80. let 20. století všechny tyto výsledky spojila a zavedla pojem duálně-afinních spojení a vzájemné vztahy mezi metrikou, afinním spojením a divergencí. Zejména,
Amari a Kumon také ukázali, že asymptotická efektivita odhadů a testů
lze vyjádřit pomocí geometrických veličin.
Fisherova informační metrika jako Riemannova metrika
Informační geometrie je založena především na Fisherově informační metrice:
Historie informační geometrie je spojena s objevy přinejmenším následujících osobností a mnoha dalších.
Důležitým pojmem v informační geometrii je přirozený gradient. Koncept a teorie přirozeného gradientu navrhuje úpravu energetické funkce pravidla učení. Tato úprava zohledňuje zakřivení (předchozího) statistického diferenciálního mnohoúhelníku prostřednictvím Fisherovy informační metriky.
Tento koncept má mnoho důležitých aplikací v oblasti slepé separace signálů, neuronových sítí, umělé inteligence a dalších technických problémů, které se zabývají informacemi. Experimentální výsledky ukázaly, že použití tohoto konceptu vede k podstatnému zvýšení výkonu.
Další aplikace se týkají statistiky stochastických procesů a přibližných konečných řešení problému filtrace (stochastické procesy). Protože nelineární problém filtrace obecně připouští nekonečně rozměrné řešení, lze využít geometrickou strukturu v prostoru rozdělení pravděpodobnosti k promítnutí nekonečně rozměrného filtru do přibližného konečně rozměrného filtru, což vedlo k projekčním filtrům, které v roce 1987 zavedl Bernard Hanzon.