Teorie odhadu je obor statistiky a zpracování signálů, který se zabývá odhadem hodnot parametrů na základě naměřených/empirických dat, která mají náhodnou složku. Parametry popisují základní fyzikální nastavení takovým způsobem, že jejich hodnota ovlivňuje distribuci naměřených dat. Odhadce se pokouší přibližovat neznámé parametry pomocí měření.
Například je žádoucí odhadnout podíl populace voličů, kteří budou volit konkrétního kandidáta. Tento podíl je nepozorovatelný parametr; odhad je založen na malém náhodném vzorku voličů.
Nebo například u radaru je cílem odhadnout dosah objektů (letadel, člunů apod.) pomocí analýzy obousměrného tranzitního časování přijímaných ozvěn vysílaných impulsů. Protože odražené impulsy jsou nevyhnutelně zakotveny v elektrickém šumu, jsou jejich naměřené hodnoty náhodně rozloženy, takže je třeba odhadnout dobu tranzitu.
V teorii odhadů se předpokládá, že naměřená data jsou náhodná s rozložením pravděpodobnosti závislým na sledovaných parametrech. Například v teorii elektrických komunikací jsou měření, která obsahují informace týkající se sledovaných parametrů, často spojována s hlučným signálem. Bez náhodnosti nebo šumu by byl problém deterministický a odhad by nebyl nutný.
Celým účelem teorie odhadu je dospět k odhadu, a pokud možno proveditelnému, který by mohl být skutečně použit.
Odhadce vezme naměřená data jako vstup a vytvoří odhad parametrů.
Je také vhodnější odvodit odhad, který vykazuje optimálnost. Optimalita odhadce se obvykle týká dosažení minimální průměrné chyby nad některou třídou odhadců, například minimální rozptyl nezkresleného odhadu. V tomto případě je třída množinou nezkreslených odhadců a průměrná míra chyby je rozptyl (průměrná čtvercová chyba mezi hodnotou odhadu a parametrem). Optimální odhady však ne vždy existují.
Toto jsou obecné kroky, jak dospět k odhadu:
Po dosažení odhadu mohou reálná data ukázat, že model použitý k odvození odhadu je nesprávný, což může vyžadovat opakování těchto kroků k nalezení nového odhadu.
Neimplementovatelný nebo nepřenosný odhad může být nutné zrušit a proces začít znovu.
Souhrnně lze říci, že odhadce odhaduje parametry fyzikálního modelu na základě naměřených dat.
Pro sestavení modelu je třeba znát několik statistických „ingrediencí“.
Ty jsou potřebné k tomu, aby odhad měl určitou matematickou dohledatelnost místo toho, aby byl založen na „dobrém pocitu“.
První je soubor statistických vzorků odebraných z náhodného vektoru (RV) o velikosti N. Dejte do vektoru,
Za druhé máme odpovídající parametry M
které je třeba stanovit s jejich spojitou funkcí hustoty pravděpodobnosti (pdf) nebo její diskrétní protihodnotou, funkcí pravděpodobnostní hmotnosti (pmf)
Je také možné, aby i samotné parametry měly rozdělení pravděpodobnosti (např. bayesovská statistika). Pak je nutné definovat bayesovskou pravděpodobnost
Po vytvoření modelu je cílem odhadnout parametry, běžně označované , kde „klobouk“ označuje odhad.
Jeden společný odhad je minimální střední kvadratický odhad chyby, který využívá chybu mezi odhadovanými parametry a skutečnou hodnotou parametrů
jako základ pro optimálnost. Tento chybový výraz je pak umocněn na druhou a minimalizován pro odhad MMSE.
Běžně používané odhady a metody odhadu a témata s nimi související:
Neznámá konstanta v aditivním bílém Gaussově šumu
Vezměme si přijatý diskrétní signál, , nezávislých vzorků, které se skládají z neznámé konstanty s aditivním bílým Gaussovým šumem (AWGN) se známou rozptýleností (tj., ).
Vzhledem k tomu, že rozptyl je znám, pak jediný neznámý parametr je .
Model pro signál je pak
Dva možné (z mnoha) odhady jsou:
Oba tyto odhady mají průměr , Který může být prokázáno prostřednictvím převzetí očekávané hodnoty každého odhadce
V tomto bodě se zdá, že tyto dva odhady pracují stejně.
Rozdíl mezi nimi je však patrný při porovnávání odchylek.
Zdálo by se, že výběrový průměr je lepší odhad, protože jeho rozptyl je nižší pro každý N>1.
Pokračujeme-li v příkladu s použitím odhadu maximální pravděpodobnosti, funkce hustoty pravděpodobnosti (pdf) šumu pro jeden vzorek je
a pravděpodobnost se stává ( lze myslet na a )
Dle nezávislosti, pravděpodobnost se stává
Vezmeme-li přirozený logaritmus pdf
a maximální pravděpodobnost odhad je
Vezmeme-li první derivaci funkce pravděpodobnosti logaritmu
Výsledkem je odhad maximální pravděpodobnosti
což je jednoduše výběrový průměr.
Z tohoto příkladu bylo zjištěno, že výběrový průměr je odhad maximální pravděpodobnosti pro vzorky pevného, neznámého parametru poškozeného AWGN.
Pro zjištění Cramérovy–Raovy dolní meze (CRLB) výběrového středního odhadu je nejprve nutné najít Fisherovo informační číslo
Vezmeme-li druhou derivaci
a nalezení záporné očekávané hodnoty je triviální, protože to je nyní deterministická konstanta
Konečně, uvedení Fisher informace do
Porovnání s rozptylem výběrového průměru (určeného dříve) ukazuje, že výběrový průměr je roven Cramérově–Raově dolní hranici pro všechny hodnoty a .
Jinými slovy, výběrový průměr je (nutně unikátní) efektivní odhad, a tedy také minimální rozptyl nezaujatého odhadu (MVUE), navíc je odhadem maximální pravděpodobnosti.
Maximum rovnoměrného rozdělení
Jedním z nejjednodušších netriviálních příkladů odhadu je odhad maxima rovnoměrného rozdělení. Používá se jako praktické cvičení ve třídě a pro ilustraci základních principů teorie odhadu. Dále v případě odhadu založeného na jediném vzorku demonstruje filozofické otázky a možná nedorozumění při používání odhadů maximální pravděpodobnosti a pravděpodobnostních funkcí.
Vzhledem k diskrétnímu rovnoměrnému rozdělení s neznámým maximem je odhad UMVU pro maximum dán
kde m je maximální vzorek a k je velikost vzorku, odběr vzorků bez náhrady. Tento problém je běžně známý jako německý tankový problém, a to kvůli použití maximálního odhadu na odhady německé výroby tanků za druhé světové války.
Vzorec lze intuitivně chápat jako:
přidávaná mezera kompenzuje záporné zkreslení maxima vzorku jako odhad pro populační maximum.[poznámka 1]
To má rozptyl
tak směrodatná odchylka přibližně , průměrná (populační) velikost mezery mezi vzorky; srovnejte výše. To lze považovat za velmi jednoduchý případ odhadu maximální vzdálenosti.
Výběrové maximum je odhad maximální pravděpodobnosti pro populační maximum, ale jak bylo uvedeno výše, je zkreslené.
Četné obory vyžadují použití teorie odhadů.
Některé z těchto oborů zahrnují (ale v žádném případě se neomezují na):
Měřená data budou pravděpodobně podléhat šumu nebo nejistotě a právě díky statistické pravděpodobnosti se hledají optimální řešení, jak z dat získat co nejvíce informací.
Citační chyba: pro skupinu s názvem „note“ existují značky, ale nebyla nalezena odpovídající značka, nebo uzávěrka