Ve statistice je bias (nebo bias function) odhadce rozdíl mezi očekávanou hodnotou tohoto odhadce a skutečnou hodnotou odhadovaného parametru. Odhadovač nebo rozhodovací pravidlo s nulovým biasem se nazývá unbiased. Jinak se o odhadci říká, že je bias.
V běžné angličtině je termín bias pejorativní. Ve statistice existují problémy, pro které může být dobré použít odhad s malým, ale nenulovým biasem. V některých případech může mít odhad s malým biasem menší střední kvadratickou chybu nebo být medián-nezaujatý (spíše než průměr-nezaujatý, standardní vlastnost nezaujatosti). Vlastnost mediánu-nezaujatosti je při transformacích invariantní, zatímco vlastnost průměru-nezaujatosti může být při nelineárních transformacích ztracena.
Předpokládejme, že máme statistický model parametrizovaný θ, který dává vzniknout pravděpodobnostnímu rozdělení pozorovaných dat, , a statistický θ^, který slouží jako odhad θ na základě jakýchkoli pozorovaných dat . To znamená, že předpokládáme, že naše data sledují nějaké neznámé rozdělení (kde je pevná konstanta, která je součástí tohoto rozdělení, ale není známá), a pak sestavíme nějaký odhad, který mapuje pozorovaná data na hodnoty, o kterých doufáme, že jsou blízko . Pak je předpojatost tohoto odhadu definována jako
kde E[ ] označuje očekávanou hodnotu nad distribucí , tj. průměrování nad všemi možnými pozorováními .
O odhadci se říká, že je nezkreslený, pokud se jeho zkreslení rovná nule pro všechny hodnoty parametru θ.
Existují obecnější pojmy předpojatost a nezaujatost. To, co tento článek nazývá „předpojatost“, se nazývá „střední předpojatost“, aby se rozlišila střední předpojatost od ostatních pojmů, z nichž ty významné jsou „mediánově nezaujaté“ odhady. Obecná teorie nezaujatých odhadů je krátce rozebrána na konci tohoto článku.
V simulačním experimentu týkajícím se vlastností odhadce lze posoudit zkreslení odhadce pomocí signovaného středního rozdílu.
Předpokládejme, že X1, …, Xn jsou nezávislé a identicky rozložené (i.i.d) náhodné proměnné s očekáváním μ a rozptylem σ2. Pokud jsou průměr vzorku a nekorigovaný rozptyl vzorku definovány jako
pak S2 je předpojatý odhad σ2, protože
Jinými slovy, očekávaná hodnota nekorigovaného rozptylu vzorku se nerovná populačnímu rozptylu σ2, pokud není vynásobena normalizačním faktorem. Průměr vzorku je naopak nezkresleným odhadem populačního průměru μ.
Důvod, proč je S2 zkreslený, vyplývá ze skutečnosti, že výběrový průměr je obyčejný odhad nejmenších čtverců (OLS) pro μ: Je to takové číslo, které dělá součet Σ(Xi − μ)2 co nejmenším. To znamená, že když je jakékoliv jiné číslo připojeno k tomuto součtu, součet se může pouze zvýšit. Zejména volba m = μ dává, první (nebo většina výsledků)
Všimněte si, že obvyklá definice rozptylu vzorku je
a to je nezkreslený odhad populačního rozptylu. To lze zjistit zaznamenáním následujícího vzorce pro výraz v nerovnosti pro očekávání nekorigovaného rozptylu vzorku výše:
Poměr mezi zkreslenými (nekorigovanými) a nezkreslenými odhady rozptylu je znám jako Besselova korekce.
Odhad Poissonovy pravděpodobnosti
Daleko extrémnější případ zaujatého odhadu, který je lepší než jakýkoliv nezaujatý odhad, vyplývá z Poissonova rozdělení:: Předpokládejme, že X má Poissonovo rozdělení s očekáváním λ. Předpokládejme, že je žádoucí odhadnout
(Například když jsou příchozí hovory na telefonní ústředně modelovány jako Poissonův proces a λ je průměrný počet hovorů za minutu, pak e−2λ je pravděpodobnost, že v následujících dvou minutách nepřijdou žádné hovory.)
Vzhledem k tomu, že očekávání nezkresleného odhadu δ(X) se rovná odhadu, tj.
jedinou funkcí dat tvořících nezaujatý odhad je
Abyste to viděli, všimněte si, že při rozkladu e−λ z výše uvedeného výrazu pro očekávání je součet, který zbývá, také expanzí Taylorovy řady e−λ, čímž získáme e−λe−λ = e−2λ (viz Charakteristiky exponenciální funkce).
Je-li zjištěná hodnota X 100, pak je odhad 1, i když skutečná hodnota odhadované veličiny bude velmi pravděpodobně blízko 0, což je opačný extrém. A je-li zjištěna hodnota X 101, pak je odhad ještě absurdnější: Je to −1, i když odhadovaná veličina musí být kladná.
(Zaujatý) odhad maximální pravděpodobnosti
je mnohem lepší než tento nezaujatý odhad. Nejen, že je jeho hodnota vždy kladná, ale je také přesnější v tom smyslu, že jeho střední kvadratická chyba
je menší; porovnejte MSE nezaujatého odhadce
MSE jsou funkce skutečné hodnoty λ. Zaujatost odhadu maximální pravděpodobnosti je:
Maximum diskrétního rovnoměrného rozdělení
Zkreslení odhadů maximální pravděpodobnosti může být podstatné. Vezměme si případ, kdy n tipů očíslovaných od 1 do n je umístěno v poli a jeden je vybrán náhodně, což dává hodnotu X. Pokud n není známo, pak odhad maximální pravděpodobnosti n je X, i když očekávání X je pouze (n + 1)/2; můžeme si být jisti pouze tím, že n je alespoň X a je pravděpodobně více. V tomto případě je přirozený nezkreslený odhad 2X − 1.
Medián nezaujatých odhadů
Teorii mediánových nezaujatých odhadců oživil George W. Brown v roce 1947:
Odhad jednorozměrného parametru θ bude považován za mediánově nezkreslený, pokud pro fixní θ je medián rozdělení odhadu na hodnotě θ; tj. odhad podhodnocuje stejně často, jako nadhodnocuje. Zdá se, že tento požadavek je pro většinu účelů splněn stejně jako mediánově nezkreslený požadavek a má dodatečnou vlastnost, že je invariantní při transformaci jedna ku jedné.
Další vlastnosti mediánově nezaujatých odhadců zaznamenali Lehmann, Birnbaum, van der Vaart a Pfanzagl.[nutná citace] Zejména mediánově nezaujaté odhady existují v případech, kdy mediánově nezaujaté a s maximální pravděpodobností odhady neexistují. Kromě toho, že mediánově nezaujaté odhady jsou invariantní v rámci transformací jedna ku jedné, mají překvapivou robustnost.[nutná citace]
Zaujatost s ohledem na ostatní ztrátové funkce
Jakýkoli střední nezaujatý odhad minimální rozptylu minimalizuje riziko (očekávanou ztrátu) s ohledem na funkci ztráty na druhou, jak bylo pozorováno Gaussem.[nutná citace] Střední nezaujatý odhad minimalizuje riziko s ohledem na funkci absolutní ztráty, jak bylo pozorováno Laplacem.[nutná citace] Další ztrátové funkce se používají ve statistické teorii, zejména v robustní statistice.[nutná citace]
Všimněte si, že pokud je transformace aplikována na průměr-nezkreslený odhad, nemusí být výsledkem průměr-nezkreslený odhad jeho odpovídající populační statistiky. To znamená, že pro nelineární funkci f a průměr-nezkreslený odhad U parametru p nemusí být složený odhad f(U) průměr-nezkreslený odhad f(p). Například druhá odmocnina z nezkresleného odhadu populačního rozptylu není průměr-nezkreslený odhad populační směrodatné odchylky.
Průměr (Aritmetika, Geometrie) – Medián – Režim – Výkon – Odchylka – Směrodatná odchylka
Testování hypotéz – Význam – Nullova hypotéza/Alternativní hypotéza – Chyba – Z-test – Studentův t-test – Maximální pravděpodobnost – Standardní skóre/Z skóre – P-hodnota – Analýza rozptylu
Funkce přežití – Kaplan-Meier – Logrank test – Četnost selhání – Proporcionální modely nebezpečnosti
Normal (zvonová křivka) – Poisson – Bernoulli
Matoucí veličina – Pearsonův korelační koeficient produktového momentu – Rank korelace (Spearmanův korelační koeficient hodnosti, Kendall tau korelační koeficient hodnosti)
Lineární regrese – Nelineární regrese – Logistická regrese