Gaussova-Markovova věta

Gaussova–Markovova věta, pojmenovaná po Carlu Friedrichu Gaussovi a Andreji Markovovi, ve statistice uvádí, že v lineárním modelu, v němž chyby mají nulové očekávání a jsou nekorelované a mají stejné odchylky, jsou nejlepšími lineárními nezkreslenými odhady koeficientů odhady nejmenších čtverců. Obecněji řečeno, nejlepším lineárním nezkresleným odhadem jakékoli lineární kombinace koeficientů je jeho odhad nejmenších čtverců. Chyby se nepředpokládají za normálně rozložené, ani se nepředpokládají za nezávislé (ale pouze nekorelované – slabší podmínka), ani se nepředpokládají za identicky rozložené (ale pouze homoscedastické – slabší podmínka, definovaná níže).

Výslovněji, a konkrétněji, Předpokládejme, že máme

pro i = 1, . . ., n, kde β0 a β1 jsou nenáhodné, ale nepozorovatelné parametry, xi jsou nenáhodné a pozorovatelné, εi jsou náhodné, a tak Yi jsou náhodné. (Nastavíme x malými písmeny, protože není náhodné, a Y velkým, protože je náhodné.) Náhodné proměnné εi se nazývají „chyby“ (nezaměňovat se „zbytky“; viz chyby a zbytky ve statistice). Gaussovy–Markovovy předpoklady uvádějí, že

(tj. všechny chyby mají stejný rozptyl; to je „homoscedasticita“), a

pro ; to je „nekorektnost“.
Lineární nezaujatý odhad β1 je lineární kombinace

ve kterém koeficienty ci nesmí záviset na dřívějších koeficientech βi, protože ty nejsou pozorovatelné, ale mohou záviset na xi, protože ty jsou pozorovatelné a jejichž očekávaná hodnota zůstává β1, i když se hodnoty βi změní. (Závislost koeficientů na xi je typicky nelineární; odhad je lineární v tom, co je náhodné; proto je to „lineární“ regrese.) Střední kvadratická chyba takového odhadu je

tj. je to očekávání druhé mocniny rozdílu mezi odhadcem a parametrem, který má být odhadnut. (Střední kvadratická chyba odhadce se shoduje s rozptylem odhadce, pokud je odhadce nezaujatý; pro zaujaté odhadce je střední kvadratická chyba součtem rozptylu a druhé mocniny zaujatosti.) Nejlepším lineárním nezaujatým odhadcem je ten, který má nejmenší střední kvadratickou chybu. „Odhady nejmenších čtverců“ β0 a β1 jsou funkce a Ys a xs, které tvoří součet čtverců reziduí

Doporučujeme:  Wilhelm Wundt

co nejmenší. (Je snadné zaměnit pojem chyby zavedený na začátku tohoto článku s tímto pojmem zbytkové. Pro popis rozdílů a vztahu mezi nimi, viz chyby a zbytkové hodnoty ve statistikách.)

Hlavní myšlenkou důkazu je, že odhady nejmenších čtverců jsou nekorelované s každým lineárním nezkresleným odhadem nuly, tj. s každou lineární kombinací

jejichž koeficienty nezávisí na nepozorovatelném βi, ale
jejichž očekávaná hodnota zůstává nulová bez ohledu na to, jak se hodnoty β1 a β2 mění.

Z hlediska formulace maticové algebry ukazuje Gaussova–Markovova věta, že rozdíl mezi parametrickou kovarianční maticí libovolného lineárního nezaujatého odhadu a OLS je kladný semidefinitní (viz také důkaz v externím odkazu).