Ve statistice je střední kvadratická chyba (MSE) odhadu jedním z mnoha způsobů, jak kvantifikovat rozdíl mezi hodnotami vyplývajícími z odhadu hustoty jádra a skutečnými hodnotami odhadované veličiny. MSE je riziková funkce, která odpovídá očekávané hodnotě čtvercové chybové ztráty nebo kvadratické ztráty. MSE měří průměr druhých mocnin „chyb“. Chyba je částka, o kterou se hodnota vyplývající z odhadu liší od veličiny, která má být odhadnuta. Rozdíl vzniká kvůli náhodnosti nebo proto, že odhad nepočítá s informacemi, které by mohly přinést přesnější odhad.
MSE je druhý moment (o původu) chyby, a zahrnuje tedy jak rozptyl odhadu, tak jeho zkreslení. Pro nezaujatý odhad je MSE rozptyl. Stejně jako rozptyl má MSE stejné měrné jednotky jako druhá odmocnina z odhadované veličiny. V analogii se směrodatnou odchylkou dává odečtení druhé odmocniny MSE střední kvadratickou chybu nebo střední kvadratickou odchylku (RMSE nebo RMSD), která má stejné jednotky jako odhadovaná veličina; pro nezaujatý odhad je RMSE druhá odmocnina z rozptylu, známá jako směrodatná odchylka.
Definice a základní vlastnosti
MSE odhadce s ohledem na odhadovaný parametr je definována jako
MSE se rovná součtu rozptylu a čtvercového zkreslení odhadu
MSE tak posuzuje kvalitu odhadce z hlediska jeho variability a nezaujatosti. Všimněte si, že MSE neodpovídá očekávané hodnotě absolutní chyby.
Protože MSE je očekávání, není náhodnou proměnnou. Může být funkcí neznámého parametru , ale nezávisí na náhodných veličinách. Když se však MSE vypočítá pro konkrétní odhad, jehož skutečná hodnota není známa, stane se předmětem chyby odhadu. V bayesovském smyslu to znamená, že existují případy, kdy může být považována za náhodnou proměnnou.
V regresní analýze se termín střední kvadratická chyba někdy používá k odkazu na odhad rozptylu chyby: zbytkový součet čtverců dělený počtem stupňů volnosti. Jedná se o pozorovanou veličinu danou konkrétním výběrem (a tudíž je závislá na výběrovém souboru), zatímco výše uvedená definice je funkcí parametrů rozdělení pravděpodobnosti neznámého parametru. Další podrobnosti viz chyby a zbytkové veličiny ve statistikách.
Také v regresní analýze může „střední kvadratická chyba“, často označovaná jako „střední kvadratická chyba mimo vzorek“, odkazovat na střední hodnotu čtvercových odchylek předpovědí od skutečných hodnot, přes testovací prostor mimo vzorek, generovaný modelem odhadnutým přes určitý testovací prostor. To je také pozorovaná veličina a liší se podle vzorku a testovacího prostoru mimo vzorek.
Předpokládejme, že máme náhodný vzorek velikosti n z populace, . Obvyklý odhad pro průměr je výběrový průměr
která má očekávanou hodnotu μ (je tedy nezkreslená) a střední kvadratickou chybu
Pro Gaussovo rozdělení je to nejlepší nezaujatý odhad (to znamená, že má nejnižší MSE mezi všemi nezaujatými odhady), ale ne, řekněme, pro rovnoměrné rozdělení.
Obvyklý odhad rozptylu je
To je nezaujatý (jeho očekávaná hodnota je ), a jeho MSE je
kde je čtvrtý centrální moment distribuce nebo populace a je přebytek kurtózy.
Nicméně, jeden může použít jiné odhady , pro které jsou úměrné , A vhodná volba může vždy dát nižší střední náměstí chyba. Pokud definujeme
Pro Gaussovo rozdělení, kde , To znamená, že MSE je minimalizováno při dělení součtu , Zatímco pro Bernoulliho rozdělení s p = 1/2 (hod mincí), MSE je minimalizováno pro . (Všimněte si, že tento konkrétní případ Bernoulliho rozdělení má nejnižší možnou nadbytečnou kurtózu; to lze dokázat Jensenovou nerovností takto. Čtvrtý centrální moment je horní mez pro druhou mocninu rozptylu, takže nejmenší hodnota pro jejich poměr je jedna, proto nejmenší hodnota pro nadbytečnou kurtózu je -2, dosažená například Bernoulliho s p=1/2.) Takže bez ohledu na to, co kurtóza, dostaneme „lepší“ odhad (ve smyslu mít nižší MSE) tím, že trochu zmenšíme nezaujatý odhad. Dokonce i mezi nezaujatými odhadci, pokud rozdělení není Gaussovo nejlepší (minimální střední čtvercová chyba) odhad rozptylu nemusí být
Následující tabulka uvádí několik odhadů skutečných parametrů populace, μ a σ2, pro Gaussův případ.
MSE nula, což znamená, že odhad předpovídá pozorování parametru s dokonalou přesností, je ideální, ale prakticky nikdy není možné.
Hodnoty MSE mohou být použity pro srovnávací účely. Dva nebo více statistických modelů mohou být porovnány pomocí jejich MSE jako měřítko toho, jak dobře vysvětlují daný soubor pozorování: Nezaujatý model s nejmenším MSE je obecně interpretován jako nejlepší vysvětlení variability pozorování a nazývá se nejlepší nezaujatý odhad nebo MVUE (Minimum Variance Unbiased Estimator).
Obě techniky lineární regrese, jako je analýza rozptylu, odhadují MSE jako součást analýzy a používají odhadovaný MSE ke stanovení statistické významnosti zkoumaných faktorů nebo prediktorů. Cílem experimentálního návrhu je sestavit experimenty tak, aby se MSE při analýze pozorování blížila nule v poměru k velikosti alespoň jednoho z odhadovaných léčebných účinků.
MSE se také používá v několika postupných regresních technikách jako součást určení, kolik prediktorů z kandidátské množiny zahrnout do modelu pro danou množinu pozorování.
Čtvercová chybová ztráta je jednou z nejpoužívanějších ztrátových funkcí ve statistice, i když její široké použití vychází spíše z matematické výhodnosti než z úvah o skutečné ztrátě v aplikacích. Carl Friedrich Gauss, který zavedl použití střední čtvercové chyby, si byl vědom její svévole a souhlasil s námitkami vůči ní z těchto důvodů. Matematický přínos střední čtvercové chyby je zvláště patrný v jejím použití při analýze výkonu lineární regrese, protože umožňuje rozdělit variaci v datové sadě na variaci vysvětlenou modelem a variaci vysvětlenou náhodností.
Použití střední kvadratické chyby bez otázek kritizoval teoretik rozhodnutí James Berger. Střední kvadratická chyba je záporná hodnota očekávané hodnoty jedné specifické užitné funkce, kvadratické užitné funkce, která nemusí být vhodnou užitnou funkcí pro použití za daných okolností. Existují však některé scénáře, kdy střední kvadratická chyba může sloužit jako dobrá aproximace ztrátové funkce vyskytující se přirozeně v aplikaci.
Stejně jako rozptyl má i střední kvadratická chyba tu nevýhodu, že silně váží odlehlé hodnoty. Je to důsledek kvadratury každého výrazu, která efektivně váží velké chyby více než malé. Tato vlastnost, v mnoha aplikacích nežádoucí, vedla výzkumníky k použití alternativ, jako je střední absolutní chyba nebo ty, které jsou založeny na mediánu.