Horní část této grafiky zobrazuje hustoty pravděpodobnosti, které ukazují relativní pravděpodobnost, že procento „pravda“ je v určité oblasti dané vykazovaným procentem 50%. Spodní část této grafiky ukazuje rozpětí chyby, odpovídající pásmo 95% spolehlivosti. Jinými slovy, člověk si je na 95% jistý, že procento „pravda“ je v této oblasti dané anketou s velikostí vzorku zobrazenou vpravo. Čím je vzorek větší, tím menší je rozpětí chyby.
Rozpětí chyby je statistika vyjadřující množství náhodné výběrové chyby ve výsledcích průzkumu. Čím větší je rozpětí chyby, tím menší by člověk měl mít důvěru v to, že výsledky průzkumu se blíží „skutečným“ číslům; tedy číslům za celou populaci.
Rozpětí chyby je obvykle definováno jako poloměr intervalu spolehlivosti pro konkrétní statistiku z průzkumu. Pokud je pro průzkum vykázána jediná, globální rozpětí chyby, odkazuje na maximální rozpětí chyby pro všechna vykazovaná procenta při použití úplného vzorku z průzkumu. Toto maximální rozpětí chyby lze vypočítat jako poloměr intervalu spolehlivosti pro vykazované procento 50 %.
Podobně jako u intervalů spolehlivosti lze rozpětí chyby definovat pro jakoukoli požadovanou úroveň spolehlivosti, ale obvykle se volí úroveň 90%, 95% nebo 99% (typicky 95%). Tato úroveň je pravděpodobnost, že rozpětí chyby kolem vykazovaného procenta by zahrnovalo „skutečné“ procento. Spolu s úrovní spolehlivosti určuje velikost rozpětí chyby i návrh vzorku pro průzkum, a zejména jeho velikost. Větší velikost vzorku vytváří menší rozpětí chyby, vše ostatní zůstává stejné.
Běžný příklad z prezidentské kampaně v USA v roce 2004 bude použit pro ilustraci pojmů v celém tomto článku. Podle průzkumu Newsweeku z 2. října 2004 by 47% registrovaných voličů volilo Johna Kerryho/Johna Edwardse, pokud by se volby konaly v tento den, 45% by volilo George W. Bushe/Dicka Cheneyho a 2% by volilo Ralpha Nadera/Petera Cameja. Velikost vzorku byla 1 013. Pokud není uvedeno jinak, zbytek tohoto článku používá 95% úroveň důvěry.
Průzkumy obvykle zahrnují odebrání vzorku z určité populace. V případě průzkumu Newsweeku je sledovanou populací populace lidí, kteří budou volit. Protože je nepraktické dotazovat se každého, kdo bude volit, respondenti odebírají menší vzorky, které mají být reprezentativní; to znamená náhodný vzorek populace. Je možné, že respondenti odebírají vzorek 1 013 voličů, kteří náhodou volí Bushe, i když ve skutečnosti je populace rozdělená, ale to je krajně nepravděpodobné vzhledem k tomu, že vzorek je náhodný.
Teorie vzorkování poskytuje metody pro výpočet pravděpodobnosti, že se výsledky průzkumu liší od reality o více než určité množství, jednoduše díky náhodě; například, že průzkum uvádí 47% pro Kerryho, ale jeho podpora je ve skutečnosti až 50%, nebo je opravdu méně než 44%. Tato teorie a některé bayesovské předpoklady naznačují, že „skutečné“ procento bude pravděpodobně poměrně blízko 47%. Čím více lidí, kteří jsou vzorkováni, tím sebevědomější průzkumníci mohou být, že „skutečné“ procento je blízko sledovanému procentu. Meze chyby je měřítkem toho, jak blízko budou výsledky pravděpodobně být.
Mez chyby však zohledňuje pouze náhodnou výběrovou chybu, takže je slepá k systematickým chybám, které mohou být způsobeny neodpovědí nebo interakcí mezi průzkumem a pamětí, motivací, komunikací a znalostmi subjektů.
Výpočty předpokládající náhodný výběr
Tato část se bude stručně zabývat standardní chybou procenta, odpovídajícím intervalem spolehlivosti, a spojí tyto dva koncepty s mezí chyby. Pro zjednodušení zde výpočty předpokládají, že anketa byla založena na jednoduchém náhodném vzorku z velké populace.
Standardní chyba vykazovaného podílu nebo procenta p měří jeho přesnost a je odhadovanou směrodatnou odchylkou tohoto procenta. Lze ji odhadnout pouze z p a velikosti vzorku n, pokud n je malé vzhledem k velikosti populace, s použitím následujícího vzorce:
Pokud vzorek není jednoduchý náhodný vzorek z velké populace, standardní chyba musí být odhadnuta pomocí pokročilejších výpočtů.
V anketě Newsweeku Kerryho míra podpory p = 0,47 a n = 1 013. Standardní chyba (.016 nebo 1,6%) pomáhá dát smysl pro přesnost Kerryho odhadovaného procenta (47%). Bayesovská interpretace standardní chyby je taková, že i když neznáme „pravdivé“ procento, je vysoce pravděpodobné, že se nachází v rozmezí dvou standardních chyb odhadovaného procenta (47%). Standardní chyba může být použita k vytvoření intervalu spolehlivosti, ve kterém by „pravdivé“ procento mělo být na určité úrovni spolehlivosti.
Odhadované procento plus nebo minus jeho odchylka je interval spolehlivosti pro dané procento. Jinými slovy, odchylka je polovina šířky intervalu spolehlivosti. Lze ji vypočítat jako násobek standardní chyby, přičemž faktor závisí na požadované úrovni spolehlivosti; odchylka jedné standardní chyby dává 68% interval spolehlivosti, zatímco odhad plus nebo minus 1,96 standardní chyby je 95% interval spolehlivosti a 99% interval spolehlivosti má 2,58 standardní chyby na obou stranách odhadu.
Mezní odchylka pro určitou sledovanou statistiku je obvykle definována jako poloměr (nebo poloviční šířka) intervalu spolehlivosti pro danou statistiku. Tento termín lze také obecně použít k označení výběrové chyby. Ve zprávách o výsledcích anket v médiích se termín obvykle vztahuje k maximální mezní odchylce pro jakékoli procento z dané ankety.
Maximální chybovost pro jakékoli procento je poloměr intervalu spolehlivosti, kdy p = 50%. Jako takový může být vypočítán přímo z počtu respondentů dotazování. Pro 95% spolehlivost za předpokladu jednoduchého náhodného vzorku z velké populace:
Tento výpočet dává rozpětí chyby 3% pro průzkum Newsweeku, který hlásil rozpětí chyby 4%. Rozdíl byl pravděpodobně způsoben váhou nebo složitými vlastnostmi vzorového návrhu, který vyžadoval alternativní výpočty pro standardní chybu.
Různé úrovně spolehlivosti
Pro jednoduchý náhodný vzorek z velkého souboru je maximální chybová odchylka jednoduchým opakovaným vyjádřením velikosti vzorku n. Čitatelé těchto rovnic jsou zaokrouhleny na dvě desetinná místa.
Pokud článek o anketě neoznamuje míru chyby, ale uvádí, že byl použit jednoduchý náhodný vzorek určité velikosti, lze míru chyby vypočítat pro požadovaný stupeň spolehlivosti pomocí jednoho z výše uvedených vzorců. Je-li také uvedena 95% míra chyby, lze 99% míru chyby zjistit zvýšením vykazované míry chyby o přibližně 30%.
Maximální a specifické rozpětí chyby
Zatímco rozpětí chyby obvykle uváděné v médiích je údaj z celého průzkumu, který odráží maximální výběrovou odchylku jakéhokoli procenta na základě všech respondentů z tohoto průzkumu, termín rozpětí chyby také odkazuje na poloměr intervalu spolehlivosti pro konkrétní statistiku.
Mez chybovosti pro určité jednotlivé procento bude obvykle menší než maximální mez chybovosti uváděná pro průzkum. Toto maximum platí pouze v případě, že sledované procento je 50% a mez chybovosti se zmenšuje s tím, jak se procento přibližuje extrémům 0% nebo 100%.
Jinými slovy, maximální chybovost je poloměr 95% intervalu spolehlivosti pro vykazované procento 50%. Pokud se p vzdálí od 50%, interval spolehlivosti pro p bude kratší. Maximální chybovost tedy představuje horní hranici nejistoty; nejméně 95% je jisté, že „skutečné“ procento je v rámci maximální chybovosti vykazovaného procenta pro každé vykazované procento.
Výše uvedené vzorce pro mez chyby předpokládají, že existuje nekonečně velká populace, a nezávisí tedy na velikosti sledované populace. Podle teorie výběru je tento předpoklad rozumný, pokud je vzorkovací frakce malá. Mez chyby pro konkrétní metodu výběru je v podstatě stejná bez ohledu na to, zda sledovaná populace je velikosti školy, města, státu nebo země, pokud je vzorkovací frakce menší než 10 %.
Intervaly spolehlivosti lze vypočítat, a stejně tak i rozpětí chyb, pro řadu statistik včetně jednotlivých procent, rozdílů mezi procenty, průměry, mediány a součty.
Rozpětí chyby pro rozdíl mezi dvěma procenty je větší než rozpětí chyby pro každé z těchto procent a může být dokonce větší než maximální rozpětí chyby pro každé jednotlivé procento z průzkumu.
V pluralitním volebním systému je důležité vědět, kdo má navrch. Pojmy „statistická remíza“ a „statistické mrtvé teplo“ se někdy používají k popisu vykazovaných procentních podílů, které se liší méně než chybovou odchylkou, ale tyto pojmy mohou být zavádějící. Jednak je chybová odchylka, jak se obecně vypočítává, použitelná na jednotlivé procentní podíly, a nikoli na rozdíl mezi procentními podíly, takže rozdíl mezi dvěma procentními odhady nemusí být statisticky významný ani v případě, že se liší více než vykazovaná chybová odchylka. Výsledky průzkumu také často poskytují pádné informace i v případě, že statisticky významný rozdíl neexistuje.
Při porovnávání procent může být proto užitečné vzít v úvahu pravděpodobnost, že jedno procento je vyšší než druhé. V jednoduchých situacích lze tuto pravděpodobnost odvodit pomocí 1) standardního výpočtu chyby zavedeného dříve, 2) vzorce pro rozptyl rozdílu dvou náhodných proměnných a 3) předpokladu, že pokud si někdo nevybere Kerryho, zvolí Bushe a naopak; jsou dokonale negativně korelovány. To nemusí být obhajitelný předpoklad, pokud existuje více než dvě možné odpovědi z průzkumu. Pro složitější návrhy průzkumu musí být použity různé vzorce pro výpočet standardní chyby rozdílu.
Standardní chyba rozdílu procent p pro Kerryho a q pro Bushe, za předpokladu, že jsou dokonale negativně korelovány, vyplývá:
Vzhledem k pozorovanému procentuálnímu rozdílu p − q (2% nebo 0,02) a standardní chybě výše vypočteného rozdílu (.03) lze k výpočtu pravděpodobnosti, že vzorek z normálního rozdělení s průměrem 0,02 a standardní odchylkou 0,03 je větší než 0, použít libovolnou statistickou kalkulačku.
Použití těchto výpočtů na příkladu Newsweeku vede k 75% pravděpodobnosti, že Kerry „skutečně“ vedl.