Ke zneužití statistik dochází, pokud statistický argument tvrdí, že je nepravdivý. V období, kdy statistiky začaly hrát ve společnosti významnou roli, byly často zneužívány. V některých případech bylo zneužití náhodné. V jiných případech bylo účelové a pro zisk pachatele. Pokud je použitý statistický důvod nepravdivý nebo nesprávně použitý, jedná se o statistický klam.
Falešná statistická past může být pro pátrání po znalostech značně škodlivá. Například v lékařské vědě může náprava lži trvat desítky let a stát životy.
Chyby se dají snadno podchytit. Profesionální vědci, dokonce i matematici a profesionální statistici, se dají ošálit i některými jednoduchými metodami a dokonce i když si dávají pozor, aby všechno zkontrolovali. Vědci jsou známí tím, že se klamou statistikami kvůli nedostatečným znalostem teorie pravděpodobnosti a nedostatečné standardizaci svých testů.
Vyřazení nepříznivých údajů
Z marketingového hlediska vše, co musí společnost udělat pro propagaci neutrálního (nepoužitelného) výrobku, je najít nebo provést například 20 studií s 95% mírou spolehlivosti. I když je výrobek opravdu nepoužitelný, v průměru jedna z 20 studií prokáže pozitivní účinek čistě náhodou (to je to, co 95% míra spolehlivosti znamená) Společnost bude ignorovat 19 neprůkazných výsledků a donekonečna propagovat jedinou studii, která říká, že výrobek/nápad je dobrý. Tato taktika se stává účinnější, čím více studií je k dispozici, protože to zvyšuje pravděpodobnost, že bude existovat velké množství studií, které podporují účinnost výrobku. Například při 95% úrovni spolehlivosti, pokud existuje 200 studií, pak v průměru 10 z nich prokáže účinek. Organizace, které nezveřejňují každou studii, kterou provádějí, jako jsou tabákové společnosti popírající spojení mezi kouřením a rakovinou, nebo prodejci zázračných pilulek, pravděpodobně použijí tuto taktiku.
Další běžnou technikou je provedení studie, která testuje velký počet závislých (odezvových) proměnných ve stejnou dobu. Například studie testující účinek lékařského ošetření může použít jako závislé proměnné pravděpodobnost přežití, průměrný počet dní strávených v nemocnici, pacientova vlastní nahlášená úroveň bolesti atd. To také zvyšuje pravděpodobnost, že alespoň jedna z proměnných bude náhodou vykazovat korelaci s nezávislou (vysvětlující) proměnnou.
Často lidé nebo organizace, které provádějí více studií, aby se pokusily získat určitý výsledek, buď klasifikují data ze studií, které nepřinesly požadovaný výsledek, jako „tajná“, nebo tvrdí, že data byla ztracena kvůli selhání počítače, aby se zabránilo odhalení jejich podvodu.
Odpovědi na průzkumy mohou být často zmanipulovány formulací otázky tak, aby vyvolaly převahu směrem k určité odpovědi respondenta. Například v dotazování podpory války, otázky:
pravděpodobně vyústí v data vychýlená různými směry, i když se oba dotazují na podporu války.
Dalším způsobem, jak toho dosáhnout, je předběhnout otázku informacemi, které podporují „žádoucí“ odpověď. Například více lidí pravděpodobně odpoví „ano“ na otázku „Vzhledem k rostoucí zátěži daní pro rodiny ze střední třídy, podporujete snížení daně z příjmu?“ než na otázku „Vzhledem k rostoucímu schodku federálního rozpočtu a zoufalé potřebě vyšších příjmů, podporujete snížení daně z příjmu?“
Pokud máte statistiku, která říká, že 100% jablek je v létě červených, a pak uveřejníte „Všechna jablka jsou červená“, budete příliš generalizovat, protože jste se na jablka podívali jen v létě a používáte tato data k vyvozování závěrů o jablkách ve všech ročních obdobích. Častokrát není generalizace provedena původním výzkumníkem, ale jinými interpretujícími data. Pokračujeme-li v předchozím příkladu, pokud v televizním pořadu řeknete „Všechna jablka jsou v létě červená“, mnoho lidí si nebude pamatovat, že jste řekl „v létě“, pokud se jich zeptáte po týdnech.
S tématem, o kterém široká veřejnost nemá žádné osobní znalosti, můžete ošálit mnoho lidí. Například v televizi můžete říci „Většina autistů je beznadějně nevyléčitelná, pokud jsou vychováváni bez rodičů nebo normálního vzdělání“ a mnoho lidí si bude pamatovat pouze první část tvrzení „Většina autistů je beznadějně nevyléčitelná“. Tento problém je rozšířen zejména v televizi, kde moderátoři talk show zpovídají jednoho jedince jako zástupce celé třídy lidí.
Nesprávné vykazování nebo nepochopení odhadované chyby
Pokud chce výzkumný tým vědět, jak se k určitému tématu staví 300 milionů lidí, bylo by nepraktické ptát se jich všech. Pokud však tým vybere náhodný vzorek asi 1000 lidí, může si být celkem jistý, že výsledky dané touto skupinou jsou reprezentativní pro to, co by větší skupina řekla, kdyby byli všichni dotázáni. Tomu se říká zákon velkých čísel.
Tato spolehlivost může být skutečně kvantifikována pomocí centrální limitní věty a dalších matematických výsledků. Důvěra je vyjádřena jako pravděpodobnost, že skutečný výsledek (pro větší skupinu) je v určitém rozmezí odhadu (údaj pro menší skupinu). Jedná se o údaj „plus nebo minus“, který je často uváděn pro statistická zjišťování. Pravděpodobnostní část úrovně spolehlivosti se obvykle neuvádí; pokud ano, předpokládá se, že se jedná o standardní číslo jako 95%.
Obě čísla spolu souvisí. Pokud má průzkum odhadovanou chybu ±5% při 95% spolehlivosti, může mít odhadovanou chybu ±6,6% při 99% spolehlivosti. Čím větší je vzorek, tím menší je odhadovaná chyba při dané úrovni spolehlivosti.
Většina lidí předpokládá, protože je vynechán údaj o spolehlivosti, že existuje stoprocentní jistota, že skutečný výsledek je v rámci odhadované chyby. To není matematicky správné.
Mnoho lidí si možná neuvědomuje, že náhodnost vzorku je velmi důležitá. V praxi se mnoho průzkumů veřejného mínění provádí po telefonu, což zkresluje vzorek v několika ohledech, včetně vyloučení lidí, kteří nemají telefon, zvýhodnění lidí, kteří mají více než jeden telefon, zvýhodnění lidí, kteří jsou ochotni se zúčastnit průzkumu telefonu, před těmi, kteří odmítnou, atd. Nenáhodný výběr činí odhadovanou chybu nespolehlivou.
Na druhou stranu, mnoho lidí se domnívá, že statistiky jsou ze své podstaty nespolehlivé, protože ne všichni jsou povoláni, nebo proto, že oni sami nejsou nikdy dotazováni. Mnoho lidí si myslí, že je nemožné získat údaje o názoru desítek milionů lidí pouhým dotazováním několika tisíc. To je také nepřesné. Průzkum s dokonalým nezaujatým výběrem a pravdivými odpověďmi má matematicky stanovenou chybovost, která závisí pouze na počtu dotázaných.
Výše uvedené problémy se týkají všech statistických experimentů, nejen populačních průzkumů.
Existuje také mnoho dalších problémů s měřením v populačních průzkumech.
Čtvrtá možnost může být vyloučena statistickými testy, které mohou vypočítat pravděpodobnost, že pozorovaná korelace by byla tak velká, jak je jen náhodná. Nicméně, i když je tato možnost vyloučena, stále existují tři další.
Pokud počet lidí, kteří si koupí zmrzlinu na pláži, statisticky souvisí s počtem lidí, kteří se utopí na pláži, pak by nikdo netvrdil, že zmrzlina způsobuje utonutí, protože je zřejmé, že tomu tak není. (V tomto případě utonutí i koupě zmrzliny jasně souvisí se třetím faktorem: počtem lidí na pláži).
Tento omyl může být použit například k prokázání, že vystavení chemické látce způsobuje rakovinu. Nahraďte „počet lidí, kteří si kupují zmrzlinu“ za „počet lidí vystavených chemické látce X“ a „počet lidí, kteří se utopí“ za „počet lidí, kteří dostanou rakovinu“ a mnoho lidí vám uvěří. V takové situaci může existovat statistická korelace, i když nedojde k žádnému skutečnému efektu. Pokud například vznikne dojem, že chemická látka je „nebezpečná“ (i když ve skutečnosti nebezpečná není), sníží se hodnota majetku v dané oblasti, což přiláká více rodin s nízkými příjmy, aby se do této oblasti přestěhovaly. Pokud je u rodin s nízkými příjmy větší pravděpodobnost, že onemocní rakovinou, než u rodin s vysokými příjmy (to se může stát z mnoha důvodů, jako je horší strava nebo horší přístup k lékařské péči), pak se míra výskytu rakoviny zvýší, i když chemická látka sama o sobě nebezpečná není. Má se za to, že přesně to se stalo u některých prvních studií ukazujících souvislost mezi EMP poli z elektrického vedení a rakovinou.
V dobře navržených studiích lze efekt falešné kauzality eliminovat přiřazením některých lidí do „léčebné skupiny“ a některých lidí do „kontrolní skupiny“ náhodně, a tím, že se léčebné skupině podá léčba a kontrolní skupině se léčba nepodá. Ve výše uvedeném příkladu může výzkumník vystavit jednu skupinu lidí chemickému X a druhou skupinu nechat bez povšimnutí. Pokud by první skupina měla vyšší výskyt rakoviny, výzkumník ví, že neexistuje žádný třetí faktor, který by ovlivnil to, zda byla osoba vystavena, protože kontroloval, kdo byl vystaven nebo nebyl, a náhodně přiřadil lidi do exponovaných a neexponovaných skupin. V mnoha aplikacích je však skutečné provedení „experimentu“ tímto způsobem buď neúnosně drahé, nemožné, neetické, nezákonné nebo přímo nemožné. (Je například vysoce nepravděpodobné, že by IRB akceptoval experiment, který zahrnoval úmyslné vystavení lidí nebezpečné látce, aby otestoval její toxicitu.)
Aplikace skupinových statistik na jednotlivce
Statistická šikovnost ruky
Chybí důležité výhrady.
Lingvisticky prosazující jednotkovou míru, když je empiricky porušena
Jednotková míra je axiom teorie pravděpodobnosti, který říká, že když je jisté, že nastane událost, její pravděpodobnost je 1. Tento axiom je v souladu s empirickým světem, pokud je vztah od množiny událostí, které jsou jisté, že nastane, k množině fyzikálních objektů jedna ku jedné, ale ne jinak. V druhém případě je jednotková míra vědecky neplatná.
Christensen a Reichert (1976), Oldberg a Christensen (1995) a Oldberg (2005) uvádějí pozorování systémů, v nichž není vztah jedna ku jedné. Výsledkem absence vztahu jedna ku jedné je, že pro přidružené systémy nejsou definovány následující prvky statistické terminologie: a) „populace“, b) „výběrová jednotka“, c) „vzorek“, d)„pravděpodobnost“, e) jakýkoli termín, který předpokládá teorii pravděpodobnosti.
Ke zneužití statistiky dochází, pokud je některý z těchto termínů použit v souvislosti se systémem, který postrádá jednotku jedna ku jedné, neboť jednotková míra je jazykově potvrzena a empiricky porušena. Oldberg a Christensen (1995) a Oldberg (2005) uvádějí pozorování tohoto typu zneužití.