Lze se setkat s problémem definitivního rozhodnutí s ohledem na nejistou hypotézu, která je známá pouze díky svým pozorovatelným důsledkům.
Test statistických hypotéz, nebo stručněji test hypotéz, je algoritmus, který uvádí alternativu (pro nebo proti hypotéze), která minimalizuje určitá rizika.
Tento článek popisuje běžně používané frekvenční zacházení s testováním hypotéz.
Z bayesovského hlediska
je vhodné považovat testování hypotéz za zvláštní případ teorie normativního rozhodnutí (konkrétně problém výběru modelu) a je možné hromadit důkazy ve prospěch (nebo proti) hypotézy pomocí pojmů, jako jsou poměry pravděpodobnosti známé jako Bayesovy faktory.
Existuje několik příprav, které provádíme před pozorováním dat.
Poté, co jsou data k dispozici, je vypočtena testovací statistika a my určíme, zda se nachází uvnitř kritické oblasti.
Pokud je statistika testu uvnitř kritické oblasti, pak náš závěr je jeden z následujících:
Výzkumník si musí vybrat mezi těmito logickými alternativami.
V příkladu bychom řekli: pozorovaná odpověď na léčbu je statisticky významná.
Pokud je statistika testu mimo kritickou oblast, jediným závěrem je, že
To není totéž jako důkaz ve prospěch hypotézy. To nemůžeme získat použitím těchto argumentů, protože nedostatek důkazů proti hypotéze pro ni není důkazem. Na tomto základě statistický výzkum postupuje tak, že odstraňuje chyby, nikoliv hledáním pravdy.
Někteří statistici komentovali, že čistě „testování významnosti“ má ve skutečnosti poněkud podivný cíl odhalit existenci „skutečného“ rozdílu mezi dvěma populacemi. V praxi lze téměř vždy najít rozdíl při dostatečně velkém vzorku, což je typicky relevantnějším cílem vědy je derminace velikosti kauzálního efektu. Množství a povaha rozdílu, jinými slovy, je to, co by mělo být studováno. Mnoho výzkumníků má také pocit, že testování hypotéz je něco jako chybné pojmenování. V praxi jediný statistický test v jedné studii málokdy něco „dokazuje“.
„Malé zamyšlení odhalí fakt, který je mezi statistiky široce pochopen: Nulová hypotéza, brána doslova (a to je jediný způsob, jak ji můžete brát ve formálním testování hypotéz), je v reálném světě vždy nepravdivá… Pokud je nepravdivá, byť v nepatrné míře, musí to být tak, že dostatečně velký vzorek přinese významný výsledek a povede k jeho odmítnutí. Pokud je tedy nulová hypotéza vždy nepravdivá, co je na jejím odmítnutí tak strašného?“ (Cohen 1990)
„… jistě, Bůh miluje .06 skoro stejně jako .05.“ (Rosnell a Rosenthal 1989)
„Jak se prakticky neplodná technika testování hypotéz dostala k takovému významu v procesu, kterým dospíváme k závěrům z našich dat?“ (Loftus 1991)
„Navzdory sevření, které testování hypotéz v experimentální psychologii má, si jen těžko dovedu představit méně bystrý způsob přechodu od dat k závěrům.“ (Loftus 1991)