Normální rozdělení

Normální rozdělení, nazývané také Gaussovo rozdělení, je velmi důležité rozdělení pravděpodobnosti v mnoha oblastech.
Je to rodina rozdělení stejného obecného tvaru, která se liší polohovým a škálovým parametrem: střední hodnotou („průměrem“), resp. směrodatnou odchylkou („variabilitou“).
Standardní normální rozdělení je normální rozdělení se střední hodnotou nula a směrodatnou odchylkou jedna (zelené křivky na grafech vpravo).
Často se mu říká zvonová křivka, protože graf jeho hustoty pravděpodobnosti připomíná zvon.

Laplace použil normální rozdělení při analýze chyb experimentů. Důležitou metodu nejmenších čtverců zavedl Adrien Marie Legendre v roce 1805. Carl Friedrich Gauss, který tvrdil, že tuto metodu používá od roku 1794, ji v roce 1809 důsledně zdůvodnil tím, že předpokládá normální rozdělení chyb.

Název „zvonová křivka“ pochází od Jouffreta, který v roce 1872 poprvé použil termín „zvonová plocha“ pro dvourozměrnou normálu s nezávislými složkami. Název „normální rozdělení“ vytvořili nezávisle na sobě Charles S. Peirce, Francis Galton a Wilhelm Lexis kolem roku [1875. Tato terminologie je nešťastná, protože odráží a podporuje mylnou představu, že mnoho nebo všechna pravděpodobnostní rozdělení jsou „normální“. (Viz diskuse o „výskytu“ níže.)

Specifikace normálního rozdělení

Náhodnou veličinu lze zadat různými způsoby. Nejnázornější je funkce hustoty pravděpodobnosti (graf nahoře), která vyjadřuje, jak pravděpodobná je každá hodnota náhodné veličiny. Kumulativní distribuční funkce je koncepčně čistší způsob, jak specifikovat stejnou informaci, ale pro nezkušené oko je její graf mnohem méně informativní (viz níže). Ekvivalentní způsoby, jak specifikovat normální rozdělení, jsou: momenty, kumulanty, charakteristická funkce, funkce generující momenty a funkce generující kumulanty. Některé z nich jsou velmi užitečné pro teoretickou práci, ale nejsou intuitivní. Pojednání o nich naleznete v části Pravděpodobnostní rozdělení.

Všechny kumulanty normálního rozdělení jsou nulové, kromě prvních dvou.

Funkce hustoty pravděpodobnosti

Funkce hustoty pravděpodobnosti pro 4 různé sady parametrů (zelená čára je standardní normál)

Funkce hustoty pravděpodobnosti normálního rozdělení se střední hodnotou a rozptylem (ekvivalentně směrodatnou odchylkou) je příkladem Gaussovy funkce,

Má-li náhodná veličina toto rozdělení, zapisujeme.
~ .
Pokud a , nazývá se rozdělení standardní normální rozdělení a funkce hustoty pravděpodobnosti se redukuje na

Na obrázku vpravo je graf funkce hustoty pravděpodobnosti normálního rozdělení různých hodnot parametrů.

Některé pozoruhodné vlastnosti normálního rozdělení:

Kumulativní distribuční funkce

Kumulativní distribuční funkce výše uvedeného pdf

Kumulativní distribuční funkce (cdf) je definována jako pravděpodobnost, že proměnná bude mít hodnotu menší nebo rovnou , a vyjadřuje se pomocí funkce hustoty takto

Standardní normální cdf, konvenčně označovaný , je pouze obecný cdf vyhodnocený pomocí a ,

Standardní normální cdf lze vyjádřit pomocí speciální funkce, která se nazývá chybová funkce, a to takto

Inverzní kumulativní distribuční funkci neboli kvantilovou funkci lze vyjádřit pomocí inverzní chybové funkce:

Tato kvantilová funkce se někdy nazývá probitová funkce. Pro probitovou funkci neexistuje žádný elementární primitiv. Tím není řečeno pouze to, že žádný není znám, ale spíše to, že neexistence takové funkce byla prokázána.

Hodnoty Φ(x) lze velmi přesně aproximovat různými metodami, například numerickou integrací, Taylorovou řadou nebo asymptotickou řadou.

Momentová generující funkce

Generující funkce momentu je definována jako očekávaná hodnota
.
Pro normální rozdělení lze dokázat, že momentová generující funkce má hodnotu

jak je patrné z doplnění čtverce v exponentu.

Charakteristická funkce je definována jako očekávaná hodnota
, kde je imaginární jednotka.
Pro normální rozdělení je charakteristická funkce rovna

Charakteristická funkce se získá nahrazením s ve funkci generující moment.

Některé vlastnosti normálního rozdělení:

Standardizace normálních náhodných veličin

V důsledku vlastnosti 1 je možné všechny normální náhodné veličiny vztáhnout ke standardní normále.

je standardní normální náhodná veličina: ~ .
Důležitým důsledkem je, že cdf obecného normálního rozdělení je tedy

A naopak, pokud ~ , pak

je normální náhodná veličina se střední hodnotou a rozptylem .

Standardní normální rozdělení je uvedeno v tabulce a ostatní normální rozdělení jsou jednoduchými transformacemi standardního rozdělení.
Proto lze použít tabelované hodnoty cdf standardního normálního rozdělení k nalezení hodnot cdf obecného normálního rozdělení.

Některé z prvních momentů normálního rozdělení jsou:

Doporučujeme:  Kognitivní účinky poranění mozku

Všechny kumulanty normálního rozdělení za druhým kumulantem jsou nulové.

Generování normálních náhodných veličin

Pro počítačové simulace je často užitečné generovat hodnoty s normálním rozdělením.
Existuje několik metod a nejzákladnější je invertovat standardní normální cdf.
Jsou známy i účinnější metody, jednou z nich je Box-Mullerova transformace.

Boxova-Mullerova transformace je důsledkem skutečnosti, že chí-kvadrát rozdělení se dvěma stupni volnosti (viz vlastnost 4 výše) je snadno generovatelná exponenciální náhodná veličina.

Graf pdf normálního rozdělení s μ = 12 a σ = 3, aproximující pmf binomického rozdělení s n = 48 a p = 1/4.

Normální rozdělení má velmi důležitou vlastnost, že za určitých podmínek je rozdělení součtu velkého počtu nezávislých proměnných přibližně normální.
To je centrální limitní věta.

Praktický význam centrální limitní věty spočívá v tom, že normální rozdělení lze použít jako aproximaci některých jiných rozdělení.

Aproximační normální rozdělení má střední hodnotu a rozptyl .

Aproximační normální rozdělení má střední hodnotu a rozptyl .

Zda jsou tyto aproximace dostatečně přesné, závisí na účelu, pro který jsou potřebné, a na rychlosti konvergence k normálnímu rozdělení.
Obvykle platí, že tyto aproximace jsou méně přesné na chvostech rozdělení.

Normální rozdělení jsou nekonečně dělitelná rozdělení pravděpodobnosti.

Normální rozdělení jsou přísně stabilní rozdělení pravděpodobnosti.

Tmavě modrá je méně než jedna směrodatná odchylka od průměru. Pro normální rozdělení to představuje 68 % souboru, zatímco dvě směrodatné odchylky od průměru (modrá a hnědá) představují 95 % a tři směrodatné odchylky (modrá, hnědá a zelená) 99,7 %.

V praxi se často předpokládá, že data pocházejí z přibližně normálně rozdělené populace. Pokud je tento předpoklad oprávněný, pak se přibližně 68 % hodnot nachází v rozmezí 1 směrodatné odchylky od průměru, přibližně 95 % hodnot se nachází v rozmezí dvou směrodatných odchylek a přibližně 99,7 % hodnot leží v rozmezí 3 směrodatných odchylek. Toto pravidlo je známé jako „pravidlo 68-95-99,7“.

Testy normality ověřují podobnost daného souboru dat s normálním rozdělením. Nulovou hypotézou je, že soubor dat je podobný normálnímu rozdělení, proto dostatečně malá hodnota P ukazuje na nenormální data.

Odhad parametrů metodou maximální věrohodnosti

jsou nezávislé a shodně rozdělené a jsou normálně rozdělené s očekáváním μ a rozptylem σ2. V jazyce statistiků tvoří pozorované hodnoty těchto náhodných veličin „vzorek z normálně rozdělené populace“. Na základě pozorovaných hodnot tohoto vzorku je žádoucí odhadnout „populační průměr“ μ a „populační směrodatnou odchylku“ σ. Společná funkce hustoty pravděpodobnosti těchto náhodných veličin je následující

(Nota bene: Symbol proporcionality zde znamená proporcionální jako funkce a , nikoliv proporcionální jako funkce . To lze považovat za jeden z rozdílů mezi pohledem statistika a pohledem pravděpodobnosti. Důvod, proč je to důležité, se objeví níže).

Jako funkce μ a σ je to pravděpodobnostní funkce

V metodě maximální věrohodnosti se hodnoty μ a σ, které maximalizují věrohodnostní funkci, považují za odhady populačních parametrů μ a σ.

Při maximalizaci funkce dvou proměnných se obvykle uvažují parciální derivace. Zde však využijeme skutečnosti, že hodnota μ, která maximalizuje pravděpodobnostní funkci s pevně daným σ, nezávisí na σ. Proto můžeme tuto hodnotu μ najít, pak ji z μ dosadit do věrohodnostní funkce a nakonec najít hodnotu σ, která maximalizuje výsledný výraz.

Je zřejmé, že pravděpodobnostní funkce je klesající funkcí součtu

Chceme tedy hodnotu μ, která tento součet minimalizuje. Nechť

je „výběrový průměr“. Všimněte si, že

Pouze poslední člen závisí na μ a minimalizuje se pomocí následujícího pravidla

To je maximálně věrohodný odhad μ. Nahrazením tohoto odhadu za μ ve výše uvedeném součtu poslední člen zmizí. Když tedy nahradíme tento odhad za μ ve věrohodnostní funkci, získáme výsledek

Je obvyklé označovat „logaritmus pravděpodobnostní funkce“, tj. logaritmus pravděpodobnostní funkce, malým písmenem , a platí, že

Tato derivace je kladná, nulová nebo záporná podle toho, jak se σ2 pohybuje mezi 0 a

nebo se rovná tomuto množství, nebo je větší než toto množství.

Proto je tento průměr čtverců reziduí maximálně věrohodným odhadem σ2 a jeho odmocnina je maximálně věrohodným odhadem σ.

Odvození maximálně věrohodného odhadu kovarianční matice vícerozměrného normálního rozdělení je subtilní. Zahrnuje spektrální větu a důvod, proč může být lepší nahlížet na skalár jako na stopu matice 1×1 než jako na pouhý skalár. Viz odhad kovarianční matice.

Doporučujeme:  Olaf Sporns

Nezkreslený odhad parametrů

Maximálně věrohodný odhad populačního průměru ze vzorku je nestranným odhadem průměru, stejně jako rozptyl, pokud je průměr populace znám a priori. Pokud však máme k dispozici vzorek a neznáme střední hodnotu ani rozptyl populace, z níž byl vzorek vybrán, je nestranný odhad rozptylu:

Přibližně normální rozdělení se vyskytují v mnoha situacích v důsledku centrální limitní věty.
Pokud existuje důvodné podezření na přítomnost velkého počtu malých vlivů působících aditivně a nezávisle, je rozumné předpokládat, že pozorování budou normální.
Existují statistické metody, které tento předpoklad empiricky testují, například Kolmogorovův-Smirnovův test.

Účinky mohou působit také jako multiplikativní (nikoli aditivní) modifikace. V takovém případě není předpoklad normality oprávněný a normálně rozdělený je právě logaritmus zájmové proměnné. Rozdělení přímo sledované proměnné se pak nazývá logaritmicko-normální.

A konečně, pokud existuje jediný vnější vliv, který má na posuzovanou proměnnou velký vliv, není ani předpoklad normality oprávněný. To platí i v případě, že při zachování konstantní vnější proměnné jsou výsledná mezní rozdělení skutečně normální. Úplné rozdělení bude superpozicí normálních proměnných, která není obecně normální. To souvisí s teorií chyb (viz níže).

Pro shrnutí uvádíme seznam situací, kdy je přibližná normalita
se někdy předpokládá. Podrobnější diskusi najdete níže.

Pro biologii a ekonomii je důležitá skutečnost, že složité systémy mají tendenci vykazovat spíše mocninné zákony než normalitu.

Někdy jsou však pozorovány i neklasické korelace. Kvantová mechanika interpretuje měření intenzity světla jako počítání fotonů. Přirozeným předpokladem v tomto prostředí je Poissonovo rozdělení. Pokud je intenzita světla integrována v časech delších, než je doba koherence, a je velká, je vhodná Poissonova až normální limita. Korelace se interpretují ve smyslu „shlukování“ a „anti-shlukování“ fotonů s ohledem na očekávané Poissonovo chování. Anti-bunching vyžaduje kvantový model emise světla.

Intenzita laserového světla má přesně Poissonovo rozdělení intenzity a dlouhou dobu koherence. Vzhledem k velkým intenzitám je vhodné použít normální rozdělení.

Normalita je ústředním předpokladem matematické teorie chyb. Podobně i při statistickém přizpůsobování modelů je ukazatelem dobré shody požadavek, aby rezidua (jak se v tomto prostředí nazývají chyby) byla nezávislá a normálně rozdělená. Jakoukoli odchylku od normality je třeba vysvětlit. V tomto smyslu je jak v model-fittingu, tak v teorii chyb normalita jediným pozorováním, které není třeba vysvětlovat, protože je očekávatelné.

Fyzikální vlastnosti biologických vzorků

Z převažujících biologických důkazů vyplývá, že růstové procesy živé tkáně probíhají multiplikativně, nikoli aditivně, a proto by se míry tělesné velikosti měly řídit nanejvýš lognormálním, nikoli normálním rozdělením. Navzdory běžným tvrzením o normalitě je velikost rostlin a živočichů přibližně lognormální. Důkazy a vysvětlení založené na modelech růstu byly poprvé publikovány v klasické knize

Rozdíly ve velikosti způsobené pohlavním dimorfismem nebo jinými polymorfismy, jako je dělení na dělnice/vojáky/královny u sociálního hmyzu, dále způsobují, že se společné rozdělení velikostí odchyluje od lognormality.

Předpoklad, že lineární velikost biologických vzorků je normální, vede k nenormálnímu rozdělení hmotnosti (protože hmotnost/objem je zhruba třetí mocninou délky a Gaussovo rozdělení se zachovává pouze při lineárních transformacích) a naopak předpoklad, že hmotnost je normální, vede k nenormálním délkám. To je problém, protože neexistuje žádný apriorní důvod, proč by jedna z délek nebo tělesná hmotnost, a ne druhá, měly být rozděleny normálně. Na druhou stranu lognormální rozdělení se zachovává podle mocnin, takže „problém“ zmizí, pokud se předpokládá lognormálnost.

Na druhou stranu existují biologická měřítka, u nichž se normalita předpokládá nebo očekává:

Vzhledem k exponenciálnímu charakteru úroků a inflace jsou finanční ukazatele, jako jsou úrokové sazby, hodnoty akcií nebo ceny komodit, dobrým příkladem multiplikativního chování. Proto by se u nich nemělo očekávat, že budou normální, ale lognormální.

Benoît Mandelbrot, popularizátor fraktálů, tvrdí, že i předpoklad lognormality je chybný, a obhajuje používání logaritmických rozdělení.

Platí, že finanční ukazatele se odchylují od lognormality. Je pozorováno, že rozdělení cenových změn na krátkých časových škálách má „těžké chvosty“, takže velmi malé nebo velmi velké cenové změny jsou pravděpodobnější, než by předpovídal lognormální model. Odchylka od lognormality naznačuje, že předpoklad nezávislosti multiplikativních vlivů je chybný.

Doporučujeme:  Odkaz

Mezi další příklady proměnných, které nejsou normálně rozděleny, patří životnost lidí nebo mechanických zařízení. Příklady rozdělení používaných v této souvislosti jsou exponenciální rozdělení (bez paměti) a Weibullovo rozdělení. Obecně není důvod, aby čekací doby byly normální, protože nejsou přímo spojeny s žádným druhem aditivního vlivu.

Existuje mnoho nejasností ohledně toho, zda jsou výsledky testů IQ a inteligence normálně rozložené.

Výsledkem záměrné konstrukce testu je, že skóre IQ je u většiny populace vždy a zjevně normálně rozloženo. Zda je inteligence normálně rozložená, je méně jasné. O obtížnosti a počtu otázek v testu IQ se rozhoduje na základě toho, které kombinace povedou k normálnímu rozdělení. To však neznamená, že by informace byla nějak zkreslena nebo že by existovalo nějaké „skutečné“ rozdělení, které je uměle vnucováno do tvaru normální křivky. Testy inteligence lze sestavit tak, aby poskytovaly jakýkoli požadovaný druh rozdělení skóre. Všechny skutečné testy IQ mají normální rozložení skóre jako výsledek konstrukce testu; jinak by výsledky IQ neměly žádný význam, aniž bychom věděli, jaký test je vytvořil. Inteligenční testy obecně však mohou vytvářet jakýkoli druh rozdělení.

Jako příklad toho, jak libovolné je rozložení výsledků v inteligenčních testech, si představte test s 20 položkami, který se skládá výhradně z úloh, jejichž většina spočívá v určení ploch kruhů. Kdyby byl takový test zadán populaci středoškoláků, pravděpodobně by místo normální křivky poskytl rozdělení ve tvaru písmene U, kde by většina výsledků byla velmi vysoká nebo velmi nízká. Pokud student rozumí tomu, jak zjistit obsah kruhu, pravděpodobně to dokáže opakovaně a s malým počtem chyb, a proto by v testu získal perfektní nebo vysoký počet bodů, zatímco student, který se nikdy neučil geometrii, by pravděpodobně dostal každou otázku špatně, případně s několika správnými díky štěstí při hádání. Pokud je test složen převážně z jednoduchých otázek, pak většina účastníků testu bude mít vysoké skóre a jen velmi málo z nich bude mít skóre nízké. Pokud je test složen výhradně z otázek tak snadných nebo tak těžkých, že každý člověk získá buď perfektní skóre, nebo nulu, pak se vůbec nedaří provést jakékoliv statistické rozlišení a vzniká obdélníkové rozdělení. To je jen několik příkladů z mnoha variant rozdělení, které by teoreticky mohly vzniknout pečlivou konstrukcí testů inteligence.

O tom, zda je inteligence sama o sobě normálně rozložená, se občas vedou diskuse. Někteří kritici tvrdí, že volba normálního rozdělení je zcela svévolná. Brian Simon kdysi prohlásil, že normální rozdělení bylo psychometriky zvoleno speciálně proto, aby falešně podpořilo myšlenku, že vynikající inteligencí disponuje pouze malá menšina, a tím legitimizovalo vládu privilegované elity nad masami společnosti. Historicky však byly testy inteligence navrhovány bez jakéhokoli zájmu o vytvoření normálního rozdělení a výsledky stejně vycházely přibližně normálně rozložené. Americký pedagogický psycholog Arthur Jensen tvrdí, že každý test, který obsahuje „velký počet položek“, „širokou škálu obtížnosti položek“, „rozmanitý obsah nebo formu“ a „položky, které mají významnou korelaci se součtem všech ostatních výsledků“, nevyhnutelně vytvoří normální rozdělení. Kromě toho existuje řada korelací mezi skóre IQ a jinými lidskými charakteristikami, které jsou prokazatelněji normálně rozložené, jako je rychlost vedení nervů a rychlost metabolismu glukózy v mozku člověka, což podporuje myšlenku, že inteligence je normálně rozložená.

Někteří kritici, jako například Stephen Jay Gould ve své knize The Mismeasure of Man, zpochybňují platnost testů inteligence obecně, nejen skutečnost, že inteligence je normálně rozložená. Další diskusi naleznete v článku IQ.

Bellova křivka je kontroverzní kniha o dědičnosti inteligence. Navzdory svému názvu se však kniha primárně nezabývá tím, zda je IQ normálně rozloženo.