Centrální limitní věty jsou souborem výsledků slabé konvergence v teorii pravděpodobnosti. Intuitivně všechny vyjadřují skutečnost, že jakýkoli součet mnoha nezávislých identicky rozložených náhodných proměnných bude mít tendenci být rozložen podle určitého „atraktorového rozdělení“. Nejdůležitější a nejznámější výsledek se nazývá jednoduše Centrální limitní věta, která říká, že pokud má součet proměnných konečný rozptyl, pak bude přibližně normálně rozložen. Protože mnoho reálných procesů přináší rozdělení s konečným rozptylem, vysvětluje to všudypřítomnost normálního rozdělení.
Čtenář může najít to užitečné, aby zvážila tento ilustrační centrální limitní věta.
Klasická centrální limitní věta
Věta nejčastěji nazývaná centrální limitní věta je následující. Nechť X1, X2, X3, … je posloupnost náhodných veličin, které jsou definovány na stejném pravděpodobnostním prostoru, sdílejí stejné pravděpodobnostní rozdělení D a jsou nezávislé. Předpokládejme, že jak očekávaná hodnota μ, tak směrodatná odchylka σ D existují a jsou konečné.
Uvažujme součet :Sn = X1 + … + Xn.
Pak je očekávaná hodnota Sn nμ a její směrodatná odchylka je σ n½. Dále, neformálně řečeno, distribuce Sn se blíží normální distribuci N(nμ,σ2n) jako n se blíží ∞.
Pro upřesnění slova „přibližuje“ v poslední větě standardizujeme Sn nastavením
Pak rozdělení Zn konverguje ke standardnímu normálnímu rozdělení N(0,1)
když se n blíží ∞ (to je konvergence v rozdělení). To znamená: jestliže Φ(z) je kumulativní distribuční funkce N(0,1), pak pro každé reálné číslo z máme
Důkaz centrální limitní věty
Pro větu takového zásadního významu pro statistiku a aplikovanou pravděpodobnost má centrální limitní věta pozoruhodně jednoduchý důkaz pomocí charakteristických funkcí. Je podobná důkazu o (slabém) zákonu velkých čísel. Pro každou náhodnou veličinu, Y, s nulovým průměrem a jednotkovou odchylkou (var(Y) = 1), charakteristickou funkcí Y je podle Taylorovy věty,
kde o (t2 ) je „malá o notace“ pro nějakou funkci t, která jde k nule rychleji než t2. Když necháme Yi být (Xi − μ)/σ, standardizovaná hodnota Xi, je snadné vidět, že standardizovaný průměr pozorování X1, X2, …, Xn je jen
Prostými vlastnostmi charakteristických funkcí je charakteristickou funkcí Zn
Tento limit je ale jen charakteristickou funkcí standardního normálního rozdělení, N(0,1), a centrální limitní věta vyplývá z Lévyho věty o kontinuitě, která potvrzuje, že konvergence charakteristických funkcí předpokládá konvergenci v distribuci.
Pokud třetí středový moment E((X1 − μ)3) existuje a je konečný, pak je výše uvedená konvergence jednotná a rychlost konvergence je minimálně v řádu 1/n½ (viz Berry-Esséenova věta).
Obrázky distribuce „vyhlazené“ sumací (znázorňující původní distribuci a tři následné konvoluce):
(Viz Ilustrace centrální limitní věty pro další podrobnosti o těchto snímcích.)
Ekvivalentní formulace této limitní věty začíná na An = (X1 + … + Xn) / n, což lze interpretovat jako průměr náhodného vzorku o velikosti n. Očekávaná hodnota An je μ a směrodatná odchylka je σ / n½. Pokud standardizujeme An nastavením Zn = (An – μ) / (σ / n½), získáme stejnou proměnnou Zn jako výše a ta se přiblíží ke standardnímu normálnímu rozdělení.
Všimněte si následujícího zdánlivého „paradoxu“: sečtením mnoha nezávislých identicky rozložených kladných proměnných získáme přibližně normální rozdělení. Ale pro každou normálně rozloženou proměnnou je pravděpodobnost, že je záporná, nenulová! Jak je možné získat záporná čísla sečtením pouze kladných?
Důvod je prostý: věta platí pro pojmy soustředěné okolo průměru. Bez této standardizace by rozdělení, jak naznačuje intuice, uniklo do nekonečna.
Ústřední limitní věta, jako aproximace pro konečný počet pozorování, poskytuje rozumnou aproximaci pouze v blízkosti vrcholu normálního rozdělení; to vyžaduje velmi velké množství pozorování natáhnout do ocasu.
Alternativní výroky věty
Hustota součtu dvou nebo více nezávislých proměnných je konvolucí jejich hustot (pokud tyto hustoty existují).
Centrální limitní věta tedy může být interpretována jako tvrzení o vlastnostech hustoty funkcí v konvoluci:
konvoluce řady hustoty funkcí směřuje k normální hustotě, protože počet hustoty funkcí roste bez vázanosti,
za výše uvedených podmínek.
Vzhledem k tomu, že charakteristická funkce konvoluce je součinem charakteristických funkcí příslušných hustot,
má centrální limitní věta ještě další restatement:
součin charakteristických funkcí řady funkcí hustoty směřuje k charakteristické funkci normální hustoty, neboť počet funkcí hustoty roste bez vázanosti,
za výše uvedených podmínek.
O Fourierově transformaci lze uvést ekvivalentní tvrzení,
protože charakteristickou funkcí je v podstatě Fourierova transformace.
Produkty náhodných veličin
Centrální limitní věta nám říká, co můžeme očekávat o součtu nezávislých náhodných veličin, ale co součin? No, logaritmus součinu je prostě součet logaritmů faktorů, takže logaritmus součinu náhodných veličin má tendenci mít normální rozdělení, což způsobuje, že součin sám má logaritmicko-normální rozdělení. Mnoho fyzikálních veličin (zejména hmotnost nebo délka, které jsou záležitostí rozsahu a nemohou být záporné) jsou součinem různých náhodných faktorů, takže následují logaritmicko-normální rozdělení.
Nechť Xn je posloupnost nezávislých náhodných proměnných definovaných na stejném pravděpodobnostním prostoru. Předpokládejme, že Xn má konečnou očekávanou hodnotu μn a konečnou směrodatnou odchylku σn. Definujeme
Předpokládejme, že třetí ústřední momenty
jsou konečné pro každé n, a že
(Toto je podmínka Lyapunov).
Znovu uvažujeme součet Sn=X1+…+Xn. Očekávaná hodnota Sn je mn = ∑i=1..nμi a její směrodatná odchylka je sn. Pokud standardizujeme Sn nastavením
pak rozdělení Zn konverguje ke standardnímu normálnímu rozdělení N(0,1) jak je uvedeno výše.
Ve stejném nastavení a se stejným zápisem jako výše můžeme Lyapunovův stav nahradit následujícím slabším (z Lindebergu v roce 1920). Pro každý ε > 0
kde E( U : V > c) je E( U 1{V > c}), tj. očekávání náhodné veličiny U 1{V > c} jejíž hodnota je U pokud V > c a jinak nula. Pak se rozdělení standardizovaného součtu Zn přiblíží ke standardnímu normálnímu rozdělení N(0,1).
Existují některé věty, které se zabývají případy součtů ne-nezávislých proměnných, například m-dependentní centrální limitní věta, martingale centrální limitní věta a centrální limitní věta pro míchání procesů.
Henk Tijms, Understanding Probability: Chance Rules in Everyday Life, Cambridge: Cambridge University Press, 2004.