Zákon velkých čísel je základní pojem ve statistice a pravděpodobnosti, který popisuje, jak se průměr náhodně vybraného velkého vzorku z populace pravděpodobně blíží průměru celé populace. Termín „zákon velkých čísel“ zavedl S.D. Poisson v roce 1835, když diskutoval o jeho verzi z roku 1713, kterou předložil James Bernoulli.
Pokud je událost pravděpodobnosti p pozorována opakovaně během nezávislých opakování, poměr pozorované frekvence této události k celkovému počtu opakování konverguje k p, protože počet opakování se stává libovolně velkým.
Ve statistice to znamená, že když se měří velký počet jednotek něčeho, průměr vzorku se bude blížit skutečnému průměru všech jednotek – včetně těch, které nebyly měřeny. (Termín „průměr“ znamená aritmetický průměr.)
Existují dvě verze zákona velkých čísel, jedna se nazývá „slabý“ zákon a druhá „silný“ zákon. Tento článek popíše obě verze technicky podrobně, ale v podstatě tyto dva zákony nepopisují různé skutečné zákony, ale místo toho odkazují na různé způsoby popisu konvergence výběrového průměru s populačním průměrem. Slabý zákon říká, že jak se velikost výběrového průměru zvětšuje, přiblíží se rozdíl mezi výběrovým průměrem a populačním průměrem nule. Silný zákon říká, že jak se velikost výběrového průměru zvětšuje, pravděpodobnost, že výběrový průměr a populační průměr budou přesně stejné, se blíží 1.
Výraz „zákon velkých čísel“ se také někdy používá méně odborným způsobem k odkazu na princip, že pravděpodobnost, že se nějaká možná událost (i nepravděpodobná) vyskytne alespoň jednou v řadě, se zvyšuje s počtem událostí v řadě. Například pravděpodobnost, že vyhrajete v loterii, je velmi nízká; nicméně pravděpodobnost, že někdo vyhraje v loterii, je docela dobrá za předpokladu, že si dostatečně velký počet lidí zakoupil losy.
Jedním z nesprávných poznatků LLN je, že pokud se událost nevyskytla v mnoha pokusech, pravděpodobnost, že se vyskytne v následném pokusu, se zvyšuje. Například pravděpodobnost, že padne spravedlivá kostka a objeví se trojka, je 1 ku 6. LLN říká, že při velkém počtu hodů se pozorovaná frekvence trojek bude blížit 1 ku 6. To však neznamená, že pokud prvních 5 hodů kostkou se neobjeví trojka, šestý hod se s jistotou objeví trojka (pravděpodobnost 1). Pravděpodobnost, že padne šestý hod a objeví se trojka, zůstává 1 ku 6. V nekonečné (nebo velmi velké) množině pozorování nelze hodnotu jednoho jednotlivého pozorování předpovědět na základě minulých pozorování. Takové předpovědi jsou známé jako Gamblerův omyl.
Zákon velkých čísel a centrální limitní věta
Centrální limitní věta (CLT) udává rozdělení součtů identických náhodných veličin bez ohledu na tvar rozdělení náhodných veličin (pokud má rozdělení konečný rozptyl), pokud je počet přidaných náhodných veličin velký. CLT tedy platí pro výběrový průměr velkého výběrového souboru, protože průměr je součet. Rozptyl daný CLT se hroutí, jak velikost výběrového souboru roste, z toho vyplývá, že průměr konverguje k číslu (o kterém CLT říká, že je populačním průměrem). Toto je LLN. LLN je tedy výsledek, který lze získat z CLT.
CLT umožňuje statistikům vyhodnocovat spolehlivost jejich výsledků, protože jsou schopni vytvářet předpoklady o vzorku a extrapolovat jeho výsledky nebo závěry na populaci, ze které byl vzorek odvozen s určitou mírou spolehlivosti. Viz testování statistických hypotéz.
Zbytek tohoto článku bude předpokládat, že čtenář má obeznámenost s matematickými pojmy a notací.
Slabý zákon velkých čísel říká, že pokud X1, X2, X3, … je nekonečná posloupnost náhodných veličin, kde všechny náhodné veličiny mají stejnou očekávanou hodnotu μ a rozptyl σ2; a jsou nekorelované (tj. korelace mezi libovolnými dvěma z nich je nulová), pak výběrový průměr
konverguje v pravděpodobnosti k μ.
Poněkud méně stručně: Pro každé kladné číslo ε, bez ohledu na to, jak malé, máme
Čebyševova nerovnost se používá k prokázání tohoto výsledku. Konečný rozptyl (pro všechny ) a žádný korelační výnos, který
Společný průměr μ posloupnosti je průměr výběrového průměru:
Pomocí Chebyshev nerovnost na výsledky v
Toho lze využít k získání:
Když se n blíží nekonečnu, výraz se blíží 1.
Výsledek platí i pro případ ‚nekonečného rozptylu‘, za předpokladu, že jsou vzájemně nezávislé a existuje jejich (konečný) průměr μ.
Důsledkem slabého zákona velkých čísel je asymptotická ekvilibrizační vlastnost.
tj. průměr vzorku se téměř jistě přibližuje k μ.
Nahradíme-li podmínku konečného očekávání podmínkou konečného sekundového momentu E(Xi2) < ∞ (což je stejné jako za předpokladu, že Xi má rozptyl), pak získáme téměř jistou konvergenci i konvergenci ve střední kvadratuře. V obou případech tyto podmínky také implikují následný slabý zákon velkých čísel, protože téměř jistá konvergence implikuje konvergenci v pravděpodobnosti (stejně jako konvergence ve střední kvadratuře).
Tento zákon odůvodňuje intuitivní výklad očekávané hodnoty náhodné veličiny jako „dlouhodobého průměru při opakovaném výběru“.
Důkazy výše uvedených slabých a silných zákonů velkých čísel jsou spíše zapojeny. Důsledek o něco slabší formy níže je naznačen slabým zákonem výše (protože konvergence v rozdělení je implikována konvergencí v pravděpodobnosti), ale má jednodušší důkaz.
Věta. Nechť X1, X2, X3, … je posloupnost náhodných veličin, nezávislých a identicky rozložených s běžným průměrem μ < ∞, a definuje parciální součet Sn := X1 + X2 + ... +Xn. Potom se Sn / n konverguje v distribuci k μ.
Důkaz. (Viz , str. 174) Podle Taylorova věta pro komplexní funkce, charakteristická funkce jakékoli náhodné proměnné, X, s konečným průměrem μ, může být zapsán jako
Poté, protože charakteristická funkce součtu nezávislých náhodných veličin je součinem jejich charakteristických funkcí, charakteristická funkce Sn / n je
Limita eitμ je charakteristickou funkcí konstanty náhodné veličiny μ, a tudíž Lévyho věta o kontinuitě Sn / n konverguje v distribuci k μ. Všimněte si, že důkaz centrální limitní věty, která nám říká více o konvergenci průměru k μ (když je rozptyl σ 2 konečný), sleduje velmi podobný přístup.