Bayesova věta (také známá jako Bayesovo pravidlo nebo Bayesův zákon) je výsledkem teorie pravděpodobnosti, která se týká podmíněného a mezního rozdělení pravděpodobnosti náhodných proměnných. V některých interpretacích pravděpodobnosti Bayesova věta říká, jak aktualizovat nebo revidovat přesvědčení ve světle nových důkazů: a posteriori.
Pravděpodobnost události A podmíněné jinou událostí B je obecně odlišná od pravděpodobnosti B podmíněné A. Nicméně existuje určitý vztah mezi oběma, a Bayesova věta je prohlášení o tomto vztahu.
Jako formální věta je Bayesova věta platná ve všech interpretacích pravděpodobnosti. Nicméně frequentistické a bayesovské interpretace se rozcházejí v názoru na druhy věcí, kterým by měly být v aplikacích přiřazeny pravděpodobnosti: frequentisté přiřazují pravděpodobnosti náhodným událostem podle jejich četnosti výskytu nebo podmnožinám populací jako poměrům celku; bayesovci přiřazují pravděpodobnosti výrokům, které jsou nejisté. Důsledkem je, že bayesovci mají častější příležitosti k použití Bayesovy věty. Články o bayesovské pravděpodobnosti a frequentistické pravděpodobnosti tyto debaty rozebírají obšírněji.
Prohlášení o Bayesově větě
Bayesova věta se týká podmíněné a mezní pravděpodobnosti stochastických událostí A a B:
Každý termín v Bayes věta má konvenční název:
S touto terminologií lze větu parafrázovat jako
Slovy: zadní pravděpodobnost je úměrná předchozí pravděpodobnosti krát pravděpodobnost.
Odvození z podmíněných pravděpodobností
Pro odvození věty vycházíme z definice podmíněné pravděpodobnosti. Pravděpodobnost události A dané události B je
Stejně tak pravděpodobnost události B dané události A je
Přeuspořádávání a kombinování těchto dvou rovnic, najdeme
Tento lemma je někdy nazýván produkt pravidlo pro pravděpodobnosti. Dělení obou stran Pr (B), za předpokladu, že je non-nula, získáme Bayes věta:
Alternativní formy Bayesovy věty
Bayesova věta je často přikrášlena tím, že poznamenává, že
kde AC je komplementární událost A (často nazývaná „ne A“). Takže věta může být přeformulována jako
Obecněji, kde {Ai} tvoří oddíl prostoru událostí,
pro všechny Ai v oddílu.
Bayesova věta z hlediska poměru šancí a pravděpodobnosti
Bayesova věta může být také napsána úhledně, pokud jde o poměr pravděpodobnosti Λ a šance O jako
kde jsou šance A dané B,
a jsou šance na A sama o sobě,
zatímco je poměr pravděpodobnosti.
Bayesova věta o hustotách pravděpodobnosti
a tam je analogický výrok o právu naprosté pravděpodobnosti:
Zde jsme si dopřáli konvenční zneužití notace,
pomocí f pro každý z těchto pojmů,
i když každý z nich je opravdu jiná funkce;
funkce jsou rozlišeny názvy svých argumentů.
Rozšíření Bayesovy věty
Věty analogické Bayes věta držet v problémech s více než dvě proměnné. Například:
To může být odvozeno v několika krocích z Bayes věta a definice podmíněné pravděpodobnosti:
Obecnou strategií je pracovat s rozkladem společné pravděpodobnosti, a marginalizovat (integrovat) proměnné, které nejsou zajímavé.
V závislosti na formě rozkladu,
může být možné dokázat, že některé integrály musí být 1,
a tím pádem vypadnou z rozkladu;
využití této vlastnosti může velmi podstatně snížit výpočty.
Bayesovská síť, například, specifikuje faktorizaci společného rozdělení několika proměnných, ve které podmíněná pravděpodobnost jedné proměnné vzhledem k těm zbývajícím má obzvláště jednoduchou formu (viz Markovova deka).
Příklad č. 1: Podmíněné pravděpodobnosti
Předpokládejme, že jsou tam dvě misky plné sušenek. Miska č. 1 má 10 čokoládových sušenek a 30 sušenek, zatímco miska č. 2 jich má 20 od každé. Fred náhodně vybere misku a pak náhodně vybere sušenku. Můžeme předpokládat, že není důvod se domnívat, že Fred zachází s jednou miskou jinak než s druhou, stejně jako se sušenkami. Ukáže se, že sušenka je obyčejná. Jak je pravděpodobné, že ji Fred vybral z misky č. 1?
Vzhledem ke všem těmto informacím můžeme spočítat pravděpodobnost, že Fred vybral misku č. 1 vzhledem k tomu, že dostal obyčejnou sušenku jako takovou:
Jak jsme očekávali, je to více než polovina.
Tabulky výskytu a relativní frekvence
Při výpočtu podmíněných pravděpodobností je často užitečné vytvořit jednoduchou tabulku obsahující počet výskytů každého výsledku nebo relativní četnost každého výsledku pro každou z nezávislých proměnných. Níže uvedené tabulky ilustrují použití této metody pro soubory cookie.
Tabulka vpravo je odvozena od tabulky vlevo tak, že každý záznam se vydělí celkovým počtem zvažovaných cookies, tj. každé číslo se vydělí číslem 80.
Bayesova věta je užitečná při hodnocení výsledku drogových testů. Předpokládejme, že určitý test na drogy je z 99% přesný, to znamená, že test správně identifikuje uživatele drog jako pozitivní v 99% případů a správně identifikuje neužívače jako negativní v 99% případů. Zdálo by se to být relativně přesný test, ale Bayesova věta odhalí potenciální chybu. Předpokládejme, že se korporace rozhodne testovat své zaměstnance na užívání opia a 0,5% zaměstnanců užívá drogu. Chceme znát pravděpodobnost, že při pozitivním testu na drogy je zaměstnanec ve skutečnosti uživatelem drog. Nechť „D“ je případ, kdy je uživatelem drog a „N“ označuje, že není uživatelem. Nechť „+“ je případ pozitivního testu na drogy. Potřebujeme znát následující:
Vzhledem k těmto informacím můžeme vypočítat pravděpodobnost, že zaměstnanec, který měl pozitivní test, je ve skutečnosti uživatelem drog:
I přes vysokou přesnost testu je pravděpodobnost, že zaměstnanec je skutečně uživatelem drog, jen asi 33%. Čím vzácnější je stav, na který testujeme, tím větší procento pozitivních testů bude falešně pozitivních. To ilustruje, proč je důležité dělat následné testy.
Příklad č. 3: Bayesovská inference
Aplikace Bayesovy věty často předpokládají filosofii, která je základem Bayesovy pravděpodobnosti, že nejistota a stupně víry mohou být měřeny jako pravděpodobnosti. Jeden takový příklad následuje. Další zpracované příklady, včetně jednodušších příkladů, najdete v článku o příkladech Bayesovy dedukce.
Mezní rozdělení pravděpodobnosti proměnné A popisujeme jako předchozí rozdělení pravděpodobnosti nebo jednoduše předchozí. Podmíněné rozdělení A dané „daty“ B je zadní rozdělení pravděpodobnosti nebo jen zadní.
Předpokládejme, že chceme vědět o poměru r voličů ve velké populaci, kteří budou v referendu hlasovat pro. Nechť n je počet voličů v náhodném vzorku (vybrán s náhradou, abychom měli statistickou nezávislost) a nechť m je počet voličů v tomto náhodném vzorku, kteří budou hlasovat pro. Předpokládejme, že pozorujeme n = 10 voličů a m = 7 řekneme, že budou hlasovat pro. Z Bayesovy věty můžeme vypočítat funkci rozdělení pravděpodobnosti pro r pomocí
Předchozí funkce hustoty pravděpodobnosti f(r) shrnuje to, co víme o rozdělení r při absenci jakéhokoli pozorování. Předběžně v tomto případě předpokládáme, že předchozí rozdělení r je v intervalu [0, 1] jednotné. To znamená, f(r) = 1. Pokud se objeví nějaké další podkladové informace, měli bychom předchozí odpovídajícím způsobem upravit. Než však budeme mít nějaká pozorování, jsou všechny výsledky stejně pravděpodobné.
Stejně jako u předchozích předpokladů je pravděpodobnost otevřená revizi – složitější předpoklady přinesou složitější funkce pravděpodobnosti. Při zachování současných předpokladů vypočítáme normalizační faktor,
a zadní distribuce pro r je pak
pro r mezi 0 a 1 včetně.
což je asi „89% šance“.
Příklad č. 4: Problém Montyho Halla
Jsou nám nabídnuty troje dveře – červené, zelené a modré – z nichž jedny mají výhru. Vybíráme červené dveře. Moderátor, který ví, za jakými dveřmi je výhra, a který nesmí otevřít dveře, které jsme vybrali, otevře zelené dveře a odhalí, že za nimi není žádná výhra. Jaká je pravděpodobnost, že je výhra za modrými dveřmi?
Nazvěme situaci, že cena je za danými dveřmi Ar, Ag a Ab.
Chcete-li začít s, , a aby se věci jednodušší budeme předpokládat, že jsme již vybrali červené dveře.
Nazvěme B „moderátor otevírá zelené dveře“. Bez jakékoliv předchozí znalosti bychom mu přiřadili hodnotu 50%
Předpokládejme, že pokud je výhra za červenými dveřmi, pak je pravděpodobnost, že hostitel vybere zelené dveře, velmi vysoká: 90%. To znamená, že hostitel vybere zelené dveře, pokud není nucen to neudělat.
Hodnota B pak bude 1/3 * 1 + 1/3 * 0 + 1/3 * 9/10 = 19/30.
V této situaci nám tedy hostitel, který vybírá zelené dveře, řekne velmi málo – pravděpodobně by je vybral tak jako tak. Pr(Ab) je jen o málo lepší než 1/2.
Předpokládejme naproti tomu, že pokud je výhra za červenými dveřmi, pak je pravděpodobnost, že hostitel vybere zelené dveře, velmi nízká: 10%. Tedy – hostitel téměř nikdy nevybere zelené dveře, pokud k tomu není donucen.
Hodnota B pak bude 1/3 * 1 + 1/3 * 0 + 1/3 * 1/10 = 11/30.
V této situaci nám hodně napovídá fakt, že si hostitel vybral zelené dveře. Cena je téměř jistě za modrými dveřmi. Kdyby tomu tak nebylo, pak by si ji hostitel velmi pravděpodobně vybral.
Bayesova věta je pojmenována po reverendovi Thomasi Bayesovi (1702-1761), který studoval, jak vypočítat rozdělení pro parametr binomického rozdělení (používat moderní terminologii). Jeho přítel, Richard Price, upravil a představil práci v roce 1763, po Bayesově smrti, jako esej k řešení problému v nauce o šancích. Pierre-Simon Laplace replikoval a rozšířil tyto výsledky v eseji z roku 1774, zřejmě nevědomí o Bayesově práci.
Jeden z Bayes výsledků (Proposition 5) dává jednoduchý popis podmíněné pravděpodobnosti, a ukazuje, že to může být vyjádřena nezávisle na pořadí, ve kterém se věci vyskytují:
Všimněte si, že výraz neříká nic o pořadí, ve kterém došlo k událostem; to měří korelaci, nikoli příčinnou souvislost. Jeho předběžné výsledky, zejména Propozice 3, 4 a 5, implikovat výsledek nyní nazývá Bayesova věta (jak je popsáno výše), ale nezdá se, že Bayes sám zdůraznil nebo se zaměřil na tento výsledek.
Bayes hlavní výsledek (Propozice 9 v eseji) je následující: za předpokladu, že jednotné rozdělení pro předchozí rozdělení binomického parametru p, pravděpodobnost, že p je mezi dvěma hodnotami a a b je
kde m je počet pozorovaných úspěchů a n počet pozorovaných selhání.
Co je „bayesovské“ o Proposition 9 je, že Bayes představil to jako pravděpodobnost pro parametr p. Takže, jeden může spočítat pravděpodobnost pro experimentální výsledek, ale také pro parametr, který řídí to, a stejná algebra se používá k vyvození závěrů z obou druhů.
Bayes uvádí svou otázku způsobem, který by mohl učinit myšlenku přiřazení rozdělení pravděpodobnosti k parametru stravitelné na frequentist. Předpokládá, že kulečníková koule je hozen náhodně na kulečníkový stůl, a že pravděpodobnosti p a q jsou pravděpodobnosti, že následné kulečníkové koule budou padat nad nebo pod první míč.