Regrese k průměru

Scatterplot demonstrující regresi k průměru, odlišený fotbalovým mrakem bodů

Regrese k průměru je ve statistice princip, který říká, že pokud vezmete dvojici nezávislých měření ze stejného rozdělení, vzorky daleko od průměru na první množině budou mít tendenci být blíže k průměru na druhé množině a čím dále od průměru na první měření, tím silnější účinek. Regrese k průměru závisí na náhodném rozptylu ovlivňujícím měření jakékoli proměnné; tento náhodný rozptyl způsobí, že některé vzorky budou extrémní. Při druhém měření se tyto vzorky budou zdát regresní, protože náhodný rozptyl ovlivňující vzorky ve druhém měření je nezávislý na náhodném rozptylu ovlivňujícím první. Tudíž regrese k průměru je matematická nevyhnutelnost: každé měření jakékoli proměnné, která je ovlivněna náhodným rozptylem, musí ukázat regresi k průměru.

Například pokud dáte třídě studentů test ve dvou po sobě následujících dnech, nejhorší výsledky prvního dne budou mít tendenci zlepšovat své skóre druhý den a nejlepší výsledky prvního dne budou mít tendenci zhoršovat druhý den. K tomuto jevu dochází, protože každý vzorek je ovlivněn náhodnou odchylkou. Studentské skóre je určováno z části základní schopností a z části čistě stochastickou, nepředvídatelnou šancí. Při prvním testu budou mít někteří štěstí a skóre vyšší než jejich schopnosti a někteří budou mít smůlu a skóre nižší než jejich schopnosti. Ti šťastnější budou mít s větší pravděpodobností skóre nad průměrem než pod ním, protože jejich štěstí zlepšuje jejich skóre. Někteří ze šťastných studentů v prvním testu budou mít štěstí znovu ve druhém testu, ale více z nich bude mít průměrné nebo podprůměrné štěstí. Proto je u studenta, který měl štěstí v prvním testu, větší pravděpodobnost, že bude mít horší skóre ve druhém testu než lepší skóre. U studentů, kteří budou mít v prvním testu skóre nad průměrem, je větší pravděpodobnost, že budou mít štěstí než smůlu, a u šťastných studentů je větší pravděpodobnost, že jejich skóre bude klesat než stoupat, takže studenti, kteří budou mít v prvním testu skóre nad průměrem, budou mít tendenci vidět, že jejich skóre bude klesat i ve druhém testu. Podle paralelního uvažování budou mít studenti, kteří budou mít v prvním testu skóre pod průměrem, tendenci vidět, jak se jejich skóre zvyšuje i ve druhém testu. Studenti budou klesat směrem k průměru.

Velikost regrese k průměru závisí na poměru rozptylu chyb k celkovému rozptylu v rámci vzorku. Pokud je měření z velké části určeno náhodnou náhodou, pak bude regrese k průměru velmi velká. Pokud je měření z velké části určeno známými faktory, bude regrese k průměru menší. V jednom extrémním případě, kdy jsou všichni jedinci identičtí a všechny rozdíly jsou způsobeny chybou měření, dojde ke 100% regresi k průměru. Pokud požádáme 10 000 lidí, aby si desetkrát hodili spravedlivou mincí, očekává se, že lidé, kteří poprvé hodili deset hlav, dostanou při opakovaném experimentu pět hlav, stejně jako lidé, kteří poprvé hodili nula hlav. V druhém extrému dokonalého měření nedochází k regresi k průměru. Víme, že nejen očekáváme, že druhé měření bude stejné jako první.

Pojem regrese pochází z genetiky a zpopularizoval ho sir Francis Galton koncem 19. století vydáním knihy Regrese k průměrnosti v dědičném stavu. Galton pozoroval, že extrémní charakteristiky (např. výška) u rodičů nebyly plně přeneseny na jejich potomky. Charakteristika u potomků se spíše regresovala směrem k průměrnému bodu (bodu, který se od té doby matematicky ukázal jako průměr). Měřením výšek stovek lidí byl schopen kvantifikovat regresi k průměru a odhadnout velikost efektu. Galton napsal, že „průměrná regrese potomků je konstantním zlomkem jejich příslušných středorodičovských odchylek“. To znamená, že rozdíl mezi dítětem a jeho rodiči v nějaké charakteristice byl úměrný odchylce jeho rodičů od typických lidí v populaci. Takže pokud by její rodiče byli každý o dva palce vyšší než průměry pro muže a ženy, v průměru by byla menší než její rodiče nějakým faktorem (který bychom dnes nazvali jeden minus regresní koeficient) krát dva palce. Pro výšku Galton odhadl tento korelační koeficient na přibližně 2/3: výška jedince bude středem kolem 2/3 odchylky rodičů.

Nejdůležitějším důvodem, proč se zajímat o regresi k průměru, je experimentální design. Předpokládejme, že uděláte tělesné zkoušky tisíci pětapadesátiletým mužům a skórujete u nich podle rizika infarktu. Vezmete těch 50, kteří skórovali při nejvyšším riziku, dáte jim dietu a cvičební režim a dáte jim lék. I když je léčba bezcenná, očekáváte, že skupina při další tělesné zkoušce prokáže zlepšení díky regresi k průměru. Nejlepší způsob, jak s tím bojovat, je náhodně rozdělit skupinu na léčebnou skupinu, které se dostane léčby, a kontrolní skupinu, které se nedostane. Očekáváme, že se obě skupiny zlepší, léčba by měla být hodnocena jako účinná pouze v případě, že se léčebná skupina zlepší více než kontrolní skupina.

Doporučujeme:  Seminář

Na opačné straně předpokládejme, že dáte test skupině znevýhodněných deváťáků, abyste identifikovali ty, kteří mají největší potenciál na vysokou školu. Vyberete horní 1% a dodáte jim speciální obohacovací kurzy, doučování, poradenství a počítače. I když je program účinný, můžete zjistit, že se jejich skóre v průměru sníží, když se test o rok později opakuje. Pokud je považováno za nefér mít kontrolní skupinu, můžete provést matematický výpočet, abyste tento efekt upravili, i když to nebude tak spolehlivé jako kontrola. Zmenšení je název statistické techniky, kterou je třeba upravit pro regresi směrem k průměru (viz také Steinův příklad).

Efekt lze využít i pro obecné závěry a odhady. Nejteplejší místo v zemi dnes bude zítra spíše chladnější než teplejší. Nejlépe vydělávající podílový fond za poslední tři roky spíše zaznamená pokles výkonnosti než zlepšení v příštích třech letech. Hollywoodská hvězda největšího kasovního úspěchu letošního roku více pravděpodobně zaznamená nižší hrubý příjem než vyšší hrubý příjem u svého filmu v příštím roce. Baseballová hráčka s nejvyšším průměrem odpalů podle All-Star break bude mít s větší pravděpodobností nižší průměr než vyšší průměr v druhé polovině sezony.

Pojem regrese k průměru lze velmi snadno zneužít.

Zákon velkých čísel je nesouvisející jev často zaměňovaný s regresí k průměru. Předpokládejme, že hodíte mincí stokrát a změříte frekvenci panny. Pak hodíte mincí ještě stokrát. Frekvence panny nad celými 200 hody bude pravděpodobně blíže k průměru než frekvence nad prvních 100 hodů. To se liší od regrese k průměru. Za prvé, frekvence panny nad druhými 100 hody bude stejně tak pravděpodobně blíže k průměru nebo dále od něj než frekvence panny nad prvními 100 hody. Je mylné si myslet, že druhých 100 hodů má tendenci vyrovnávat celkový počet. Pokud prvních 100 hodů přinese o 5 panen více, než se očekávalo, očekáváme, že budeme mít o 5 panen více, než se očekávalo i na konci 200 hodů. Průměrný počet panen se vrací k průměru, ale počet panen ne. Za druhé, tato regrese směřuje k pravému průměru, ne k průměru prvních 100 hodů.

Ve výše uvedeném příkladu studentského testu se implicitně předpokládalo, že to, co se měří, se mezi oběma měřeními nemění. Ale předpokládejme, že by to byl kurz pro úspěšné/neúspěšné a museli byste mít v obou testech skóre nad 70, abyste uspěli. Pak by studenti, kteří poprvé získali skóre pod 70, neměli motivaci si vést dobře a podruhé by mohli mít v průměru horší skóre. Studenti těsně nad 70 by naopak měli silnou motivaci studovat přes noc a soustředit se při psaní testu. V takovém případě byste mohli vidět posun od 70, skóre pod ní se snižuje a skóre nad ní se zvyšuje. Je možné, aby změny mezi měřicími časy zvětšily, vykompenzovaly nebo zvrátily statistickou tendenci k regresi směrem k průměru. Nepleťte si kauzální regresi směrem k průměru (nebo od něj) se statistickým jevem.

Opačný bod je ještě důležitější. Nepovažujte statistickou regresi směrem k průměru za kauzální jev. Pokud jste student s nejhorším skóre v prvním dni zkoušky, neexistuje žádná neviditelná ruka, která by zvedla vaše skóre druhý den, bez vaší námahy. Pokud víte, že jste skórovali v souladu se svými schopnostmi, máte stejnou pravděpodobnost, že budete mít lepší nebo horší skóre v druhém testu. V průměru se nejhorší skóre zlepšuje, ale to je pravda jen proto, že nejhorší skóre je pravděpodobnější, že měli smůlu než štěstí. Víte, jaké jste měli štěstí nebo smůlu, takže regrese směrem k průměru je z vašeho pohledu irelevantní.

I když se jednotlivá měření vracejí k průměru, druhý vzorek měření nebude o nic blíže průměru než první. Vezměme si znovu studenty. Předpokládejme, že jejich tendence je vracet se o 10% k průměru 80, takže u studenta, který první den dosáhl 100 bodů, se druhý den očekává 98 bodů, a u studenta, který první den dosáhl 70 bodů, se druhý den očekává 71 bodů. Tato očekávání jsou v průměru blíže průměru než výsledky prvního dne. Ale výsledky druhého dne se budou lišit podle jejich očekávání, některé budou vyšší a některé nižší. Tím se druhá sada měření dostane od průměru v průměru dál než jejich očekávání. Efekt je přesný opak regrese k průměru a přesně ho kompenzuje. Takže u každého jednotlivce očekáváme, že druhé skóre bude blíže průměru než první skóre, ale u všech jednotlivců očekáváme, že průměrná vzdálenost od průměru bude stejná v obou sadách měření.

Doporučujeme:  Fenetika

Ve vztahu k výše uvedenému bodu, regrese k průměru funguje stejně dobře v obou směrech. Očekáváme, že student s nejvyšším skóre testu druhý den dopadl hůře první den. A pokud porovnáme nejlepšího studenta prvního dne s nejlepším studentem druhého dne, bez ohledu na to, zda se jedná o stejného jedince nebo ne, není zde tendence k regresi k průměru. Očekáváme, že nejlepší skóre v obou dnech bude stejně daleko od průměru.

Také ve vztahu k výše uvedenému bodu, pokud si vybereme bod blízký průměru na první sadě měření, můžeme očekávat, že bude vzdálenější od průměru na druhé sadě. Očekávaná hodnota druhého měření je blíže průměru než bodu, ale chyba měření ji v průměru posune dále. To znamená, že očekávaná hodnota vzdálenosti od průměru na druhé měření je větší než vzdálenost od průměru na první měření.

Regrese ke všemu

Všimněme si, že v neformálním vysvětlení jevu uvedeném výše nebylo na průměru nic zvláštního. Mohli jsme si vybrat jakýkoliv bod v rozsahu vzorku a argumentovat stejně: studenti, kteří získali skóre nad touto hodnotou, měli s větší pravděpodobností štěstí než smůlu, studenti, kteří získali skóre pod touto hodnotou, měli s větší pravděpodobností smůlu než štěstí. Jak se mohou jednotlivci vrátit ke každému bodu v rozsahu vzorku najednou? Odpověď zní, že každý jednotlivec je přitahován ke každému bodu v rozsahu vzorku, ale v různé míře.

Pro fyzikální analogii, každá hmota ve sluneční soustavě je gravitací přitahována ke každé jiné hmotě, ale výsledný efekt pro planety má být přitahován ke středu hmoty celé sluneční soustavy. To ilustruje důležitý bod. Jedinci na Zemi v poledne jsou přitahováni k Zemi, pryč od Slunce a středu hmoty sluneční soustavy. Podobně, jedinec ve vzorku může být přitahován k průměru podskupiny silněji než k výběrovému průměru, a dokonce i odtažen od výběrového průměru. Vezměme si například nadhazovače s nejvyšším odpalovacím průměrem v národní lize do přestávky All-Star a předpokládejme, že jeho odpalovací průměr je pod průměrem všech hráčů národní ligy. Jeho odpalovací průměr v druhé polovině sezóny se bude vracet k průměru všech hráčů a dolů k průměru všech nadhazovačů. Ostatně, je-li levák, je přitahován směrem k průměru všech leváků, je-li nováček, je přitahován směrem k průměru všech nováčků a tak dále. Který z těchto efektů dominuje, závisí na uvažovaných údajích.

Tento pojem se však nevztahuje na nadmnožiny. Zatímco výše uvedený džbán může být přitažen k průměru všech lidí nebo k průměru všech věcí vytvořených z hmoty, náš vzorek nám neposkytuje odhady těchto prostředků.

Obecně lze očekávat, že čistý efekt regresí ke všem bodům přitáhne jedince k nejbližšímu režimu rozdělení. Pokud máte informace o podskupinách a prostředky podskupin jsou vzhledem k rozdílům mezi jednotlivci daleko od sebe, můžete očekávat, že jedinci budou přitahováni k prostředkům podskupin, i když se tyto neukazují jako způsoby rozdělení. U unimodálních rozdělení, bez silných účinků podskupin nebo asymetrií, budou jedinci pravděpodobně přitahováni k průměru, mediánu a režimu, které by měly být blízko u sebe. U bimodálních a multimodálních rozdělení, asymetrických rozdělení nebo dat se silnými účinky podskupin, by měla být regrese k průměru aplikována s opatrností.

Nepochopení principu (známé jako „regresní klamy“) opakovaně vedlo k mylným tvrzením ve vědecké literatuře.

Extrémním příkladem je kniha Horace Secrista The Triumph of Mediocrity in Business z roku 1933, v níž profesor statistiky shromáždil hory dat, aby dokázal, že míra zisku konkurenčních podniků směřuje v čase k průměru. Ve skutečnosti žádný takový efekt neexistuje; variabilita míry zisku je v čase téměř konstantní. Secrist pouze popsal běžnou regresi směrem k průměru. Jeden podrážděný recenzent, Harold Hotelling, přirovnal knihu k „prokazování násobilky uspořádáním slonů do řad a sloupců a pak stejným způsobem pro řadu dalších druhů zvířat“.

Výpočet a interpretace „zlepšení skóre“ u standardizovaných vzdělávacích testů v Massachusetts pravděpodobně poskytuje další příklad regresního klamu. V roce 1999 byly školám dány cíle zlepšení. Pro každou školu ministerstvo školství do tabulek zanášelo rozdíl v průměrném skóre dosaženém studenty v roce 1999 a v roce 2000. Rychle se zjistilo, že většina škol s nejhoršími výsledky splnila své cíle, což ministerstvo školství považovalo za potvrzení správnosti své politiky. Nicméně se také zjistilo, že mnoho z údajně nejlepších škol v Commonwealthu, jako například Brookline High School (s 18 finalisty National Merit Scholarship) bylo prohlášeno za neúspěšné. Stejně jako v mnoha případech týkajících se statistik a veřejné politiky se o této otázce diskutuje, ale „zlepšení skóre“ nebylo v následujících letech oznámeno a zjištění se zdají být případem regrese k průměru.

Doporučujeme:  Model výroby řeči podle zdrojového filtru

Psycholog Daniel Kahneman se ve svém projevu zmínil o regresi k průměru, když v roce 2002 získal cenu Švédské banky za ekonomii.

Politiky Spojeného království v oblasti prosazování práva podporují viditelné umístění statických nebo mobilních rychlostních kamer na místech, kde dochází k nehodám. Tato politika byla odůvodněna dojmem, že po nastavení kamery dochází k odpovídajícímu snížení počtu vážných dopravních nehod. Statistici však poukázali na to, že ačkoli zachráněné životy přinášejí čistý prospěch, nezohlednění účinků regrese k průměru vede k nadhodnocení příznivých účinků. Tvrdí se tedy, že část peněz, které jsou v současnosti vynakládány na dopravní kamery, by mohla být produktivněji nasměrována jinam.

Statističtí analytici si už dlouho uvědomují vliv regrese k průměru ve sportu; dokonce pro ni mají zvláštní název: „Sophomore Slump“. Například Carmelo Anthony z Denveru Nuggets z NBA měl v roce 2004 vynikající nováčkovskou sezónu. Byla tak vynikající, že se od něj nedalo čekat, že ji zopakuje: v roce 2005 Anthonyho čísla od nováčkovské sezóny klesla. Důvodů „sophomore slump“ je spousta, protože sporty jsou hlavně o přizpůsobování se a protipřipravování, ale na štěstí založená excelence nováčka je stejně dobrý důvod jako každý jiný.

Regrese k průměru ve sportovních výkonech může být důvodem pro „Sports Illustrated Cover Jinx“ a „Madden Curse“. John Hollinger má alternativní název pro zákon regrese k průměru: „pravidlo šťastné náhody“, zatímco Bill James ho nazývá „princip plexiskla“.

Vzhledem k tomu, že populární pověst se zaměřila na „regresi k průměru“ jako na účet klesajících výkonů sportovců z jedné sezóny do druhé, obvykle přehlédla skutečnost, že taková regrese může být také příčinou zlepšených výkonů. Podíváme-li se například na průměr odpalů hráčů Major League Baseball v jedné sezóně, ti, jejichž průměr odpalů byl nad průměrem ligy, mají v následujícím roce tendenci k regresi směrem k průměru, zatímco ti, jejichž průměr odpalů byl pod průměrem, mají v následujícím roce tendenci postupovat směrem k průměru.

Nechť x1, x2, . . .,xn je první množina měření a y1, y2, . . .,yn je druhá množina. Regrese směrem k průměru nám říká, že pro všechna i je očekávaná hodnota yi blíže (průměru xi) než xi. Můžeme to napsat takto:

Kde E() označuje operátor očekávání. Můžeme také napsat:

která je silnější než první nerovnost, protože vyžaduje, aby očekávaná hodnota yi byla na stejné straně průměru jako xi. Přirozený způsob, jak to vyzkoušet, je podívat se na hodnoty:

ve vzorku. Vzít aritmetický průměr není dobrý nápad, protože může být nula. I když je to jen blízko nule, tyto body by mohly dominovat výpočtu, když jsme opravdu znepokojeni většími pohyby bodů dál od průměru. Dejme tomu, že místo toho vezmeme vážený průměr, vážený :

což je známý vzorec pro regresní koefektivní . Proto tvrzení, že existuje regrese směrem k průměru, lze vykládat jako tvrzení:

To bude zpravidla platit pro dvě sady měření na stejném vzorku. Očekávali bychom, že směrodatná odchylka obou sad měření bude stejná, takže regresní koeficient se rovná korelační koeficient . To nám stačí říct, protože . Pokud měření nejsou dokonalá, očekáváme . Nicméně, pokud měření mají vůbec nějaký informační obsah, , tak . odpovídá případu dokonalého měření a zároveň odpovídá případu, kdy měření je celá chyba.

Průměr (Aritmetika, Geometrie) – Medián – Režim – Výkon – Odchylka – Směrodatná odchylka

Testování hypotéz – Význam – Nullova hypotéza/Alternativní hypotéza – Chyba – Z-test – Studentův t-test – Maximální pravděpodobnost – Standardní skóre/Z skóre – P-hodnota – Analýza rozptylu

Funkce přežití – Kaplan-Meier – Logrank test – Četnost selhání – Proporcionální modely nebezpečnosti

Normal (zvonová křivka) – Poisson – Bernoulli

Matoucí veličina – Pearsonův korelační koeficient produktového momentu – Rank korelace (Spearmanův korelační koeficient hodnosti, Kendall tau korelační koeficient hodnosti)

Lineární regrese – Nelineární regrese – Logistická regrese