V regresní analýze je metoda nejmenších čtverců, také známá jako obyčejná analýza nejmenších čtverců, metoda lineární regrese, která určuje hodnoty neznámých veličin ve statistickém modelu tím, že minimalizuje součet čtvercových zbytků (rozdíl mezi predikovanými a pozorovanými hodnotami). Tato metoda byla poprvé popsána Carlem Friedrichem Gaussem kolem roku 1794. Dnes je tato metoda dostupná ve většině statistických softwarových balíčků. Přístup nejmenších čtverců k regresní analýze se ukázal jako optimální v tom smyslu, že vyhovuje Gaussově-Markovově větě.
Související metodou je metoda nejmenších středních čtverců (LMS). Dochází k ní, když je počet naměřených dat 1 a metoda sestupu gradientu se používá k minimalizaci kvadratického zbytkového čísla. Je známo, že LMS minimalizuje očekávání kvadratického zbytkového čísla, s nejmenším počtem operací na iteraci). Vyžaduje však velký počet iterací ke konvergenci.
Mnoho dalších typů optimalizačních problémů může být vyjádřeno formou nejmenších čtverců, buď minimalizací energie nebo maximalizací entropie.
Metoda nejmenších čtverců vyrostla z oborů astronomie a geodézie, jak se vědci a matematici snažili poskytnout řešení problémů navigace v pozemských oceánech v době průzkumu. Přesný popis chování nebeských těles byl klíčem k tomu, aby lodě mohly plout na otevřeném moři, kde se předtím námořníci museli spoléhat na pozorování pevniny, aby určili polohu svých lodí.
Metoda byla vyvrcholením několika pokroků, ke kterým došlo v průběhu osmnáctého století:
Carl Friedrich Gauss je připsána s rozvojem základů na základě nejmenších-čtverců analýzy v roce 1795 ve věku osmnácti let.
První ukázka síly Gaussovy metody přišla, když byla použita k předpovědi budoucího umístění nově objeveného asteroidu Ceres. 1. ledna 1801 italský astronom Giuseppe Piazzi objevil Ceres a byl schopen sledovat jeho dráhu 40 dní, než se ztratila v záři Slunce. Na základě těchto údajů bylo žádoucí určit polohu Ceres poté, co se vynořila zpoza Slunce, aniž by byly vyřešeny složité Keplerovy nelineární rovnice planetárního pohybu. Jediné předpovědi, které úspěšně umožnily maďarskému astronomovi Franzi Xaveru von Zachovi přemístit Ceres, byly ty, které provedl 24letý Gauss pomocí analýzy nejmenších čtverců.
Gauss tuto metodu publikoval až v roce 1809, kdy se objevila ve svazku dvě jeho práce o nebeské mechanice, Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium.
V roce 1829 byl Gauss schopen konstatovat, že přístup k regresní analýze metodou nejmenších čtverců je optimální v tom smyslu, že v lineárním modelu, kde chyby mají průměr nula, jsou nekorelované a mají stejné odchylky, jsou nejlepšími lineárními nezkreslenými odhady koeficientů odhady metodou nejmenších čtverců. Tento výsledek je znám jako Gaussova-Markovova věta.
Myšlenku analýzy nejmenších čtverců také nezávisle formuloval Francouz Adrien-Marie Legendre v roce 1805 a Američan Robert Adrain v roce 1808.
Cíl spočívá v úpravě modelové funkce tak, aby co nejlépe odpovídala datové sadě. Zvolená modelová funkce má nastavitelné parametry. Datová sada se skládá z n bodů s . Modelová funkce má tvar , Kde je závislá proměnná, jsou nezávislé proměnné, a jsou modelové nastavitelné parametry. Chceme najít hodnoty parametrů tak, aby model co nejlépe odpovídal datům podle definovaného chybového kritéria. Metoda nejmenšího součtu čtverců minimalizuje rovnici součtu čtverců chyb
s ohledem na nastavitelné parametry .
Data jsou například měření výšky nad povrchem. Data volíme modelovat podle roviny s parametry pro střední výšku roviny, úhel sklonu roviny a úhel sklonu roviny. Modelová rovnice je pak , Nezávislé proměnné jsou , a nastavitelné parametry jsou .
Řešení problému nejmenších čtverců
Úlohy optimalizace nejmenších čtverců lze rozdělit na lineární a nelineární. Lineární problém má uzavřené tvarové řešení. Údajně se jedná o lineární optimalizační problém, pokud parciální derivace prvního řádu S vzhledem k parametrům vyústí v soustavu rovnic, která je v parametrických proměnných lineární. Obecný nelineární, neomezený optimalizační problém nemá uzavřené tvarové řešení. V tomto případě lze použít rekurzivní metody, jako je Newtonova metoda v kombinaci s metodou sestupu gradientu, nebo specializované metody pro analýzu nejmenších čtverců, jako je Gaussův-Newtonův algoritmus nebo Levenbergův-Marquardtův algoritmus.
Analýza nejmenších čtverců a regrese
V regresní analýze jeden nahrazuje vztah
kde šumový výraz ε je náhodná proměnná se střední hodnotou nula. Všimněte si, že předpokládáme, že hodnoty jsou přesné a všechny chyby jsou v hodnotách. Opět rozlišujeme mezi lineární regresí, v takovém případě je funkce f lineární v parametrech, které mají být stanoveny (např. f(x) = ax2 + bx + c), a nelineární regresí. Stejně jako dříve, lineární regrese je mnohem jednodušší než nelineární regrese. (Je lákavé si myslet, že důvodem pro název lineární regrese je to, že graf funkce f(x) = ax + b je přímka. Ale montáž křivky jako f(x) = ax2 + bx + c při odhadu a, b, a c podle nejmenších čtverců, je příkladem lineární regrese, protože vektor odhadů nejmenších čtverců a, b, a c je lineární transformace vektoru, jehož složky jsou f(xi) + εi.
Rozpoznáním, že regresní model je soustavou lineárních rovnic, můžeme vyjádřit model pomocí datové matice X, cílového vektoru Y a vektoru parametrů . Řádek ith z X a Y bude obsahovat hodnotu x a y pro datový vzorek ith. Pak lze model zapsat jako
který se při použití čistého maticového zápisu stává
kde ε je normálně distribuováno s očekávanou hodnotou 0 (tj. sloupcový vektor 0s) a rozptylem σ2 In, kde In je n×n matice identity.
Nejméně čtverců odhad pro je
(kde XT je transponovat X) a součet čtverců na zbytky je
Jednou z vlastností nejmenších čtverců je, že matice je kolmý průmět Y na sloupec prostoru X.
Fakt, že matice X(XTX)−1XT je symetrická idempotentní matice, je neustále používán v důkazech o větách. Linearita jako funkce vektoru Y, vyjádřená výše slovy
je důvodem, proč se tomu říká „lineární“ regrese. Nelineární regrese používá nelineární metody odhadu.
Matice In − X (XT X)−1 XT, která se objevuje výše, je symetrická idempotentní matice hodnosti n − 2. Zde je příklad použití tohoto faktu v teorii lineární regrese. Konečná-dimenzionální spektrální věta lineární algebry říká, že každá reálná symetrická matice M může být diagonalizována ortogonální maticí G, tj. matice G′MG je diagonální matice. Pokud je matice M také idempotentní, pak diagonální vstupy v G′MG musí být idempotentní čísla. Pouze dvě reálná čísla jsou idempotentní: 0 a 1. Takže In − X(XTX) -1XT, po diagonalizaci, má n − 2 1s a dvě nuly na diagonále. To je většina práce při ukazování, že součet čtverců reziduí má rozdělení chí-kvadrát s n−2 stupni volnosti.
Regresní parametry lze také odhadnout bayesovskými metodami. To má ty výhody, že
Předpokládejme, že v lineární regresi
ze znalosti domény víme, že alfa může nabrat pouze jednu z hodnot {−1, +1} ale nevíme kterou. Tuto informaci můžeme zabudovat do analýzy výběrem předchozího pro alfa, což je diskrétní rozdělení s pravděpodobností 0,5 na −1 a 0,5 na +1. Zadní pro alfa bude také diskrétní rozdělení na {−1, +1}, ale pravděpodobnostní váhy se budou měnit tak, aby odrážely důkazy z dat.
V moderních počítačových aplikacích se skutečná hodnota vypočítává pomocí QR dekompozice nebo trochu robustnějších metod, když je blízko singuláru. Kód pro funkci zpětného lomítka MATLAB, „\“, je vynikajícím příkladem robustní metody.
Jsme součet pozorování, čtverce z Xs a produkty XY získat následující množství.
Odhad beta (sklon)
Používáme souhrnné statistiky výše pro výpočet , Odhad β.
Odhad alfa (intercept)
Odhad β a další statistiky používáme k odhadu α podle:
Důsledkem tohoto odhadu je, že regresní přímka vždy projde „středem“.
Odhad nejmenších čtverců pro lineární modely je notoricky neprůstřelný pro odlehlé hodnoty. Pokud je rozložení odlehlých hodnot zkreslené, mohou být odhady zkreslené. Při výskytu jakýchkoli odlehlých hodnot jsou odhady nejmenších čtverců neefektivní a mohou být extrémně pomalé. Pokud se odlehlé hodnoty vyskytnou v datech, jsou vhodnější metody robustní regrese.