Ve statistice je lineární model daný
kde Y je n×1 sloupcový vektor náhodných veličin, X je n×p matice „známých“ (tj. pozorovatelných a ne-náhodných) veličin, jejichž řádky odpovídají statistickým jednotkám, β je p×1 vektor (nepozorovatelných) parametrů a ε je n×1 vektor „chyb“, což jsou nekorelované náhodné veličiny, z nichž každá má očekávanou hodnotu 0 a rozptyl σ2. Často se předpokládá, že složky vektoru chyb jsou nezávislé a normálně rozložené. Po pozorování hodnot X a Y musí statistik odhadnout β a σ2. Obvykle se parametry β odhadují metodou maximální pravděpodobnosti, která je v případě normálních chyb ekvivalentní (podle Gaussovy-Markovovy věty) metodě nejmenších čtverců.
Pokud místo toho, abychom brali rozptyl ε jako σ2I, kde I je n×n matice identity, předpokládáme rozptyl jako σ2M, kde M je známá matice jiná než matice identity, pak odhadujeme β metodou „zobecněných nejmenších čtverců“, ve které místo minimalizace součtu čtverců zbytků minimalizujeme jinou kvadratickou formu ve zbytkech – kvadratická forma je ta daná maticí M-1. To vede k odhadu
což je nejlepší lineární nezaujatý odhad pro . Pokud všechny off-diagonální záznamy v matici M jsou 0, pak jeden normálně odhaduje β metodou „vážené nejmenších čtverců“, s hmotnostmi úměrnými převrácené úhlopříčky záznamů.
Běžná lineární regrese je velmi úzce související téma.
Generalizované lineární modely, pro které spíše než
kde g je „spojovací funkce“. Příkladem je Poissonův regresní model, který uvádí, že
Linková funkce je přirozená logaritmická funkce.
Po pozorování xi a Yi pro
i = 1, …, n, lze odhadnout γ a δ metodou maximální pravděpodobnosti.
Obecný lineární model (nebo multivariační regresní model) je lineární model s více měřeními na jeden objekt. Každý objekt může být zastoupen ve vektoru.