Lineární discriminantní analýza (LDA) a související Fisherův lineární discriminant se používají ve strojovém učení k nalezení lineární kombinace vlastností, které nejlépe oddělují dvě nebo více tříd objektu nebo události. Výsledné kombinace mohou být použity jako lineární klasifikátor, nebo častěji při redukci dimenzionality před pozdější klasifikací.
LDA úzce souvisí s ANOVA a regresní analýzou, které se také pokoušejí vyjádřit jednu závislou veličinu jako lineární kombinaci dalších vlastností nebo měření. V dalších dvou metodách je však závislá veličina číselná veličina, zatímco pro LDA je to kategorická veličina (tj. označení třídy).
LDA také úzce souvisí s analýzou hlavních komponent (PCA) a faktorovou analýzou v tom, že obě hledají lineární kombinace proměnných, které nejlépe vysvětlují data. LDA se explicitně pokouší modelovat rozdíl mezi třídami dat. PCA na druhou stranu nebere v úvahu žádný rozdíl ve třídách a faktorová analýza sestavuje kombinace prvků na základě rozdílů spíše než podobností. Diskriminantní analýza se také liší od faktorové analýzy v tom, že se nejedná o techniku vzájemné závislosti: musí se rozlišovat mezi nezávislými proměnnými a závislými proměnnými (také nazývanými kritériálními proměnnými).
Vezměme si sadu pozorování x (také nazývanou vlastnosti, atributy, proměnné nebo měření) pro každý vzorek objektu nebo události se známou třídou y. Tato sada vzorků se nazývá tréninková sada. Klasifikačním problémem je pak najít dobrý prediktor pro třídu y jakéhokoli vzorku se stejným rozložením (ne nutně z tréninkové sady) daného pouze pozorování x.
LDA přistupuje k problému za předpokladu, že hustota pravděpodobnosti funguje a oba jsou normálně distribuovány, s identickými plnohodnotnými kovariancemi
Lze prokázat, že požadovaná pravděpodobnost závisí pouze na skalárním součinu, kde
To znamená, že pravděpodobnost vstupu x je ve třídě y je čistě funkcí této lineární kombinace známých pozorování.
Podobná analýza, která umožňuje, aby se kovariance lišily, se nazývá kvadratická diskriminační analýza.
Fisherův lineární diskriminátor
Pojmy Fisherův lineární diskriminant a LDA jsou často používány zaměnitelně, i když Fisherův původní článek The Use of Multiple Measures in Taxonomic Problems (1936) ve skutečnosti popisuje trochu odlišný diskriminant, který nečiní některé z předpokladů LDA, jako jsou běžně distribuované třídy nebo rovnoprávné kovariance třídy.
Toto opatření je v určitém smyslu měřítkem poměru signálu a šumu pro označení třídy. Lze prokázat, že k maximálnímu oddělení dochází, když
Jsou-li splněny předpoklady LDA, výše uvedená rovnice odpovídá LDA.
V praxi nejsou střední a kovarianční hodnoty tříd známy. Lze je však odhadnout z tréninkového souboru. Místo přesné hodnoty lze ve výše uvedených rovnicích použít buď odhad maximální pravděpodobnosti, nebo odhad maximální a posteriori. Ačkoli lze odhady kovariance v určitém smyslu považovat za optimální, neznamená to, že výsledný rozlišovač získaný substitucí těchto hodnot je v jakémkoli smyslu optimální, i když je předpoklad normálně rozložených tříd správný.
Další komplikace při aplikaci LDA a Fisherova diskriminátoru na reálná data nastává, když počet pozorování každého vzorku překročí počet vzorků. V tomto případě nemají odhady kovariance plnou hodnost, a tak je nelze převrátit. Existuje řada způsobů, jak se s tím vypořádat. Jedním z nich je použití pseudoinverzní matice místo obvyklé inverzní matice ve výše uvedených vzorcích. Dalším, nazývaným regularizovaná diskriminační analýza, je umělé zvýšení počtu dostupných vzorků přidáním bílého šumu ke stávajícím vzorkům. Tyto nové vzorky ve skutečnosti nemusí být vypočítány, protože jejich vliv na kovariance třídy lze vyjádřit matematicky jako
kde je matice identity a je množství přidaného šumu, nazývané v této souvislosti regularizační parametr. Hodnota je obvykle zvolena tak, aby dala nejlepší výsledky na sadě křížové validace. Nová hodnota kovarianční matice je vždy invertibilní a může být použita místo původní vzorové kovariance ve výše uvedených vzorcích.
Také v mnoha praktických případech nejsou vhodné lineární discriminanty. LDA a Fisherův discriminant může být rozšířen pro použití v nelineární klasifikaci pomocí triku s jádrem. Zde jsou původní pozorování efektivně mapována do nelineárního prostoru vyššího rozměru. Lineární klasifikace v tomto nelineárním prostoru je pak ekvivalentní nelineární klasifikaci v původním prostoru. Nejčastěji používaným příkladem je jádro Fisherův discriminant.
LDA může být zobecněna na vícenásobnou diskriminační analýzu, kde c se stává kategorickou proměnnou s N možnými stavy, namísto pouze dvou. Analogicky, pokud jsou hustoty podmíněné třídou normální se sdílenými kovariancemi, dostačující statistika pro jsou hodnoty N projekcí, což jsou podprostory rozložené pomocí N průměrů, afinní projekce pomocí inverzní kovarianční matice. Tyto projekce lze nalézt vyřešením zobecněného problému vlastních čísel, kde čitatel je kovarianční matice vytvořená zpracováním průměrů jako vzorků a jmenovatel je sdílená kovarianční matice.
V počítačovém rozpoznávání obličejů je každý obličej reprezentován velkým počtem hodnot pixelů. Lineární diskriminační analýza se zde primárně používá ke snížení počtu rysů na lépe zvládnutelné číslo před klasifikací. Každý z nových rozměrů je lineární kombinací hodnot pixelů, které tvoří šablonu. Lineární kombinace získané pomocí Fisherova lineárního diskriminátoru se nazývají Fisherovy tváře, zatímco ty získané pomocí související analýzy hlavních komponent se nazývají eigenfaces.
Diskriminantní analýza se v marketingu často používá k určení faktorů, které rozlišují různé typy zákazníků a/nebo produktů na základě průzkumů nebo jiných forem shromážděných údajů. Použití diskriminační analýzy v marketingu se obvykle popisuje těmito kroky:
lokalizace, marketing, produktový management, marketingový výzkum
eo:Vikipedio:Projekto matematiko/Lineara diskriminanta analitiko