<\/p>\n
Kiedy mamy zestaw zmiennych predykcyjnych i chcemy zaklasyfikowa\u0107 zmienn\u0105 odpowiedzi<\/a> do jednej z dw\u00f3ch klas, zazwyczaj u\u017cywamy regresji logistycznej<\/a> .<\/span><\/p>\n Je\u015bli jednak zmienna odpowiedzi ma wi\u0119cej ni\u017c dwie mo\u017cliwe klasy, zazwyczaj stosujemy liniow\u0105 analiz\u0119 dyskryminacyjn\u0105<\/a> , cz\u0119sto nazywan\u0105 LDA.<\/span><\/p>\n LDA zak\u0142ada, \u017ce (1)<\/strong> obserwacje w ka\u017cdej klasie maj\u0105 rozk\u0142ad normalny<\/a> i (2)<\/strong> obserwacje w ka\u017cdej klasie maj\u0105 t\u0119 sam\u0105 macierz kowariancji. Korzystaj\u0105c z tych za\u0142o\u017ce\u0144, LDA znajduje nast\u0119pnie nast\u0119puj\u0105ce warto\u015bci:<\/span><\/p>\n LDA nast\u0119pnie wstawia te liczby do nast\u0119puj\u0105cego wzoru i przypisuje ka\u017cd\u0105 obserwacj\u0119 X = x do klasy, dla kt\u00f3rej wz\u00f3r daje najwi\u0119ksz\u0105 warto\u015b\u0107:<\/span><\/p>\n re k<\/sub> (x) = x * (\u03bc k<\/sub> \/\u03c3 2<\/sup> ) \u2013 (\u03bc k<\/sub> 2<\/sup> \/2\u03c3 2<\/sup> ) + log(\u03c0 k<\/sub> )<\/strong><\/span><\/p>\n LDA ma w nazwie liniow\u0105<\/em> , poniewa\u017c warto\u015b\u0107 wygenerowana przez powy\u017csz\u0105 funkcj\u0119 pochodzi z wyniku funkcji liniowych<\/em> x.<\/span><\/p>\n Rozszerzeniem liniowej analizy dyskryminacyjnej jest kwadratowa analiza dyskryminacyjna<\/strong> , cz\u0119sto nazywana QDA.<\/span><\/p>\n Metoda ta jest podobna do LDA i r\u00f3wnie\u017c zak\u0142ada, \u017ce obserwacje ka\u017cdej klasy maj\u0105 rozk\u0142ad normalny, ale nie zak\u0142ada, \u017ce ka\u017cda klasa ma t\u0119 sam\u0105 macierz kowariancji. Zamiast tego QDA zak\u0142ada, \u017ce ka\u017cda klasa ma w\u0142asn\u0105 macierz kowariancji.<\/span><\/p>\n Innymi s\u0142owy zak\u0142ada, \u017ce obserwacja k- tej<\/sup> klasy ma posta\u0107 X ~ N(\u03bc k<\/sub> , \u03a3 k<\/sub> ).<\/span><\/p>\n Korzystaj\u0105c z tego za\u0142o\u017cenia, QDA znajduje nast\u0119pnie nast\u0119puj\u0105ce warto\u015bci:<\/span><\/p>\n QDA nast\u0119pnie wstawia te liczby do nast\u0119puj\u0105cego wzoru i przypisuje ka\u017cd\u0105 obserwacj\u0119 X = x do klasy, dla kt\u00f3rej wz\u00f3r daje najwi\u0119ksz\u0105 warto\u015b\u0107:<\/span><\/p>\n D k<\/sub> (x) = -1\/2*(x-\u03bc k<\/sub> ) T<\/sup> \u03a3 k<\/sub> -1<\/sup> (x-\u03bc k<\/sub> ) \u2013 1\/2*log|\u03a3 k<\/sub> | + log( \u03c0k<\/sub> )<\/strong><\/span><\/p>\n Nale\u017cy zauwa\u017cy\u0107, \u017ce QDA ma w nazwie kwadrat<\/em> , poniewa\u017c warto\u015b\u0107 wygenerowana przez powy\u017csz\u0105 funkcj\u0119 pochodzi z wyniku funkcji kwadratowych<\/em> x.<\/span><\/p>\n G\u0142\u00f3wna r\u00f3\u017cnica mi\u0119dzy LDA i QDA polega na tym, \u017ce LDA zak\u0142ada, \u017ce ka\u017cda klasa ma wsp\u00f3ln\u0105 macierz kowariancji, co czyni j\u0105 znacznie mniej elastycznym klasyfikatorem ni\u017c QDA.<\/span><\/p>\n To z natury oznacza, \u017ce ma nisk\u0105 wariancj\u0119, tj. b\u0119dzie dzia\u0142a\u0107 tak samo na r\u00f3\u017cnych zbiorach danych ucz\u0105cych.<\/span> Wad\u0105 jest to, \u017ce je\u015bli za\u0142o\u017cenie, \u017ce klasy K<\/em> maj\u0105 t\u0119 sam\u0105 kowariancj\u0119, jest fa\u0142szywe, w\u00f3wczas LDA mo\u017ce cierpie\u0107 z powodu du\u017cego obci\u0105\u017cenia<\/a> .<\/span><\/p>\n QDA jest og\u00f3lnie preferowana zamiast LDA w nast\u0119puj\u0105cych sytuacjach:<\/span><\/p>\n (1)<\/strong> Zbi\u00f3r ucz\u0105cy jest du\u017cy.<\/span><\/p>\n (2)<\/strong> Jest ma\u0142o prawdopodobne, aby klasy K<\/em> mia\u0142y wsp\u00f3ln\u0105 macierz kowariancji.<\/span><\/p>\n Kiedy te warunki s\u0105 spe\u0142nione, QDA zwykle dzia\u0142a lepiej, poniewa\u017c jest bardziej elastyczna i mo\u017ce lepiej dostosowa\u0107 si\u0119 do danych.<\/span><\/p>\n Zanim zastosujesz do nich model QDA, upewnij si\u0119, \u017ce Twoje dane spe\u0142niaj\u0105 nast\u0119puj\u0105ce wymagania:<\/span><\/p>\n 1. Zmienna odpowiedzi ma charakter kategoryczny<\/strong> . Modele QDA s\u0105 przeznaczone do stosowania w problemach klasyfikacyjnych<\/a> , to znaczy, gdy zmienn\u0105 odpowiedzi mo\u017cna umie\u015bci\u0107 w klasach lub kategoriach.<\/span><\/p>\n 2. Obserwacje w ka\u017cdej klasie maj\u0105 rozk\u0142ad normalny<\/strong> . Najpierw sprawd\u017a, czy rozk\u0142ad warto\u015bci w ka\u017cdej klasie ma w przybli\u017ceniu rozk\u0142ad normalny. Je\u015bli nie, mo\u017cesz najpierw przekszta\u0142ci\u0107 dane,<\/a> aby rozk\u0142ad by\u0142 bardziej normalny.<\/span><\/p>\n 3. Uwzgl\u0119dnij skrajne warto\u015bci odstaj\u0105ce.<\/strong> Przed zastosowaniem LDA upewnij si\u0119, \u017ce w zbiorze danych znajduj\u0105 si\u0119 skrajne warto\u015bci odstaj\u0105ce. Zwykle mo\u017cna wizualnie sprawdzi\u0107 warto\u015bci odstaj\u0105ce, korzystaj\u0105c po prostu z wykres\u00f3w pude\u0142kowych<\/a> lub wykres\u00f3w rozrzutu.<\/span><\/p>\n Poni\u017csze samouczki zawieraj\u0105 szczeg\u00f3\u0142owe przyk\u0142ady przeprowadzania kwadratowej analizy dyskryminacyjnej w j\u0119zykach R i Python:<\/p>\n Kwadratowa analiza dyskryminacyjna w R (krok po kroku)<\/a> Kiedy mamy zestaw zmiennych predykcyjnych i chcemy zaklasyfikowa\u0107 zmienn\u0105 odpowiedzi do jednej z dw\u00f3ch klas, zazwyczaj u\u017cywamy regresji logistycznej . Je\u015bli jednak zmienna odpowiedzi ma wi\u0119cej ni\u017c dwie mo\u017cliwe klasy, zazwyczaj stosujemy liniow\u0105 analiz\u0119 dyskryminacyjn\u0105 , cz\u0119sto nazywan\u0105 LDA. LDA zak\u0142ada, \u017ce (1) obserwacje w ka\u017cdej klasie maj\u0105 rozk\u0142ad normalny i (2) obserwacje w ka\u017cdej […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-1164","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n\n
\n
LDA vs QDA: kiedy u\u017cywa\u0107 jednego lub drugiego<\/strong><\/span><\/h3>\n
Jak przygotowa\u0107 dane do QDA<\/strong><\/span><\/h3>\n
QDA w R i Pythonie<\/strong><\/h3>\n
Kwadratowa analiza dyskryminacyjna w Pythonie (krok po kroku)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"