Het doel van PCA is om het grootste deel van de variabiliteit in een dataset te verklaren met minder variabelen dan de oorspronkelijke dataset.<\/span><\/p>\n Voor een gegeven dataset met p<\/em> -variabelen zouden we de spreidingsdiagrammen van elke paarsgewijze combinatie van variabelen kunnen onderzoeken, maar het aantal spreidingsdiagrammen kan zeer snel groot worden.<\/span><\/p>\n Voor p-<\/em> voorspellers bestaan er p(p-1)\/2-puntenwolken.<\/span><\/p>\n Voor een dataset met p = 15 voorspellers zouden er dus 105 verschillende spreidingsdiagrammen zijn!<\/span><\/p>\n Gelukkig biedt PCA een manier om een laagdimensionale weergave van een dataset te vinden die zoveel mogelijk van de variatie in de gegevens vastlegt.<\/span><\/p>\n Als we het grootste deel van de variatie in slechts twee dimensies kunnen vastleggen, kunnen we alle waarnemingen uit de oorspronkelijke dataset op een eenvoudig spreidingsdiagram projecteren.<\/span><\/p>\n De manier waarop we de belangrijkste componenten vinden is als volgt:<\/span><\/p>\n Gegeven<\/sub> een<\/sub> dataset<\/sub> met<\/sub> p-<\/em> voorspellers<\/sub> :<\/em> _<\/em><\/span><\/p>\n In de praktijk gebruiken we de volgende stappen om de lineaire combinaties van de oorspronkelijke voorspellers te berekenen:<\/span><\/p>\n 1.<\/strong> Schaal elk van de variabelen zodanig dat ze een gemiddelde van 0 en een standaarddeviatie van 1 hebben.<\/span><\/p>\n 2.<\/strong> Bereken de covariantiematrix voor de geschaalde variabelen.<\/span><\/p>\n 3.<\/strong> Bereken de eigenwaarden van de covariantiematrix.<\/span><\/p>\n Met behulp van lineaire algebra kunnen we aantonen dat de eigenvector die overeenkomt met de grootste eigenwaarde de eerste hoofdcomponent is. Met andere woorden: deze specifieke combinatie van voorspellers verklaart de grootste variantie in de gegevens.<\/span><\/p>\n De eigenvector die overeenkomt met de op een na grootste eigenwaarde is de tweede hoofdcomponent, enzovoort.<\/span><\/p>\n Deze zelfstudie biedt een stapsgewijs voorbeeld van hoe u dit proces in R kunt uitvoeren.<\/span><\/p>\n We laden eerst het Tidyverse-<\/strong> pakket, dat verschillende handige functies bevat voor het visualiseren en manipuleren van gegevens:<\/span><\/p>\n Voor dit voorbeeld gebruiken we de in R ingebouwde dataset USArrests<\/em> , die het aantal arrestaties per 100.000 inwoners in elke Amerikaanse staat in 1973 bevat voor moord<\/em> , mishandeling<\/em> en verkrachting<\/em> .<\/span><\/p>\n Het omvat ook het percentage van de bevolking van elke staat dat in stedelijke gebieden woont, UrbanPop<\/em> .<\/span><\/p>\n De volgende code laat zien hoe u de eerste rijen van de gegevensset laadt en weergeeft:<\/span><\/p>\n Na het laden van de gegevens kunnen we de ingebouwde functie pcomp()<\/strong> van R gebruiken om de belangrijkste componenten van de gegevensset te berekenen.<\/span><\/p>\n Zorg ervoor dat u scale = TRUE<\/strong> specificeert, zodat elk van de variabelen in de gegevensset wordt geschaald zodat het een gemiddelde van 0 en een standaarddeviatie van 1 heeft voordat u de hoofdcomponenten berekent.<\/span><\/p>\n Merk ook op dat de eigenvectoren in R standaard in de negatieve richting wijzen, dus we zullen vermenigvuldigen met -1 om de tekens om te keren.<\/span><\/p>\n We kunnen zien dat de eerste hoofdcomponent (PC1) hoge waarden heeft voor moord, mishandeling en verkrachting, wat aangeeft dat deze hoofdcomponent de grootste variatie in deze variabelen beschrijft.<\/span><\/p>\n We kunnen ook zien dat de tweede hoofdcomponent (PC2) een hoge waarde heeft voor UrbanPop, wat aangeeft dat deze hoofdcomponent de stedelijke bevolking benadrukt.<\/span><\/p>\n Houd er rekening mee dat de hoofdcomponentscores voor elke status worden opgeslagen in results$x<\/strong> . We zullen deze scores ook met -1 vermenigvuldigen om de tekens om te keren:<\/span><\/p>\n Vervolgens kunnen we een biplot<\/strong> maken \u2013 een plot die elk van de waarnemingen in de dataset projecteert op een spreidingsdiagram dat de eerste en tweede hoofdcomponent als assen gebruikt:<\/span><\/p>\n Merk op dat schaal = 0<\/strong> ervoor zorgt dat de pijlen in de grafiek worden geschaald om de belastingen weer te geven.<\/span> <\/p>\n Vanuit de plot kunnen we elk van de 50 toestanden zien weergegeven in een eenvoudige tweedimensionale ruimte.<\/span><\/p>\n Staten die in de grafiek dicht bij elkaar liggen, hebben vergelijkbare gegevenspatronen met betrekking tot de variabelen in de oorspronkelijke gegevensset.<\/span><\/p>\n We kunnen ook zien dat sommige staten sterker betrokken zijn bij bepaalde misdaden dan andere. Georgi\u00eb is bijvoorbeeld de staat die het dichtst bij de moordvariabele<\/em> in het plot ligt.<\/span><\/p>\n Als we kijken naar de staten met de hoogste moordcijfers in de oorspronkelijke dataset, kunnen we zien dat Georgi\u00eb bovenaan de lijst staat:<\/span><\/p>\n We kunnen de volgende code gebruiken om de totale variantie in de originele dataset te berekenen, uitgelegd door elke hoofdcomponent:<\/span><\/p>\n Uit de resultaten kunnen we het volgende opmaken:<\/span><\/p>\n De eerste twee hoofdcomponenten verklaren dus het grootste deel van de totale variantie in de gegevens.<\/span><\/p>\n Dit is een goed teken omdat de vorige biplot elk van de waarnemingen uit de originele gegevens projecteerde op een spreidingsdiagram dat alleen rekening hield met de eerste twee hoofdcomponenten.<\/span><\/p>\n Het is dus geldig om de patronen in de biplot te onderzoeken om toestanden te identificeren die op elkaar lijken.<\/span><\/p>\n We kunnen ook een scree plot<\/strong> maken \u2013 een grafiek die de totale variantie weergeeft die door elke hoofdcomponent wordt verklaard \u2013 om de PCA-resultaten te visualiseren:<\/span> <\/p>\n In de praktijk wordt PCA het vaakst gebruikt om twee redenen:<\/span><\/p>\n 1. Verkennende data-analyse<\/strong> \u2013 We gebruiken PCA wanneer we voor het eerst een dataset verkennen en willen begrijpen welke observaties in de data het meest op elkaar lijken.<\/span><\/p>\n 2. Regressie van hoofdcomponenten<\/strong> \u2013 We kunnen PCA ook gebruiken om hoofdcomponenten te berekenen die vervolgens kunnen worden gebruikt bij regressie van hoofdcomponenten<\/a> . Dit type regressie wordt vaak gebruikt als er multicollineariteit<\/a> bestaat tussen de voorspellers in een dataset.<\/span><\/p>\n\n
Stap 1: Gegevens laden<\/strong><\/span><\/h3>\n
library<\/span> (tidyverse)\n<\/strong><\/pre>\n #load data<\/span>\ndata<\/span><\/span> (\"USArrests\")<\/span>\n\n#view first six rows of data<\/span>\nhead(USArrests)\n\n Murder Assault UrbanPop Rape\nAlabama 13.2 236 58 21.2\nAlaska 10.0 263 48 44.5\nArizona 8.1 294 80 31.0\nArkansas 8.8 190 50 19.5\nCalifornia 9.0 276 91 40.6\nColorado 7.9 204 78 38.7\n<\/strong><\/pre>\n Stap 2: Bereken de belangrijkste componenten<\/strong><\/h3>\n
#calculate main components\n<\/span>results <- prcomp(USArrests, scale = TRUE<\/span> )\n\n#reverse the signs\n<\/span>results$rotation <- -1*results$rotation\n\n#display main components\n<\/span>results$rotation\n\n PC1 PC2 PC3 PC4\nMurder 0.5358995 -0.4181809 0.3412327 -0.64922780\nAssault 0.5831836 -0.1879856 0.2681484 0.74340748\nUrbanPop 0.2781909 0.8728062 0.3780158 -0.13387773\nRape 0.5434321 0.1673186 -0.8177779 -0.08902432<\/strong><\/pre>\n #reverse the signs of the scores\n<\/span>results$x <- -1*results$x\n\n#display the first six scores\nhead(results$x)<\/span>\n<\/span>\n PC1 PC2 PC3 PC4\nAlabama 0.9756604 -1.1220012 0.43980366 -0.154696581\nAlaska 1.9305379 -1.0624269 -2.01950027 0.434175454\nArizona 1.7454429 0.7384595 -0.05423025 0.826264240\nArkansas -0.1399989 -1.1085423 -0.11342217 0.180973554\nCalifornia 2.4986128 1.5274267 -0.59254100 0.338559240\nColorado 1.4993407 0.9776297 -1.08400162 -0.001450164\n<\/span><\/strong><\/pre>\n Stap 3: Visualiseer de resultaten met een biplot<\/strong><\/h3>\n
biplot(results, scale = 0<\/span> )\n<\/strong><\/pre>\n![\"Biplot](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pca1.png\")
<\/p>\n #display states with highest murder rates in original dataset<\/span>\nhead(USArrests[ order<\/span> (-USArrests$Murder),])\n\n Murder Assault UrbanPop Rape\nGeorgia 17.4 211 60 25.8\nMississippi 16.1 259 44 17.1\nFlorida 15.4 335 80 31.9\nLouisiana 15.4 249 66 22.2\nSouth Carolina 14.4 279 48 22.5\nAlabama 13.2 236 58 21.2<\/strong><\/pre>\n Stap 4: Zoek de variantie die door elke hoofdcomponent wordt verklaard<\/strong><\/span><\/h3>\n
#calculate total variance explained by each principal component\n<\/span>results$sdev^2 \/ sum<\/span> (results$sdev^2)\n\n[1] 0.62006039 0.24744129 0.08914080 0.04335752\n<\/strong><\/pre>\n\n
#calculate total variance explained by each principal component\n<\/span>var_explained = results$sdev^2 \/ sum<\/span> (results$sdev^2)\n\n#create scree plot\n<\/span>qplot(c(1:4), var_explained) + \n geom_line() + \n xlab(\" Principal Component<\/span> \") + \n ylab(\" Variance Explained<\/span> \") +\n ggtitle(\" Scree Plot<\/span> \") +\n ylim(0, 1)<\/strong> <\/pre>\n![\"R-vormig](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pca2.png\")
<\/p>\n Hoofdcomponentenanalyse in de praktijk<\/strong><\/span><\/h3>\n
\n