Jak normalizować dane w pythonie
Często w statystyce i uczeniu maszynowym normalizujemy zmienne w taki sposób, że zakres wartości mieści się w przedziale od 0 do 1.
Najczęstszym powodem normalizacji zmiennych jest sytuacja, gdy przeprowadzamy pewnego rodzaju analizę wielowymiarową (tj. chcemy zrozumieć związek pomiędzy kilkoma zmiennymi predykcyjnymi a zmienną odpowiedzi) i chcemy, aby każda zmienna w równym stopniu przyczyniała się do analizy.
Kiedy zmienne są mierzone w różnych skalach, często nie wnoszą one jednakowego wkładu do analizy. Przykładowo, jeśli wartości jednej zmiennej mieszczą się w przedziale od 0 do 100 000, a wartości innej zmiennej mieszczą się w przedziale od 0 do 100, to zmienna o większym zakresie będzie miała w analizie większą wagę.
Standaryzując zmienne, możemy mieć pewność, że każda zmienna w równym stopniu przyczynia się do analizy.
Aby znormalizować wartości od 0 do 1, możemy użyć następującego wzoru:
x norma = (x i – x min ) / (x max – x min )
Złoto:
- x norma : i-ta znormalizowana wartość w zbiorze danych
- x i : i-ta wartość zbioru danych
- x max : Minimalna wartość w zbiorze danych
- x min : Maksymalna wartość w zestawie danych
Poniższe przykłady pokazują, jak normalizować jedną lub więcej zmiennych w Pythonie.
Przykład 1: normalizacja tablicy NumPy
Poniższy kod pokazuje, jak znormalizować wszystkie wartości w tablicy NumPy:
import numpy as np #create NumPy array data = np. array ([[13, 16, 19, 22, 23, 38, 47, 56, 58, 63, 65, 70, 71]]) #normalize all values in array data_norm = (data - data. min ())/ (data. max () - data. min ()) #view normalized values data_norm array([[0. , 0.05172414, 0.10344828, 0.15517241, 0.17241379, 0.43103448, 0.5862069, 0.74137931, 0.77586207, 0.86206897, 0.89655172, 0.98275862, 1. ]])
Każda z wartości w znormalizowanej tablicy ma teraz wartość od 0 do 1.
Przykład 2: Normalizuj wszystkie zmienne w Pandas DataFrame
Poniższy kod pokazuje, jak normalizować wszystkie zmienne w ramce DataFrame pandy:
import pandas as pd #createDataFrame df = pd. DataFrame ({' points ': [25, 12, 15, 14, 19, 23, 25, 29], ' assists ': [5, 7, 7, 9, 12, 9, 9, 4], ' rebounds ': [11, 8, 10, 6, 6, 5, 9, 12]}) #normalize values in every column df_norm = (df-df. min ())/ (df. max () - df. min ()) #view normalized DataFrame df_norm points assists rebounds 0 0.764706 0.125 0.857143 1 0.000000 0.375 0.428571 2 0.176471 0.375 0.714286 3 0.117647 0.625 0.142857 4 0.411765 1.000 0.142857 5 0.647059 0.625 0.000000 6 0.764706 0.625 0.571429 7 1.000000 0.000 1.000000
Każda z wartości w każdej kolumnie wynosi teraz od 0 do 1.
Przykład 3: Normalizuj określone zmienne w Pandas DataFrame
Poniższy kod pokazuje, jak znormalizować określoną zmienną w ramce DataFrame pandy:
import pandas as pd #createDataFrame df = pd. DataFrame ({' points ': [25, 12, 15, 14, 19, 23, 25, 29], ' assists ': [5, 7, 7, 9, 12, 9, 9, 4], ' rebounds ': [11, 8, 10, 6, 6, 5, 9, 12]}) define columns to normalize x = df. iloc [:,0:2] #normalize values in first two columns only df. iloc [:,0:2] = (xx. min ())/ (x. max () - x. min ()) #view normalized DataFrame df points assists rebounds 0 0.764706 0.125 11 1 0.000000 0.375 8 2 0.176471 0.375 10 3 0.117647 0.625 6 4 0.411765 1.000 6 5 0.647059 0.625 5 6 0.764706 0.625 9 7 1.000000 0.000 12
Należy pamiętać, że normalizowane są tylko wartości w pierwszych dwóch kolumnach.
Dodatkowe zasoby
Poniższe samouczki zawierają dodatkowe informacje na temat normalizacji danych:
Jak normalizować dane między 0 a 1
Jak normalizować dane od 0 do 100
Standaryzacja czy normalizacja: jaka jest różnica?