Как подсчитать пропущенные значения в dataframe pandas

Часто вам может потребоваться подсчитать количество пропущенных значений в DataFrame pandas.

В этом руководстве показано несколько примеров того, как подсчитать пропущенные значения, используя следующий DataFrame:

 import pandas as pd
import numpy as np

#create DataFrame with some missing values
df = pd.DataFrame({'a': [4, np.nan, np.nan, 7, 8, 12],
                   'b': [np.nan, 6, 8, 14, 29, np.nan],
                   'c': [11, 8, 10, 6, 6, np.nan]})

#view DataFrame
print (df)

      ABC
0 4.0 NaN 11.0
1 NaN 6.0 8.0
2 NaN 8.0 10.0
3 7.0 14.0 6.0
4 8.0 29.0 6.0
5 12.0 NaN NaN

Подсчитайте общее количество пропущенных значений во всем DataFrame

Следующий код показывает, как вычислить общее количество пропущенных значений во всем DataFrame:

 df. isnull (). sum (). sum ()

5

Это говорит нам о том, что всего пропущено 5 значений.

Подсчитайте общее количество пропущенных значений в каждом столбце

Следующий код показывает, как вычислить общее количество пропущенных значений в каждом столбце DataFrame:

 df. isnull (). sum ()

at 2
b 2
c 1

Это говорит нам:

• В столбце «а» пропущено 2 значения.
• В столбце «b» пропущено 2 значения.
• В столбце «c» пропущено 1 значение.

Также вы можете отобразить количество пропущенных значений в процентах от всего столбца:

 df. isnull (). sum ()/ len (df)* 100

a 33.333333
b 33.333333
c 16.666667

Это говорит нам:

• 33,33% значений в столбце «а» отсутствуют.
• 33,33% значений в столбце «б» отсутствуют.
• 16,67% значений в столбце «в» отсутствуют.

Подсчитайте общее количество пропущенных значений в каждой строке

Следующий код показывает, как вычислить общее количество пропущенных значений в каждой строке DataFrame:

 df. isnull (). sum (axis= 1 )

0 1
1 1
2 1
30
4 0
5 2

Это говорит нам:

• В строке 1 имеется 1 пропущенное значение.
• В строке 2 имеется 1 пропущенное значение.
• В строке 3 имеется 1 пропущенное значение.
• В строке 4 нет пропущенных значений.
• В строке 5 0 пропущенных значений.
• В строке 6 пропущено 2 значения.

Дополнительные ресурсы

Как найти уникальные значения в нескольких столбцах в Pandas
Как создать новый столбец на основе условия в Pandas