Como contar duplicatas em pandas: com exemplos

Você pode usar os seguintes métodos para contar duplicatas em um DataFrame do pandas:

Método 1: contar valores duplicados em uma coluna

 len (df[' my_column ']) - len (df[' my_column ']. drop_duplicates ())

Método 2: contar linhas duplicadas

 len (df) -len ( df.drop_duplicates ())

Método 3: contar duplicatas para cada linha exclusiva

 df. groupby ( df.columns.tolist (), as_index= False ) . size ()

Os exemplos a seguir mostram como usar cada método na prática com o seguinte DataFrame do pandas:

 import pandas as pd

#createDataFrame
df = pd. DataFrame ({' team ': ['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B'],
                   ' position ': ['G', 'G', 'G', 'F', 'G', 'G', 'F', 'F'],
                   ' points ': [5, 5, 8, 10, 5, 7, 10, 10]})

#view DataFrame
print (df)

  team position points
0 AG 5
1 GA 5
2 AG 8
3 AF 10
4 BG 5
5 BG 7
6 BF 10
7 BF 10

Exemplo 1: contar valores duplicados em uma coluna

O código a seguir mostra como contar o número de valores duplicados na coluna de pontos :

 #count duplicate values in points column
len (df[' points '])- len (df[' points ']. drop_duplicates ())

4

Podemos ver que existem 4 valores duplicados na coluna de pontos .

Exemplo 2: contar linhas duplicadas

O código a seguir mostra como contar o número de linhas duplicadas no DataFrame:

 #count number of duplicate rows
len (df) -len ( df.drop_duplicates ())

2

Podemos ver que existem 2 linhas duplicadas no DataFrame.

Podemos usar a seguinte sintaxe para exibir essas 2 linhas duplicadas:

 #display duplicated rows
df[df. duplicated ()]

        team position points
1 A G 5
7 B F 10

Exemplo 3: contar duplicatas para cada linha exclusiva

O código a seguir mostra como contar o número de duplicatas para cada linha exclusiva no DataFrame:

 #display number of duplicates for each unique row
df. groupby ( df.columns.tolist (), as_index= False ) . size ()

        team position points size
0 A F 10 1
1 A G 5 2
2 A G 8 1
3 B F 10 2
4 B G 5 1
5 B G 7 1

A coluna Tamanho exibe o número de duplicatas para cada linha exclusiva.

Recursos adicionais

Os tutoriais a seguir explicam como realizar outras operações comuns em pandas:

Como remover linhas duplicadas no Pandas
Como remover colunas duplicadas no Pandas
Como selecionar colunas por índice no Pandas