Pandas : Comment supprimer les doublons tout en conservant la ligne avec la valeur maximale

Vous pouvez utiliser les méthodes suivantes pour supprimer les doublons dans un DataFrame pandas mais conserver la ligne qui contient la valeur maximale dans une colonne particulière :

Méthode 1 : supprimer les doublons dans une colonne et conserver la ligne avec Max

df.sort_values('var2', ascending=False).drop_duplicates('var1').sort_index()

Méthode 2 : supprimer les doublons dans plusieurs colonnes et conserver la ligne avec Max

df.sort_values('var3', ascending=False).drop_duplicates(['var1', 'var2']).sort_index()

Les exemples suivants montrent comment utiliser chaque méthode dans la pratique.

Exemple 1 : supprimer les doublons dans une colonne et conserver la ligne avec Max

Supposons que nous ayons le DataFrame pandas suivant qui contient des informations sur les points marqués par les joueurs de basket-ball de différentes équipes :

import pandas as pd

#create DataFrame
df = pd.DataFrame({'team': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
                   'points': [20, 24, 28, 30, 14, 19, 29, 40, 22]})

#view DataFrame
print(df)

  team  points
0    A      20
1    A      24
2    A      28
3    B      30
4    B      14
5    B      19
6    C      29
7    C      40
8    C      22

Nous pouvons utiliser la syntaxe suivante pour supprimer les lignes avec des noms d’équipe en double mais conserver les lignes avec les valeurs maximales pour les points :

#drop duplicate teams but keeps row with max points
df_new = df.sort_values('points', ascending=False).drop_duplicates('team').sort_index()

#view DataFrame
print(df_new)

  team  points
2    A      28
3    B      30
7    C      40

Chaque ligne avec un nom d’équipe en double a été supprimée, mais les lignes avec la valeur maximale des points ont été conservées pour chaque équipe .

Exemple 2 : supprimer les doublons dans plusieurs colonnes et conserver la ligne avec Max

Supposons que nous ayons le DataFrame pandas suivant :

import pandas as pd

#create DataFrame
df = pd.DataFrame({'team': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
                   'position': ['G', 'G', 'F', 'G', 'F', 'F', 'G', 'G', 'F'],
                   'points': [20, 24, 28, 30, 14, 19, 29, 40, 22]})

#view DataFrame
print(df)

  team position  points
0    A        G      20
1    A        G      24
2    A        F      28
3    B        G      30
4    B        F      14
5    B        F      19
6    C        G      29
7    C        G      40
8    C        F      22

Nous pouvons utiliser la syntaxe suivante pour supprimer les lignes avec des noms d’équipe et de poste en double, mais conserver les lignes avec les valeurs maximales pour les points :

#drop rows with duplicate team and positions but keeps row with max points
df_new = df.sort_values('points', ascending=False).drop_duplicates(['team', 'position']).sort_index()

#view DataFrame
print(df_new)

  team position  points
1    A        G      24
2    A        F      28
3    B        G      30
5    B        F      19
7    C        G      40
8    C        F      22

Chaque ligne avec un nom d’équipe et de poste en double a été supprimée, mais les lignes avec la valeur maximale de points ont été conservées pour chaque combinaison d’ équipe et de poste.

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres opérations courantes dans les pandas :

Comment supprimer les lignes en double dans Pandas
Comment supprimer les colonnes en double dans Pandas
Comment compter les doublons chez les pandas