Pandas : obtenez des lignes qui ne se trouvent pas dans un autre DataFrame

Vous pouvez utiliser la syntaxe de base suivante pour obtenir les lignes d’un DataFrame pandas qui ne se trouvent pas dans un autre DataFrame :

#merge two DataFrames and create indicator column
df_all = df1.merge(df2.drop_duplicates(), on=['col1','col2'],
                   how='left', indicator=True)

#create DataFrame with rows that exist in first DataFrame only
df1_only = df_all[df_all['_merge'] == 'left_only']

L’exemple suivant montre comment utiliser cette syntaxe dans la pratique.

Exemple : obtenir des lignes dans un DataFrame Pandas qui ne se trouvent pas dans un autre DataFrame

Supposons que nous ayons les deux DataFrames pandas suivants :

import pandas as pd

#create first DataFrame
df1 = pd.DataFrame({'team' : ['A', 'B', 'C', 'D', 'E'], 
                    'points' : [12, 15, 22, 29, 24]}) 

print(df1)

  team  points
0    A      12
1    B      15
2    C      22
3    D      29
4    E      24

#create second DataFrame
df2 = pd.DataFrame({'team' : ['A', 'D', 'F', 'G', 'H'],
                    'points' : [12, 29, 15, 19, 10]})

print(df2)

  team  points
0    A      12
1    D      29
2    F      15
3    G      19
4    H      10

Nous pouvons utiliser la syntaxe suivante pour fusionner les deux DataFrames et créer une colonne d’indicateur pour indiquer quelles lignes appartiennent à chaque DataFrame :

#merge two DataFrames and create indicator column
df_all = df1.merge(df2.drop_duplicates(), on=['team','points'],
                   how='left', indicator=True)

#view result
print(df_all)

Nous pouvons ensuite utiliser la syntaxe suivante pour obtenir uniquement les lignes du premier DataFrame qui ne sont pas dans le deuxième DataFrame :

#create DataFrame with rows that exist in first DataFrame only
df1_only = df_all[df_all['_merge'] == 'left_only']

#view DataFrame
print(df1_only)

  team  points     _merge
1    B      15  left_only
2    C      22  left_only
4    E      24  left_only

Enfin, nous pouvons supprimer la colonne _merge si nous le souhaitons :

#drop '_merge' column
df1_only = df1_only.drop('_merge', axis=1)

#view DataFrame
print(df1_only)

  team  points
1    B      15
2    C      22
4    E      24

Le résultat est un DataFrame dans lequel toutes les lignes existent dans le premier DataFrame mais pas dans le second DataFrame.

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres tâches courantes dans les pandas :

Comment ajouter une colonne d’un DataFrame à un autre dans Pandas
Comment changer l’ordre des colonnes dans Pandas
Comment trier les colonnes par nom dans Pandas