Comment effectuer une correspondance floue dans Pandas (avec exemple)

Souvent, vous souhaiterez peut-être réunir deux ensembles de données dans pandas sur la base de chaînes imparfaitement correspondantes. C’est ce qu’on appelle la correspondance floue .

Le moyen le plus simple d’effectuer une correspondance floue dans les pandas est d’utiliser la fonction get_close_matches() du package difflib .

L’exemple suivant montre comment utiliser cette fonction dans la pratique.

Exemple : correspondance floue chez les pandas

Supposons que nous ayons les deux DataFrames pandas suivants qui contiennent des informations sur diverses équipes de basket-ball :

import pandas as pd

#create two DataFrames
df1 = pd.DataFrame({'team': ['Mavericks', 'Nets', 'Warriors', 'Heat', 'Lakers'],
                    'points': [99, 90, 104, 117, 100]})

df2 = pd.DataFrame({'team': ['Mavricks', 'Warrors', 'Heat', 'Netts', 'Lakes'],
                    'assists': [22, 29, 17, 40, 32]})

#view DataFrames
print(df1)

        team  points
0  Mavericks      99
1       Nets      90
2   Warriors     104
3       Heat     117
4     Lakers     100

print(df2)

       team  assists
0  Mavricks       22
1   Warrors       29
2      Heat       17
3     Netts       40
4     Lakes       32

Supposons maintenant que nous souhaitions fusionner les deux DataFrames en fonction de la colonne d’équipe .

Étant donné que les noms d’équipe sont légèrement différents entre les deux DataFrames, nous devons utiliser la correspondance floue pour trouver les noms d’équipe qui correspondent le plus.

Nous pouvons utiliser la fonction get_close_matches() du package difflib pour ce faire :

import difflib 

#create duplicate column to retain team name from df2
df2['team_match'] = df2['team']

#convert team name in df2 to team name it most closely matches in df1
df2['team'] = df2['team'].apply(lambda x: difflib.get_close_matches(x, df1['team'])[0])

#merge the DataFrames into one
df3 = df1.merge(df2)

#view final DataFrame
print(df3)

        team  points  assists team_match
0  Mavericks      99       22   Mavricks
1       Nets      90       40      Netts
2   Warriors     104       29    Warrors
3       Heat     117       17       Heat
4     Lakers     100       32      Lakes

Le résultat est un bloc de données contenant chacun des cinq noms d’équipe du premier DataFrame ainsi que l’équipe qui correspond le plus au deuxième DataFrame.

La colonne team_match affiche le nom de l’équipe du deuxième DataFrame qui correspond le plus au nom de l’équipe du premier DataFrame.

Note n°1 : Par défaut, get_close_matches() renvoie les trois correspondances les plus proches. Cependant, en utilisant le [0] à la fin de la fonction lambda, nous n’avons pu renvoyer que la correspondance de nom d’équipe la plus proche.

Remarque n°2 : Vous pouvez trouver la documentation complète de la fonction get_close_matches() ici .

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres tâches courantes dans les pandas :

Comment fusionner des DataFrames Pandas sur plusieurs colonnes
Comment fusionner deux DataFrames Pandas sur l’index
Pandas Rejoindre ou Fusionner : Quelle est la différence ?