Pandas でファジーマッチングを実行する方法 (例付き)
多くの場合、不完全に一致する文字列に基づいて 2 つのデータセットを pandas で結合したい場合があります。これはファジーマッチングと呼ばれます。
pandas であいまい一致を実行する最も簡単な方法は、 difflibパッケージのget_close_matches()関数を使用することです。
次の例は、この関数を実際に使用する方法を示しています。
例: pandas におけるファジー対応
さまざまなバスケットボール チームに関する情報を含む、次の 2 つのパンダ データフレームがあるとします。
import pandas as pd
#create two DataFrames
df1 = pd. DataFrame ({' team ': ['Mavericks', 'Nets', 'Warriors', 'Heat', 'Lakers'],
' points ': [99, 90, 104, 117, 100]})
df2 = pd. DataFrame ({' team ': ['Mavricks', 'Warrors', 'Heat', 'Netts', 'Lakes'],
' assists ': [22, 29, 17, 40, 32]})
#view DataFrames
print (df1)
team points
0 Mavericks 99
1 Nets 90
2 Warriors 104
3 Heat 117
4 Lakers 100
print (df2)
team assists
0 Mavricks 22
1 Warriors 29
2 Heat 17
3 Netts 40
4 Lakes 32
次に、 Team列に基づいて 2 つの DataFrame をマージするとします。
2 つのデータフレーム間でチーム名がわずかに異なるため、ファジー マッチングを使用して、最も一致するチーム名を見つける必要があります。
これを行うには、 difflibパッケージのget_close_matches()関数を使用できます。
import difflib
#create duplicate column to retain team name from df2
df2[' team_match '] = df2[' team ']
#convert team name in df2 to team name it most closely matches in df1
df2[' team '] = df2[' team ']. apply (lambda x: difflib. get_close_matches (x, df1[' team '])[ 0 ])
#merge the DataFrames into one
df3 = df1. merge (df2)
#view final DataFrame
print (df3)
team points assists team_match
0 Mavericks 99 22 Mavricks
1 Nets 90 40 Nets
2 Warriors 104 29 Warriors
3 Heat 117 17 Heat
4 Lakers 100 32 Lakes
結果は、最初のデータフレームの 5 つのチーム名それぞれと、2 番目のデータフレームに最もよく一致するチームを含むデータ フレームになります。
「team_match」列には、最初のデータフレームのチーム名に最もよく一致する 2 番目のデータフレームのチーム名が表示されます。
注 #1 : デフォルトでは、 get_close_matches() は最も近い 3 つの一致を返します。ただし、ラムダ関数の最後に[0]を使用すると、最も近いチーム名一致のみを返すことができました。
注 #2: get_close_matches()関数の完全なドキュメントは、ここで見つけることができます。
追加リソース
次のチュートリアルでは、パンダで他の一般的なタスクを実行する方法を説明します。
複数の列にまたがる Pandas DataFrame をマージする方法
インデックス上の 2 つの Pandas DataFrame をマージする方法
パンダの結合またはマージ: 違いは何ですか?