web-dev-qa-db-ja.com

Pythonあいまい一致（FuzzyWuzzy）-ベストマッチのみを保持

それぞれが1列の名前を含む2つのcsvファイルをあいまい一致させようとしています。これらのファイルは類似していますが、同じではありません。

これまでの私のコードは次のとおりです。

import pandas as pd
from pandas import DataFrame
from fuzzywuzzy import process
import csv

save_file = open('fuzzy_match_results.csv', 'w')
writer = csv.writer(save_file, lineterminator = '\n')

def parse_csv(path):

with open(path,'r') as f:
    reader = csv.reader(f, delimiter=',')
    for row in reader:
        yield row


if __name__ == "__main__":
## Create lookup dictionary by parsing the products csv
data = {}
for row in parse_csv('names_1.csv'):
    data[row[0]] = row[0]

## For each row in the lookup compute the partial ratio
for row in parse_csv("names_2.csv"):
    #print(process.extract(row,data, limit = 100))
    for found, score, matchrow in process.extract(row, data, limit=100):
        if score >= 60:
            print('%d%% partial match: "%s" with "%s" ' % (score, row, found))
            Digi_Results = [row, score, found]
            writer.writerow(Digi_Results)


save_file.close()

出力は次のとおりです。

Name11 , 90 , Name25 
Name11 , 85 , Name24 
Name11 , 65 , Name29

スクリプトは正常に機能します。出力は期待どおりです。しかし、私が探しているのはベストマッチだけです。

Name11 , 90 , Name25
Name12 , 95 , Name21
Name13 , 98 , Name22

したがって、列2の最大値に基づいて、重複した名前を列1に削除する必要があります。これはかなり簡単なはずですが、理解できないようです。どんな助けでもいただければ幸いです。

pythonstring-matchingfuzzy-searchfuzzywuzzy
7
Kvothe

fuzzywuzzyのprocess.extract()は、逆にソートされた順序でリストを返し、最も一致するものが最初に来ます。

したがって、最適な一致を見つけるには、limit引数を1に設定して、最適な一致のみを返すようにします。それが60より大きい場合は、同じようにcsvに書き込むことができます。今。

例-

from fuzzywuzzy import process
## For each row in the lookup compute the partial ratio
for row in parse_csv("names_2.csv"):

    for found, score, matchrow in process.extract(row, data, limit=1):
        if score >= 60:
            print('%d%% partial match: "%s" with "%s" ' % (score, row, found))
            Digi_Results = [row, score, found]
            writer.writerow(Digi_Results)
8
Anand S Kumar

私は自分のために同じことを書いたが、パンダで…。

import pandas as pd
import numpy as np
from fuzzywuzzy import fuzz
from fuzzywuzzy import process

d1={1:'Tim','2':'Ted',3:'Sally',4:'Dick',5:'Ethel'}
d2={1:'Tam','2':'Tid',3:'Sally',4:'Dicky',5:'Aardvark'}

df1=pd.DataFrame.from_dict(d1,orient='index')
df2=pd.DataFrame.from_dict(d2,orient='index')

df1.columns=['Name']
df2.columns=['Name']

def match(Col1,Col2):
    overall=[]
    for n in Col1:
        result=[(fuzz.partial_ratio(n, n2),n2) 
                for n2 in Col2 if fuzz.partial_ratio(n, n2)>50
               ]
        if len(result):
            result.sort()    
            print('result {}'.format(result))
            print("Best M={}".format(result[-1][1]))
            overall.append(result[-1][1])
        else:
            overall.append(" ")
    return overall

print(match(df1.Name,df2.Name))

これで50のしきい値を使用しましたが、構成可能です。

Dataframe1は次のようになります

    Name
1   Tim
2   Ted
3   Sally
4   Dick
5   Ethel

そしてDataframe2は次のようになります

Name
1   Tam
2   Tid
3   Sally
4   Dicky
5   Aardvark

したがって、それを実行すると、の一致が生成されます

['Tid', 'Tid', 'Sally', 'Dicky', ' ']

お役に立てれば。

5
Tim Seed

FuzzyWuzzyのprocess.extractOne()を使用すると、コードのいくつかの部分を大幅に簡略化できます。上位の一致を返すだけでなく、関数呼び出し内でスコアのしきい値を設定できます。たとえば、次のような個別の論理ステップを実行する必要はありません。

process.extractOne(row, data, score_cutoff = 60)

この関数は、条件を満たす一致が見つかった場合、最高の一致のタプルとそれに付随するスコアを返します。それ以外の場合はNoneを返します。

4
Michael Ohlrogge