web-dev-qa-db-ja.com

2つのCSVファイルを比較し、類似のアイテムを検索します

それで、2つのCSVファイルを比較して、類似したアイテムの結果を取得しようとしています。最初のファイルhosts.csvを以下に示します。

Path    Filename    Size    Signature
C:\     a.txt       14kb    012345
D:\     b.txt       99kb    678910
C:\     c.txt       44kb    111213

2番目のファイルmasterlist.csvを以下に示します。

Filename    Signature
b.txt       678910
x.txt       111213
b.txt       777777
c.txt       999999

ご覧のとおり、行が一致せず、masterlist.csvは常にhosts.csvファイルよりも大きくなっています。検索したいのは署名の部分だけです。私はこれが次のようなものになることを知っています：

hosts[3] == masterlist[1]

次のような解決策を探しています（基本的に、新しいRESULTS列を含むhosts.csvファイル）。

Path    Filename    Size    Signature    RESULTS
C:\     a.txt       14kb    012345       NOT FOUND in masterlist
D:\     b.txt       99kb    678910       FOUND in masterlist (row 1)
C:\     c.txt       44kb    111213       FOUND in masterlist (row 2)

私は投稿を検索し、これに似たものを見つけました here ですが、まだpythonを学習しているので、よくわかりません。

Edit使用Python 2.6

pythoncsvcompare
14
serk

編集：私のソリューションは正しく動作しますが、より効率的なソリューションについては、以下のMartijnの回答を確認してください。

python CSVモジュール ここ のドキュメントを見つけることができます。

あなたが探しているのは次のようなものです：

import csv

f1 = file('hosts.csv', 'r')
f2 = file('masterlist.csv', 'r')
f3 = file('results.csv', 'w')

c1 = csv.reader(f1)
c2 = csv.reader(f2)
c3 = csv.writer(f3)

masterlist = list(c2)

for hosts_row in c1:
    row = 1
    found = False
    for master_row in masterlist:
        results_row = hosts_row
        if hosts_row[3] == master_row[1]:
            results_row.append('FOUND in master list (row ' + str(row) + ')')
            found = True
            break
        row = row + 1
    if not found:
        results_row.append('NOT FOUND in master list')
    c3.writerow(results_row)

f1.close()
f2.close()
f3.close()
11
srgerg

Srgergによる答えは2次時間で動作するため、非常に非効率的です。代わりにPython 2.6互換の構文を使用した線形時間解を次に示します。

_import csv

with open('masterlist.csv', 'rb') as master:
    master_indices = dict((r[1], i) for i, r in enumerate(csv.reader(master)))

with open('hosts.csv', 'rb') as hosts:
    with open('results.csv', 'wb') as results:    
        reader = csv.reader(hosts)
        writer = csv.writer(results)

        writer.writerow(next(reader, []) + ['RESULTS'])

        for row in reader:
            index = master_indices.get(row[3])
            if index is not None:
                message = 'FOUND in master list (row {})'.format(index)
            else:
                message = 'NOT FOUND in master list'
            writer.writerow(row + [message])
_

これにより、最初に_masterlist.csv_から行番号に署名をマッピングする辞書が作成されます。辞書の検索には一定の時間がかかり、_hosts.csv_の2番目のループは_masterlist.csv_の行数に依存しません。もっと簡単なコードは言うまでもありません。

Python 3を使用している場合は、上記のopen()呼び出しをテキストモードで開くように調整する必要があります（ファイルモードからbを削除） 、および_new line=''_を追加して、CSVリーダーが行区切り記号を制御できるようにします。システムのデフォルトに依存するのではなく、明示的に使用するようにエンコードを指定することができます（_encoding=..._を使用）。_master_indices_マッピングは、辞書内包（{r[1]: i for i, r in enumerate(csv.reader(master))}）を使用して構築できます。

21
Martijn Pieters

Pythonの [〜＃〜] csv [〜＃〜] とコレクションモジュール、特に OrderedDict は、ここで非常に役立ちます。 OrderedDictを使用して、キーの順序などを保持したいのですが、そうする必要はありませんが、便利です。

import csv
from collections import OrderedDict


signature_row_map = OrderedDict()


with open('hosts.csv') as file_object:
    for line in csv.DictReader(file_object, delimiter='\t'):
        signature_row_map[line['Signature']] = {'line': line, 'found_at': None}


with open('masterlist.csv') as file_object:
    for i, line in enumerate(csv.DictReader(file_object, delimiter='\t'), 1):
        if line['Signature'] in signature_row_map:
            signature_row_map[line['Signature']]['found_at'] = i


with open('newhosts.csv', 'w') as file_object:
    fieldnames = ['Path', 'Filename', 'Size', 'Signature', 'RESULTS']
    writer = csv.DictWriter(file_object, fieldnames, delimiter='\t')
    writer.writer.writerow(fieldnames)
    for signature_info in signature_row_map.itervalues():
        result = '{0} FOUND in masterlist {1}'
        # explicit check for sentinel
        if signature_info['found_at'] is not None:
            result = result.format('', '(row %s)' % signature_info['found_at'])
        else:
            result = result.format('NOT', '')
        payload = signature_info['line']
        payload['RESULTS'] = result

        writer.writerow(payload)

テストCSVファイルを使用した出力は次のとおりです。

Path    Filename        Size    Signature       RESULTS
C:\     a.txt   14kb    012345  NOT FOUND in masterlist 
D:\     b.txt   99kb    678910   FOUND in masterlist (row 1)
C:\     c.txt   44kb    111213   FOUND in masterlist (row 2)

ミスアライメントを許してください、それらはタブで区切られています:)

4
Mahmoud Abdelkader

csvモジュールは、csvファイルの解析に役立ちます。しかし、面白くするために、私はデータを取得するために空白の入力を単に分割しています。

データを解析するだけで、masterlist.csvのデータに対してdictを作成します。署名はキーとして、行番号は値として使用します。これで、hosts.csvの各行について、dictをクエリして、masterlist.csvに対応するエントリが存在するかどうか、存在する場合はその行を確認できます。

#! /usr/bin/env python

def read_data(filename):
        input_source=open(filename,'r')
        input_source.readline()
        return [line.split() for line in input_source]

if __name__=='__main__':
        hosts=read_data('hosts.csv')
        masterlist=read_data('masterlist.csv')
        master=dict()
        for index,data in enumerate(masterlist):
                master[data[-1]]=index+1
        for row in hosts:
                try:
                        found="FOUND in masterlist (row %s)"%master[row[-1]]
                except KeyError:
                        found="NOT FOUND in masterlist"
                line=row+[found]
                print "%s    %s    %s    %s    %s"%Tuple(line)
0
MAK