反結合Pandas
2つのテーブルがあり、テーブルAのすべてのデータのみが保持され、テーブルBのデータがそのキーが一意である場合にのみ追加されるように追加します（キー値はテーブルAとBで一意ですが、場合によってはキーは、テーブルAとBの両方で発生します。
これを行う方法は、テーブルAで発生しない値をテーブルBで取得し、2つのテーブルを追加するために、ある種のフィルタリング結合（アンチジョイン）を必要とすると思います。
私はRに精通しており、これはRでこれを行うために使用するコードです。
library("dplyr")
## Filtering join to remove values already in "TableA" from "TableB"
FilteredTableB <- anti_join(TableB,TableA, by = "Key")
## Append "FilteredTableB" to "TableA"
CombinedTable <- bind_rows(TableA,FilteredTableB)
Pythonでこれをどのように達成しますか？
次のデータフレームを考慮してください
TableA = pd.DataFrame(np.random.Rand(4, 3),
pd.Index(list('abcd'), name='Key'),
['A', 'B', 'C']).reset_index()
TableB = pd.DataFrame(np.random.Rand(4, 3),
pd.Index(list('aecf'), name='Key'),
['A', 'B', 'C']).reset_index()
TableA
TableB
これはあなたがやりたいことをする一つの方法です
方法1
# Identify what values are in TableB and not in TableA
key_diff = set(TableB.Key).difference(TableA.Key)
where_diff = TableB.Key.isin(key_diff)
# Slice TableB accordingly and append to TableA
TableA.append(TableB[where_diff], ignore_index=True)
方法2
rows = []
for i, row in TableB.iterrows():
if row.Key not in TableA.Key.values:
rows.append(row)
pd.concat([TableA.T] + rows, axis=1).T
タイミング
2つのオーバーラップがある4行
方法1ははるかに高速です
10,000行5,000オーバーラップ
ループが悪い
同じ問題がありました。 この回答how='outer'とindicator=Trueを使用して マージ に触発され、このソリューションを思い付きました：
import pandas as pd
import numpy as np
TableA = pd.DataFrame(np.random.Rand(4, 3),
pd.Index(list('abcd'), name='Key'),
['A', 'B', 'C']).reset_index()
TableB = pd.DataFrame(np.random.Rand(4, 3),
pd.Index(list('aecf'), name='Key'),
['A', 'B', 'C']).reset_index()
print('TableA', TableA, sep='\n')
print('TableB', TableB, sep='\n')
TableB_only = pd.merge(
TableA, TableB,
how='outer', on='Key', indicator=True, suffixes=('_foo','')).query(
'_merge == "right_only"')
print('TableB_only', TableB_only, sep='\n')
Table_concatenated = pd.concat((TableA, TableB_only), join='inner')
print('Table_concatenated', Table_concatenated, sep='\n')
この出力を印刷するもの：
TableA
Key A B C
0 a 0.035548 0.344711 0.860918
1 b 0.640194 0.212250 0.277359
2 c 0.592234 0.113492 0.037444
3 d 0.112271 0.205245 0.227157
TableB
Key A B C
0 a 0.754538 0.692902 0.537704
1 e 0.499092 0.864145 0.004559
2 c 0.082087 0.682573 0.421654
3 f 0.768914 0.281617 0.924693
TableB_only
Key A_foo B_foo C_foo A B C _merge
4 e NaN NaN NaN 0.499092 0.864145 0.004559 right_only
5 f NaN NaN NaN 0.768914 0.281617 0.924693 right_only
Table_concatenated
Key A B C
0 a 0.035548 0.344711 0.860918
1 b 0.640194 0.212250 0.277359
2 c 0.592234 0.113492 0.037444
3 d 0.112271 0.205245 0.227157
4 e 0.499092 0.864145 0.004559
5 f 0.768914 0.281617 0.924693
mergeコマンドのindicator = Trueは、次の3つの値を使用して新しい列_mergeを作成することにより、適用された結合を示します。
left_onlyright_onlyboth
right_onlyを取得して、最初のテーブルに追加する必要があります。それだ。
また、_merge列を使用した後に削除することを忘れないでください。
outer_join = TableA.merge(TableB, how = 'outer', indicator = True)
anti_join_B_only = outer_join[outer_join._merge == 'right_only']
anti_join_B_only = anti_join_B_only.drop('_merge', axis = 1)
combined_table = TableA.merge(anti_join_B_only, how = 'outer')
簡単！
想像できる最も簡単な答え：
tableB = pd.concat([tableB, pd.Series(1)], axis=1)
mergedTable = tableA.merge(tableB, how="left" on="key")
answer = mergedTable[mergedTable.iloc[:,-1].isnull()][tableA.columns.tolist()]
同様に最速で提案されるべきです。
両方のテーブルTableAとTableBがあり、両方のDataFrameオブジェクトにはそれぞれのテーブルに一意の値を持つ列がありますが、一部の列には同時に発生する値がある場合があります（同じ値を持つ）両方のテーブルで）。
次に、TableAの行をTableBの行と、 'Key'列のTableAのいずれにも一致しない行とマージします。概念は、可変長の2つのシリーズを比較し、sAの値がsBの値と一致しない場合、1つのシリーズの行をsBと他のsAと結合することである。次のコードはこの演習を解決します。
_import pandas as pd
TableA = pd.DataFrame([[2, 3, 4], [5, 6, 7], [8, 9, 10]])
TableB = pd.DataFrame([[1, 3, 4], [5, 7, 8], [9, 10, 0]])
removeTheseIndexes = []
keyColumnA = TableA.iloc[:,1] # your 'Key' column here
keyColumnB = TableB.iloc[:,1] # same
for i in range(0, len(keyColumnA)):
firstValue = keyColumnA[i]
for j in range(0, len(keyColumnB)):
copycat = keyColumnB[j]
if firstValue == copycat:
removeTheseIndexes.append(j)
TableB.drop(removeTheseIndexes, inplace = True)
TableA = TableA.append(TableB)
TableA = TableA.reset_index(drop=True)
_これはTableBのデータにも影響することに注意してください。 _inplace=False_を使用して、newTableに再割り当てしてから、代わりにTableA.append(newTable)に割り当てることができます。
_# Table A
0 1 2
0 2 3 4
1 5 6 7
2 8 9 10
# Table B
0 1 2
0 1 3 4
1 5 7 8
2 9 10 0
# Set 'Key' column = 1
# Run the script after the loop
# Table A
0 1 2
0 2 3 4
1 5 6 7
2 8 9 10
3 5 7 8
4 9 10 0
# Table B
0 1 2
1 5 7 8
2 9 10 0
_他の提案の1つに基づいて、これを実行する必要がある関数を次に示します。 pandas関数のみ、ループなしを使用します。複数の列をキーとして使用することもできます。行output = merged.loc[merged.dummy_col.isna(),tableA.columns.tolist()]をoutput = merged.loc[~merged.dummy_col.isna(),tableA.columns.tolist()]に変更すると、 semi_join。
def anti_join(tableA,tableB,on):
#if joining on index, make it into a column
if tableB.index.name is not None:
dummy = tableB.reset_index()[on]
else:
dummy = tableB[on]
#create a dummy columns of 1s
if isinstance(dummy, pd.Series):
dummy = dummy.to_frame()
dummy.loc[:,'dummy_col'] = 1
#preserve the index of tableA if it has one
if tableA.index.name is not None:
idx_name = tableA.index.name
tableA = tableA.reset_index(drop = False)
else:
idx_name = None
#do a left-join
merged = tableA.merge(dummy,on=on,how='left')
#keep only the non-matches
output = merged.loc[merged.dummy_col.isna(),tableA.columns.tolist()]
#reset the index (if applicable)
if idx_name is not None:
output = output.set_index(idx_name)
return(output)