web-dev-qa-db-ja.com

OpenCVを使用して画像の類似性をPython

画像を他の画像のリストと比較して、このリストの画像（Google検索画像など）の選択を最大70％の類似性で返すようにしています。

私はこのコードを this post で取得し、私のコンテキストに合わせて変更します

# Load the images
img =cv2.imread(MEDIA_ROOT + "/uploads/imagerecognize/armchair.jpg")

# Convert them to grayscale
imgg =cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# SURF extraction
surf = cv2.FeatureDetector_create("SURF")
surfDescriptorExtractor = cv2.DescriptorExtractor_create("SURF")
kp = surf.detect(imgg)
kp, descritors = surfDescriptorExtractor.compute(imgg,kp)

# Setting up samples and responses for kNN
samples = np.array(descritors)
responses = np.arange(len(kp),dtype = np.float32)

# kNN training
knn = cv2.KNearest()
knn.train(samples,responses)

modelImages = [MEDIA_ROOT + "/uploads/imagerecognize/1.jpg", MEDIA_ROOT + "/uploads/imagerecognize/2.jpg", MEDIA_ROOT + "/uploads/imagerecognize/3.jpg"]

for modelImage in modelImages:

    # Now loading a template image and searching for similar keypoints
    template = cv2.imread(modelImage)
    templateg= cv2.cvtColor(template,cv2.COLOR_BGR2GRAY)
    keys = surf.detect(templateg)

    keys,desc = surfDescriptorExtractor.compute(templateg, keys)

    for h,des in enumerate(desc):
        des = np.array(des,np.float32).reshape((1,128))

        retval, results, neigh_resp, dists = knn.find_nearest(des,1)
        res,dist =  int(results[0][0]),dists[0][0]


        if dist<0.1: # draw matched keypoints in red color
            color = (0,0,255)

        else:  # draw unmatched in blue color
            #print dist
            color = (255,0,0)

        #Draw matched key points on original image
        x,y = kp[res].pt
        center = (int(x),int(y))
        cv2.circle(img,center,2,color,-1)

        #Draw matched key points on template image
        x,y = keys[h].pt
        center = (int(x),int(y))
        cv2.circle(template,center,2,color,-1)



    cv2.imshow('img',img)
    cv2.imshow('tm',template)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

私の質問は、画像を画像のリストと比較して、類似した画像のみを取得するにはどうすればよいですか？これを行う方法はありますか？

pythonopencvcomputer-vision
34
leeeandroo

画像間のアースムーバーの距離（EMD）を確認することをお勧めします。このメトリックは、正規化されたグレースケール画像を別の画像に変換するのがどれほど難しいかを感じさせますが、カラー画像に対して一般化することができます。この方法の非常に優れた分析は、次の論文に記載されています。

robotics.stanford.edu/~rubner/papers/rubnerIjcv00.pdf

画像全体とヒストグラムの両方で実行できます（これは、画像全体の方法よりも本当に高速です）。画像全体を比較できる方法はわかりませんが、ヒストグラム比較にはcv.CalcEMD2関数を使用できます。

唯一の問題は、この方法では類似性のパーセンテージが定義されず、フィルタリングできる距離が定義されることです。

これが完全に機能するアルゴリズムではないことは知っていますが、それでもまだそのベースであるため、役立つことを願っています。

編集：

これは、EMDが原理的にどのように機能するかの偽装です。主なアイデアは、2つの正規化されたマトリックス（2つのグレースケール画像を合計で割ったもの）を持ち、2番目の画像を取得するために最初の画像から1つのピクセルから別のピクセルにグレーを移動する方法を説明するフラックスマトリックスを定義することです（定義することもできます）正規化されていないもののために、より困難です）。

数学的な用語では、フロー行列は実際には、古い画像の点（i、j）から新しい画像の点（k、l）への流れを与える4次元のテンソルですが、画像を平坦化すると変換できます通常のマトリックスに変換すると、少し読みにくくなります。

このフローマトリックスには3つの制約があります。各項は正である必要があり、各行の合計は宛先ピクセルの同じ値を返し、各列の合計は開始ピクセルの値を返す必要があります。

これを考えると、（i、j）と（k、l）の間の距離について、（i、j）から（k、l）への各フローの積の合計によって与えられる変換のコストを最小限に抑える必要があります。

少し複雑に見えるので、ここにテストコードがあります。ロジックは正しいです、なぜscipyソルバーがそれについて文句を言うのかわかりません（おそらくopenOptまたは類似の何かに見えるはずです）：

#original data, two 2x2 images, normalized
x = Rand(2,2)
x/=sum(x)
y = Rand(2,2)
y/=sum(y)

#initial guess of the flux matrix
# just the product of the image x as row for the image y as column
#This is a working flux, but is not an optimal one
F = (y.flatten()*x.flatten().reshape((y.size,-1))).flatten()

#distance matrix, based on euclidean distance
row_x,col_x = meshgrid(range(x.shape[0]),range(x.shape[1]))
row_y,col_y = meshgrid(range(y.shape[0]),range(y.shape[1]))
rows = ((row_x.flatten().reshape((row_x.size,-1)) - row_y.flatten().reshape((-1,row_x.size)))**2)
cols = ((col_x.flatten().reshape((row_x.size,-1)) - col_y.flatten().reshape((-1,row_x.size)))**2)
D = np.sqrt(rows+cols)

D = D.flatten()
x = x.flatten()
y = y.flatten()
#COST=sum(F*D)

#cost function
fun = lambda F: sum(F*D)
jac = lambda F: D
#array of constraint
#the constraint of sum one is implicit given the later constraints
cons  = []
#each row and columns should sum to the value of the start and destination array
cons += [ {'type': 'eq', 'fun': lambda F:  sum(F.reshape((x.size,y.size))[i,:])-x[i]}     for i in range(x.size) ]
cons += [ {'type': 'eq', 'fun': lambda F:  sum(F.reshape((x.size,y.size))[:,i])-y[i]} for i in range(y.size) ]
#the values of F should be positive
bnds = (0, None)*F.size

from scipy.optimize import minimize
res = minimize(fun=fun, x0=F, method='SLSQP', jac=jac, bounds=bnds, constraints=cons)

変数resには最小化の結果が含まれています...しかし、前述したように、なぜ特異行列について文句を言うのかわかりません。

このアルゴリズムの唯一の問題はそれほど高速ではないため、オンデマンドで実行することはできませんが、データセットの作成に忍耐をもって実行し、結果のどこかに保存する必要があります

25
EnricoGiampieri

「コンテンツベースの画像検索」またはCBIRと呼ばれる大きな問題に着手しています。それは大規模でアクティブな分野です。完成したアルゴリズムや標準的なアプローチはまだありませんが、成功のレベルはさまざまですが、多くのテクニックがあります。

Googleの画像検索でもこれは（まだ）行われません。たとえば、テキストベースの画像検索が行われます。たとえば、検索したテキストのようなページ内のテキストを検索します。 （そして、彼らはCBIRの使用に取り組んでいると確信しています。それは多くの画像処理研究者にとっての聖杯です）

期限が厳しい場合、またはこれを完了してすぐに機能させる必要がある場合...

これはトピックに関する大量の論文です：

http://scholar.google.com/scholar?q=content+based+image+retrieval

通常、いくつかのことを行う必要があります。

  1. 特徴を抽出します（ローカルな関心点、グローバル、または何らかの形でSIFT、SURF、ヒストグラムなど）。
  2. クラスタリング/画像分布のモデルを構築する

これには 機能記述子 、 画像の要点 、 複数インスタンスの学習 が関係する可能性があります。等.

11
Pete

おそらく2年前にPython/Cythonを使用して、非常によく似たプログラムを作成しました。その後、パフォーマンスを向上させるためにGoに書き直しました。基本的なアイデアは findimagedupes IIRCから来ています。

基本的には、各画像の「指紋」を計算し、これらの指紋を比較して類似の画像と一致させます。

フィンガープリントは、画像のサイズを160x160に変更し、グレースケールに変換し、ぼかしを追加し、正規化して、16x16モノクロにサイズ変更することで生成されます。最後に、256ビットの出力があります。それが指紋です。これは convert を使用して非常に簡単に実行できます。

convert path[0] -sample 160x160! -modulate 100,0 -blur 3x99 \
    -normalize -equalize -sample 16x16 -threshold 50% -monochrome mono:-

（[0]path[0]は、アニメーションGIFの最初のフレームのみを抽出するために使用されます。このような画像に興味がない場合は、削除してください）。

これを2つの画像に適用すると、2つの（256ビット）フィンガープリント、fp1およびfp2。

次に、これら2つの画像の類似性スコアは、これら2つの値のXORと1に設定されたビットのカウントによって計算されます。このビットカウントを行うには、 this answer からbitsoncount()関数を使用できます。

# fp1 and fp2 are stored as lists of 8 (32-bit) integers
score = 0
for n in range(8):
    score += bitsoncount(fp1[n] ^ fp2[n])

scoreは0〜256の数値で、画像の類似度を示します。私のアプリケーションでは、2.56で除算し（0から100に正規化）、正規化されたスコアが20以下の画像は、多くの場合同一であることを発見しました。

この方法を実装して多くの画像を比較するために使用したい場合、私はstronglyできるだけCython（またはプレーンC）を使用することをお勧めします：純粋なPython整数を使用すると、XORとビットカウントが非常に遅くなります。

本当に申し訳ありませんが、Pythonコードはもう見つかりません。現在、Goバージョンしかありませんが、ここに投稿することはできません（完全に他のいくつかのコード、そしてGoでの最初の本格的なプログラムだったので、おそらく少し醜いです...）。

GQView/Geeqieには、非常に優れた「類似性検索」機能もあります。そのソースは here です。

10
Schnouki

PythonでEarth Moverの距離（別名Wasserstein Distance）をより簡単に実装するには、Scipyを使用できます。

from scipy.stats import wasserstein_distance
from scipy.ndimage import imread
import numpy as np

def get_histogram(img):
  '''
  Get the histogram of an image. For an 8-bit, grayscale image, the
  histogram will be a 256 unit vector in which the nth value indicates
  the percent of the pixels in the image with the given darkness level.
  The histogram's values sum to 1.
  '''
  h, w = img.shape
  hist = [0.0] * 256
  for i in range(h):
    for j in range(w):
      hist[img[i, j]] += 1
  return np.array(hist) / (h * w)

a = imread('a.jpg')
b = imread('b.jpg')
a_hist = get_histogram(a)
b_hist = get_histogram(b)
dist = wasserstein_distance(a_hist, b_hist)
print(dist)
2
duhaime