web-dev-qa-db-ja.com

opencvで行を検出する方法は？

以下に示すように駐車場の列を検出しようとしています

Empty parking lot

明確な線と交差した線の（x、y）位置を取得したいのですが、結果はあまり期待できません

Parking lot with Hough Lines drawn

私はそれが2つの主な理由によると思います

  1. いくつかの線は非常に壊れているか欠けています。人間の目でもはっきりと識別できます。 （HoughLineが不要なラインを接続することがあるため、HoughLineでも欠落しているラインを接続することができます。

  2. いくつかの繰り返し線があります

作業の一般的なパイプラインは以下のとおりです

1.特定の色（白または黄色）を選択します

import cv2
import numpy as np
import matplotlib
from matplotlib.pyplot import imshow
from matplotlib import pyplot as plt

# white color mask
img = cv2.imread(filein)
#converted = convert_hls(img)
image = cv2.cvtColor(img,cv2.COLOR_BGR2HLS)
lower = np.uint8([0, 200, 0])
upper = np.uint8([255, 255, 255])
white_mask = cv2.inRange(image, lower, upper)
# yellow color mask
lower = np.uint8([10, 0,   100])
upper = np.uint8([40, 255, 255])
yellow_mask = cv2.inRange(image, lower, upper)
# combine the mask
mask = cv2.bitwise_or(white_mask, yellow_mask)
result = img.copy()
cv2.imshow("mask",mask)

Binary image

2.画像​​を変更できなくなるまで、膨張と収縮を繰り返します（ reference ）

height,width = mask.shape
skel = np.zeros([height,width],dtype=np.uint8)      #[height,width,3]
kernel = cv2.getStructuringElement(cv2.MORPH_CROSS, (3,3))
temp_nonzero = np.count_nonzero(mask)
while(np.count_nonzero(mask) != 0 ):
    eroded = cv2.erode(mask,kernel)
    cv2.imshow("eroded",eroded)   
    temp = cv2.dilate(eroded,kernel)
    cv2.imshow("dilate",temp)
    temp = cv2.subtract(mask,temp)
    skel = cv2.bitwise_or(skel,temp)
    mask = eroded.copy()

cv2.imshow("skel",skel)
#cv2.waitKey(0)

After the erosion and dialation

3.キャニーを適用してラインをフィルタリングし、HoughLinesPを使用してラインを取得します

edges = cv2.Canny(skel, 50, 150)
cv2.imshow("edges",edges)
lines = cv2.HoughLinesP(edges,1,np.pi/180,40,minLineLength=30,maxLineGap=30)
i = 0
for x1,y1,x2,y2 in lines[0]:
    i+=1
    cv2.line(result,(x1,y1),(x2,y2),(255,0,0),1)
print i

cv2.imshow("res",result)
cv2.waitKey(0)

After Canny

特定の色を選択する最初のステップの後、線は壊れてノイズがありますが、このステップでは、壊れた線を完全でノイズの少ない線にするために何かをしてから、何かを適用しようとすると思うでしょうキャニーとハフのライン、アイデアはありますか？

pythonopencvimage-processing
25
user824624

ここに私のパイプラインがあります。多分それはあなたにいくつかの助けを与えることができます。

まず、グレー画像を取得し、GaussianBlurを処理します。

img = cv2.imread('src.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

kernel_size = 5
blur_gray = cv2.GaussianBlur(gray,(kernel_size, kernel_size),0)

次に、プロセスエッジ検出はCannyを使用します

low_threshold = 50
high_threshold = 150
edges = cv2.Canny(blur_gray, low_threshold, high_threshold)

次に、HoughLinesPを使用してラインを取得します。パフォーマンスを向上させるためにパラメーターを調整できます。

rho = 1  # distance resolution in pixels of the Hough grid
theta = np.pi / 180  # angular resolution in radians of the Hough grid
threshold = 15  # minimum number of votes (intersections in Hough grid cell)
min_line_length = 50  # minimum number of pixels making up a line
max_line_gap = 20  # maximum gap in pixels between connectable line segments
line_image = np.copy(img) * 0  # creating a blank to draw lines on

# Run Hough on Edge detected image
# Output "lines" is an array containing endpoints of detected line segments
lines = cv2.HoughLinesP(edges, rho, theta, threshold, np.array([]),
                    min_line_length, max_line_gap)

for line in lines:
    for x1,y1,x2,y2 in line:
    cv2.line(line_image,(x1,y1),(x2,y2),(255,0,0),5)

最後に、srcImageに線を引きます。

# Draw the lines on the  image
lines_edges = cv2.addWeighted(img, 0.8, line_image, 1, 0)

これが私の最終パフォーマンスです。

最終画像：

enter image description here

23
veraposeidon

あなたの投稿に疑問はないので、私はあなたが正確に何を求めているのか分かりません。

線分を検出するためのナイスで堅牢な手法の1つは、openCV 3以降のopenCVで使用可能なLSD（線分検出器）です。

簡単なpythonに簡単に変換できる基本的なC++コードを次に示します。

int main(int argc, char* argv[])
{
    cv::Mat input = cv::imread("C:/StackOverflow/Input/parking.png");
    cv::Mat gray;
    cv::cvtColor(input, gray, CV_BGR2GRAY);


    cv::Ptr<cv::LineSegmentDetector> det;
    det = cv::createLineSegmentDetector();



    cv::Mat lines;
    det->detect(gray, lines);

    det->drawSegments(input, lines);

    cv::imshow("input", input);
    cv::waitKey(0);
    return 0;
}

この結果を与える：

enter image description here

あなたの画像よりもさらに処理する方が良いようです（行の複製などはありません）

14
Micka

ここにあなたの質問の最初の部分に対するいくつかの素晴らしい答えがありますが、2番目の部分（線の交差点を見つける）に関しては、私はあまり見ていません。

Bentley-Ottmann アルゴリズムをご覧になることをお勧めします。

アルゴリズムのpython実装がいくつかあります here および here 。

編集：VeraPoseidonのHoughlines実装と、ここにリンクされている2番目のライブラリを使用して、交差検出で次の結果を得ることができました。 Veraとライブラリ作成者の優れた業績に感謝します。緑の四角は、検出された交差点を表します。いくつかのエラーがありますが、これは私にとって本当に良い出発点のようです。実際に交差点を検出したい場所のほとんどに複数の交差点が検出されているように見えるため、複数の交差点を探して、そのウィンドウがアクティブになったものとして真の交差点と見なされる画像上で適切なサイズのウィンドウを実行する可能性があります。

Bentley-Ottmann applied to Houghlines

その結果を生成するために使用したコードは次のとおりです。

import cv2
import numpy as np
import isect_segments_bentley_ottmann.poly_point_isect as bot


img = cv2.imread('parking.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

kernel_size = 5
blur_gray = cv2.GaussianBlur(gray,(kernel_size, kernel_size),0)

low_threshold = 50
high_threshold = 150
edges = cv2.Canny(blur_gray, low_threshold, high_threshold)

rho = 1  # distance resolution in pixels of the Hough grid
theta = np.pi / 180  # angular resolution in radians of the Hough grid
threshold = 15  # minimum number of votes (intersections in Hough grid cell)
min_line_length = 50  # minimum number of pixels making up a line
max_line_gap = 20  # maximum gap in pixels between connectable line segments
line_image = np.copy(img) * 0  # creating a blank to draw lines on

# Run Hough on Edge detected image
# Output "lines" is an array containing endpoints of detected line segments
lines = cv2.HoughLinesP(edges, rho, theta, threshold, np.array([]),
                    min_line_length, max_line_gap)
print(lines)
points = []
for line in lines:
    for x1, y1, x2, y2 in line:
        points.append(((x1 + 0.0, y1 + 0.0), (x2 + 0.0, y2 + 0.0)))
        cv2.line(line_image, (x1, y1), (x2, y2), (255, 0, 0), 5)

lines_edges = cv2.addWeighted(img, 0.8, line_image, 1, 0)
print(lines_edges.shape)
#cv2.imwrite('line_parking.png', lines_edges)

print points
intersections = bot.isect_segments(points)
print intersections

for inter in intersections:
    a, b = inter
    for i in range(3):
        for j in range(3):
            lines_edges[int(b) + i, int(a) + j] = [0, 255, 0]

cv2.imwrite('line_parking.png', lines_edges)

戦略にこのコードブロックのようなものを使用して、小さな領域の複数の交差点を削除できます。

for idx, inter in enumerate(intersections):
    a, b = inter
    match = 0
    for other_inter in intersections[idx:]:
        c, d = other_inter
        if abs(c-a) < 15 and abs(d-b) < 15:
            match = 1
            intersections[idx] = ((c+a)/2, (d+b)/2)
            intersections.remove(other_inter)

    if match == 0:
        intersections.remove(inter)

出力画像： Cleaned Output

ただし、ウィンドウ機能を使用する必要があります。

10
Saedeas

浸食カーネルのmaxLineGapまたはサイズを調整するとどうなりますか。または、線間の距離を見つけることもできます。行のペアがax1、ay1からax2、ay2 c.fと言うように行かなければなりません。 bx1、by1からbx2、by2までは、aに対する直角の勾配（線の勾配に対して-1）が線bと交差する点を見つけることができます。基本的な学校の幾何学と連立方程式、次のようなもの：

x = (ay1 - by1) / ((by2 - by1) / (bx2 - bx1) + (ax2 - ax1) / (ay2 - ay1))
# then
y = by1 + x * (by2 - by1) / (bx2 - bx1)

x、yとax1、ay1を比較します

PS一部のラインは他のラインの連続であるように見えるため、ax1、ay1とbx1、by1の間の距離のチェックを追加する必要があるかもしれません。

1
paddyg