OpenCV-画像のグリッドから画像をステッチする
パノラマ画像用のOpenCVを介したステッチの基本的な作業例をいくつか見つけました。また、 API docs でいくつかの有用なドキュメントを見つけましたが、処理を高速化する方法を見つけることができません追加情報を提供します。
私の場合、個々のフレームの20x20グリッドに一連の画像を生成し、合計400個の画像を1つの大きな画像にステッチします。これには、最新のPCでは膨大な時間がかかるため、開発者ボードでは数時間かかる可能性があります。
すべての画像がグリッドに表示されるときの相対的な位置を事前に知っているなど、画像に関するOpenCVインスタンス情報を伝える方法はありますか？私がこれまでに見てきた唯一のAPI呼び出しは、vImg.Push_back()を介してすべての画像を無差別にキューに追加することです。
参考文献
- ステッチ。画像のステッチ-OpenCV APIドキュメント、アクセス済み2014-02-26、
<http://docs.opencv.org/modules/stitching/doc/stitching.html> - OpenCVスティッチの例（スティッチャークラス、パノラマ）、アクセス済み2014-02-26、
<http://feelmare.blogspot.ca/2013/11/opencv-stitching-example-stitcher-class.html> - パノラマ– OpenCVでの画像合成、アクセス2014-02-26、
<http://ramsrigoutham.com/2012/11/22/panorama-image-stitching-in-opencv/>
私の知る限り、画像のリストを提供する以外に、OpenCVエンジンに追加のデータを提供する手段はありません。しかし、それ自体でかなり良い仕事をします。サンプルコードの一部をチェックアウトし、各ステッチ操作にかかる時間をテストします。 4x6、4x8、...、4x20のパノラマ再構成を使用した私の実験から、必要なCPU時間は重複する画像の数とともに増加するようです。最新のマシンで計算するには、少なくとも1分かかると思います。
ソース： https://code.ros.org/trac/opencv/browser/trunk/opencv/samples/cpp/stitching.cpp?rev=6682
1 /*M///////////////////////////////////////////////////////////////////////////////////////
2 //
3 // IMPORTANT: READ BEFORE DOWNLOADING, COPYING, INSTALLING OR USING.
4 //
5 // By downloading, copying, installing or using the software you agree to this license.
6 // If you do not agree to this license, do not download, install,
7 // copy or use the software.
8 //
9 //
10 // License Agreement
11 // For Open Source Computer Vision Library
12 //
13 // Copyright (C) 2000-2008, Intel Corporation, all rights reserved.
14 // Copyright (C) 2009, Willow Garage Inc., all rights reserved.
15 // Third party copyrights are property of their respective owners.
16 //
17 // Redistribution and use in source and binary forms, with or without modification,
18 // are permitted provided that the following conditions are met:
19 //
20 // * Redistribution's of source code must retain the above copyright notice,
21 // this list of conditions and the following disclaimer.
22 //
23 // * Redistribution's in binary form must reproduce the above copyright notice,
24 // this list of conditions and the following disclaimer in the documentation
25 // and/or other materials provided with the distribution.
26 //
27 // * The name of the copyright holders may not be used to endorse or promote products
28 // derived from this software without specific prior written permission.
29 //
30 // This software is provided by the copyright holders and contributors "as is" and
31 // any express or implied warranties, including, but not limited to, the implied
32 // warranties of merchantability and fitness for a particular purpose are disclaimed.
33 // In no event shall the Intel Corporation or contributors be liable for any direct,
34 // indirect, incidental, special, exemplary, or consequential damages
35 // (including, but not limited to, procurement of substitute goods or services;
36 // loss of use, data, or profits; or business interruption) however caused
37 // and on any theory of liability, whether in contract, strict liability,
38 // or tort (including negligence or otherwise) arising in any way out of
39 // the use of this software, even if advised of the possibility of such damage.
40 //
41 //M*/
42
43 // We follow to these papers:
44 // 1) Construction of panoramic mosaics with global and local alignment.
45 // Heung-Yeung Shum and Richard Szeliski. 2000.
46 // 2) Eliminating Ghosting and Exposure Artifacts in Image Mosaics.
47 // Matthew Uyttendaele, Ashley Eden and Richard Szeliski. 2001.
48 // 3) Automatic Panoramic Image Stitching using Invariant Features.
49 // Matthew Brown and David G. Lowe. 2007.
50
51 #include <iostream>
52 #include <fstream>
53 #include "opencv2/highgui/highgui.hpp"
54 #include "opencv2/stitching/stitcher.hpp"
55
56 using namespace std;
57 using namespace cv;
58
59 void printUsage()
60 {
61 cout <<
62 "Rotation model images stitcher.\n\n"
63 "stitching img1 img2 [...imgN]\n\n"
64 "Flags:\n"
65 " --try_use_gpu (yes|no)\n"
66 " Try to use GPU. The default value is 'no'. All default values\n"
67 " are for CPU mode.\n"
68 " --output <result_img>\n"
69 " The default is 'result.jpg'.\n";
70 }
71
72 bool try_use_gpu = false;
73 vector<Mat> imgs;
74 string result_name = "result.jpg";
75
76 int parseCmdArgs(int argc, char** argv)
77 {
78 if (argc == 1)
79 {
80 printUsage();
81 return -1;
82 }
83 for (int i = 1; i < argc; ++i)
84 {
85 if (string(argv[i]) == "--help" || string(argv[i]) == "/?")
86 {
87 printUsage();
88 return -1;
89 }
90 else if (string(argv[i]) == "--try_gpu")
91 {
92 if (string(argv[i + 1]) == "no")
93 try_use_gpu = false;
94 else if (string(argv[i + 1]) == "yes")
95 try_use_gpu = true;
96 else
97 {
98 cout << "Bad --try_use_gpu flag value\n";
99 return -1;
100 }
101 i++;
102 }
103 else if (string(argv[i]) == "--output")
104 {
105 result_name = argv[i + 1];
106 i++;
107 }
108 else
109 {
110 Mat img = imread(argv[i]);
111 if (img.empty())
112 {
113 cout << "Can't read image '" << argv[i] << "'\n";
114 return -1;
115 }
116 imgs.Push_back(img);
117 }
118 }
119 return 0;
120 }
121
122
123 int main(int argc, char* argv[])
124 {
125 int retval = parseCmdArgs(argc, argv);
126 if (retval) return -1;
127
128 Mat pano;
129 Stitcher stitcher = Stitcher::createDefault(try_use_gpu);
130 Stitcher::Status status = stitcher.stitch(imgs, pano);
131
132 if (status != Stitcher::OK)
133 {
134 cout << "Can't stitch images, error code = " << status << endl;
135 return -1;
136 }
137
138 imwrite(result_name, pano);
139 return 0;
140 }
141
142
私はステッチパイプラインでいくつかの作業を行い、自分自身をこの分野の専門家とは考えていませんが、パイプラインの各ステップを個別に調整することで、パフォーマンス（および結果）も向上しました。図からわかるように、Stitchingクラスはこのパイプラインのラッパーにすぎません。 
調整できる興味深い部分には、サイズ変更ステップ（解像度が高いほど計算時間が長くなり、機能が不正確になる点があります）、マッチングプロセス、および（単なる推測ですが）実行する代わりに適切なカメラパラメーターを与えることがあります推定。これには、ステッチを行う前にカメラのパラメーターを取得する必要がありますが、それほど難しくありません。ここにいくつかの参照があります： OpenCV Camera Calibration and 3D Reconstruction 。
繰り返しますが、私は専門家ではありません。これは、インターンが図書館で実験を行った経験に基づいています。
たぶんこれが役立つでしょうか？ https://software.intel.com/en-us/articles/fast-panorama-stitching
具体的には、ペアワイズマッチングに関する部分
ローネン
Opencv StitcherでGPUの使用を有効にすることを検討してください。
bool try_use_gpu = true;
Stitcher myStitcher = Stitcher::createDefault(try_use_gpu);
Stitcher::Status status = myStitcher.stitch(Imgs, pano);
画像の相対的な位置がわかっている場合、問題を下位の問題に分解し、問題の下位構造の知識でアプローチすることで計算負荷を軽減できる可能性があるようです。基本的に、一連の画像を4つの隣接する画像のグループに分割し、フレームを処理してから、パノラマに到達するまで同じアイデアを使用して結果の画像を処理します。そうは言っても、私は最近opencvのこのツールセットをいじり始めました。私はそれが非常に単純なアイデアであることを知っていますが、誰かに役立つかもしれません。