画像内で見つかった単語の座標を出力するOCRライブラリはありますか？
私の経験では、OCRライブラリは画像内で見つかったテキストを出力するだけで、whereテキストが見つかりました。画像内で見つかった両方の単語を出力するOCRライブラリはありますかおよび座標（x, y, width, height）それらの単語はどこで見つかりましたか？
ほとんどの商用OCRエンジンは、単語と文字の座標位置を返しますが、情報を抽出するには、SDKを使用する必要があります。 Tesseract OCRでさえ位置情報を返しますが、簡単にアクセスすることはできません。バージョン3.01の方が簡単ですが、DLLインターフェイスはまだ作業中です。
残念ながら、ほとんどの無料のOCRプログラムは、基本的な形式でTesseract OCRを使用しており、生のASCII結果のみを報告します。
www.transym.com-TransymOCR-座標を出力します。 www.rerecognition.com-Kasmosエンジンは座標を返します。
また、Caere Omnipage、Mitek、Abbyy、Charactellはキャラクターの位置を返します。
TessNet（Tesseract C＃ラッパー）を使用していて、次のコードでWord座標を取得しています。
TextWriter tw = new StreamWriter(@"U:\user files\bwalker\ocrTesting.txt");
Bitmap image = new Bitmap(@"u:\user files\bwalker\2849257.tif");
tessnet2.Tesseract ocr = new tessnet2.Tesseract();
// If digit only
ocr.SetVariable("tessedit_char_whitelist", "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz.,$-/#&=()\"':?");
// To use correct tessdata
ocr.Init(@"C:\Users\bwalker\Documents\Visual Studio 2010\Projects\tessnetWinForms\tessnetWinForms\bin\Release\", "eng", false);
List<tessnet2.Word> result = ocr.DoOCR(image, System.Drawing.Rectangle.Empty);
string Results = "";
foreach (tessnet2.Word word in result)
{
Results += Word.Confidence + ", " + Word.Text + ", " +Word.Top+", "+Word.Bottom+", "+Word.Left+", "+Word.Right+"\n";
}
using (StreamWriter writer = new StreamWriter(@"U:\user files\bwalker\ocrTesting2.txt", true))
{
writer.WriteLine(Results);//+", "+Word.Top+", "+Word.Bottom+", "+Word.Left+", "+Word.Right);
writer.Close();
}
MessageBox.Show("Completed");
Gameraフレームワーク（ http://gamera.informatik.hsnr.de/ ）もご覧ください。これは、独自のOCRエンジンを構築できるツールのセットです。それでも、最速の方法はTesseractまたはOCRopus hOCR（ http://en.wikipedia.org/wiki/HOCR ）出力を使用することです。
Google VisionAPIがこれを行います。 https://cloud.google.com/vision/docs/detecting-text
"description": "Wake up human!\n",
"boundingPoly": {
"vertices": [
{
"x": 29,
"y": 394
},
{
"x": 570,
"y": 394
},
{
"x": 570,
"y": 466
},
{
"x": 29,
"y": 466
}
]
}
hocr "configfile"を tesseract で次のように使用できます。
tesseract syllabus-page1.jpg syllabus-page1 hocr
これにより、次のような要素を含むほとんどHTML5ドキュメントが出力されます。
<div class='ocr_page' id='page_1' title='image "syllabus-page1.jpg"; bbox 0 0 2531 3272; ppageno 0'>
<div class="ocr_carea" id="block_1_4" title="bbox 265 1183 2147 1778">
<p class="ocr_par" dir="ltr" id="par_1_8" title="bbox 274 1305 655 1342">
<span class="ocr_line" id="line_1_14" title="bbox 274 1305 655 1342; baseline -0.005 0; x_size 46.378059; x_descenders 10.378059; x_ascenders 12">
<span class="ocrx_Word" id="Word_1_78" title="bbox 274 1307 386 1342; x_wconf 90" lang="eng" dir="ltr">needs</span>
<span class="ocrx_Word" id="Word_1_79" title="bbox 402 1318 459 1342; x_wconf 90" lang="eng" dir="ltr">are</span>
<span class="ocrx_Word" id="Word_1_80" title="bbox 474 1305 655 1341; x_wconf 86" lang="eng" dir="ltr">different:</span>
</span>
</p>
...
</div>
...
</div>
それがXMLの使用方法ではないと確信していますが、tesseractAPIを掘り下げるよりも簡単だと思いました。
P.S.いくつかのコメントと回答がこの解決策をほのめかしていることを私は理解していますが、実際にはhocrオプションの使用方法を示したり、そこから得られる出力を説明したりするものはありません。
Java開発者向け：
これには、Tesseractと Tess4j を使用することをお勧めします。
Tess4jのテストの1つで、画像上の単語を見つける方法の例を実際に見つけることができます。
public void testResultIterator() throws Exception {
logger.info("TessBaseAPIGetIterator");
File tiff = new File(this.testResourcesDataPath, "eurotext.tif");
BufferedImage image = ImageIO.read(new FileInputStream(tiff)); // require jai-imageio lib to read TIFF
ByteBuffer buf = ImageIOHelper.convertImageData(image);
int bpp = image.getColorModel().getPixelSize();
int bytespp = bpp / 8;
int bytespl = (int) Math.ceil(image.getWidth() * bpp / 8.0);
api.TessBaseAPIInit3(handle, datapath, language);
api.TessBaseAPISetPageSegMode(handle, TessPageSegMode.PSM_AUTO);
api.TessBaseAPISetImage(handle, buf, image.getWidth(), image.getHeight(), bytespp, bytespl);
ETEXT_DESC monitor = new ETEXT_DESC();
TimeVal timeout = new TimeVal();
timeout.tv_sec = new NativeLong(0L); // time > 0 causes blank ouput
monitor.end_time = timeout;
ProgressMonitor pmo = new ProgressMonitor(monitor);
pmo.start();
api.TessBaseAPIRecognize(handle, monitor);
logger.info("Message: " + pmo.getMessage());
TessResultIterator ri = api.TessBaseAPIGetIterator(handle);
TessPageIterator pi = api.TessResultIteratorGetPageIterator(ri);
api.TessPageIteratorBegin(pi);
logger.info("Bounding boxes:\nchar(s) left top right bottom confidence font-attributes");
int level = TessPageIteratorLevel.RIL_Word;
// int height = image.getHeight();
do {
Pointer ptr = api.TessResultIteratorGetUTF8Text(ri, level);
String Word = ptr.getString(0);
api.TessDeleteText(ptr);
float confidence = api.TessResultIteratorConfidence(ri, level);
IntBuffer leftB = IntBuffer.allocate(1);
IntBuffer topB = IntBuffer.allocate(1);
IntBuffer rightB = IntBuffer.allocate(1);
IntBuffer bottomB = IntBuffer.allocate(1);
api.TessPageIteratorBoundingBox(pi, level, leftB, topB, rightB, bottomB);
int left = leftB.get();
int top = topB.get();
int right = rightB.get();
int bottom = bottomB.get();
/******************************************/
/* COORDINATES AND WORDS ARE PRINTED HERE */
/******************************************/
System.out.print(String.format("%s %d %d %d %d %f", Word, left, top, right, bottom, confidence));
// logger.info(String.format("%s %d %d %d %d", str, left, height - bottom, right, height - top)); //
// training box coordinates
IntBuffer boldB = IntBuffer.allocate(1);
IntBuffer italicB = IntBuffer.allocate(1);
IntBuffer underlinedB = IntBuffer.allocate(1);
IntBuffer monospaceB = IntBuffer.allocate(1);
IntBuffer serifB = IntBuffer.allocate(1);
IntBuffer smallcapsB = IntBuffer.allocate(1);
IntBuffer pointSizeB = IntBuffer.allocate(1);
IntBuffer fontIdB = IntBuffer.allocate(1);
String fontName = api.TessResultIteratorWordFontAttributes(ri, boldB, italicB, underlinedB, monospaceB,
serifB, smallcapsB, pointSizeB, fontIdB);
boolean bold = boldB.get() == TRUE;
boolean italic = italicB.get() == TRUE;
boolean underlined = underlinedB.get() == TRUE;
boolean monospace = monospaceB.get() == TRUE;
boolean serif = serifB.get() == TRUE;
boolean smallcaps = smallcapsB.get() == TRUE;
int pointSize = pointSizeB.get();
int fontId = fontIdB.get();
logger.info(String.format(" font: %s, size: %d, font id: %d, bold: %b,"
+ " italic: %b, underlined: %b, monospace: %b, serif: %b, smallcap: %b", fontName, pointSize,
fontId, bold, italic, underlined, monospace, serif, smallcaps));
} while (api.TessPageIteratorNext(pi, level) == TRUE);
assertTrue(true);
}
ABCocr.NET（our component）を使用すると、見つかった各単語の座標を取得できます。値には、System.Drawing.Rectangleを返すだけのWord.Boundsプロパティからアクセスできます。
以下の例は、 ABCocr.NET を使用して画像をOCRし、必要な情報を出力する方法を示しています。
using System;
using System.Drawing;
using WebSupergoo.ABCocr3;
namespace abcocr {
class Program {
static void Main(string[] args) {
Bitmap bitmap = (Bitmap)Bitmap.FromFile("example.png");
Ocr ocr = new Ocr();
ocr.SetBitmap(bitmap);
foreach (Word word in ocr.Page.Words) {
Console.WriteLine("{0}, X: {1}, Y: {2}, Width: {3}, Height: {4}",
Word.Text,
Word.Bounds.X,
Word.Bounds.Y,
Word.Bounds.Width,
Word.Bounds.Height);
}
}
}
}
開示：WebSupergooチームのメンバーによって投稿されました。
hocrは、tesseract OCRエンジンの出力形式の1つであり、Wordとその座標の両方があり、Word認識の信頼できるレベルなどの追加情報もあります。