web-dev-qa-db-ja.com

BILOUタグは、名前付きエンティティの認識で何を意味しますか?

タイトルは質問をかなり要約しています。一部の論文では、典型的なBIOタギングスキームとは対照的に、NERのBILOUエンコードスキームを参照していることに気づきました(2009年のRatinovとRothによるこの論文など http://cogcomp.cs.illinois .edu/page/publication_view/199

2003 CoNLLデータを操作することから、

B stands for 'beginning' (signifies beginning of an NE)
I stands for 'inside' (signifies that the Word is inside an NE)
O stands for 'outside' (signifies that the Word is just a regular Word outside of an NE)

BILOUの単語は

B - 'beginning'
I - 'inside'
L - 'last'
O - 'outside'
U - 'unit'

人々が別のタグを参照するのを見たこともあります

E - 'end', use it concurrently with the 'last' tag
S - 'singleton', use it concurrently with the 'unit' tag

私はNERの文献にはかなり慣れていませんが、これらのタグを明確に説明するものを見つけることができませんでした。特に私の質問は、「最後の」タグと「終了」タグの違い、および「ユニット」タグの意味についてです。

37
GrantD71

Clear TKの issue および patch に基づいて、BILOUは「multi-トークンチャンク単位長のチャンクおよび外部 "(強調を追加)。たとえば、かっこで示されるチャンク

(foo foo foo) (bar) no no no (bar bar)

bILOUで次のようにエンコードできます。

B-foo, I-foo, L-foo, U-bar, O, O, O, B-bar, L-bar
33
mbatchkarov

BIOスキームとBILOUスキームを比較したいくつかの経験を追加したいと思います。私の実験は1つのデータセットのみを対象としており、代表的なものではない可能性があります。

私のデータセットには約35千の短い発話(2-10トークン)が含まれており、11の異なるタグを使用して注釈が付けられています。つまり、11の名前付きエンティティがあります。

使用される機能には、Word、左と右の2グラム、1から5文字のngram(中央のものを除く)、形状機能などがあります。地名を裏付けしているエンティティもほとんどありません。

データセットをシャッフルし、80/20の部分に分割しました。トレーニングとテストです。このプロセスは5回繰り返され、エンティティごとに、Precision、Recall、F1メジャーを記録しました。パフォーマンスはエンティティレベルで測定され、2009年のRatinov&Roth論文のようにトークンレベルでは測定されませんでした。

モデルのトレーニングに使用したソフトウェアはCRFSuiteです。 L1 BFGSソルバーをc1 = 0およびc2 = 1で使用しました。

まず第一に、5つの折り目で比較したテスト結果は非常によく似ています。これは、実行ごとの変動がほとんどないことを意味し、これは良いことです。第二に、BIOスキームはBILOUスキームと非常によく似ていました。有意差がある場合は、おそらく、Precision、Recall、F1メジャーのピリオドの後の3桁目または4桁目です。

結論:私の実験では、BILOUスキームはBIOスキームよりも優れていません(悪くはありません)。

11
B = Beginning
I/M = Inside / Middle
L/E = Last / End
O = Outside
U/W = Unit-length / Whole

BILOUはBMEWOと同じです。

BMEWO +もあります。これは、周囲のWordクラスに関する詳細情報を外部トークンに配置します(したがって「Oプラス」)。

詳細はこちら https://lingpipe-blog.com/2009/10/14/coding-chunkers-as-taggers-io-bio-bmewo-and-bmewo/

3
bact'