web-dev-qa-db-ja.com

テキスト分類タスクには、どのモデル(GPT2、BERT、XLNetなど)を使用しますか?どうして?

文分類タスクのモデルをトレーニングしようとしています。入力は文(整数のベクトル)で、出力はラベル(0または1)です。テキスト分類タスクにBertとGPT2を使用することについて、あちこちでいくつかの記事を見てきました。ただし、どれを選択すればよいかわかりません。元のTransformerモデル、Bert、GPT2、XLNetなど、NLPのこれらの最近のモデルのどれを使用して始めますか?なぜ? Tensorflowで実装したいのですが、PyTorchにも柔軟に対応できます。ありがとう!

4
khemedi

他の人が述べたように、それはデータセットに依存し、複数のモデルを試して、最良のモデルを選択する必要があります。

しかし、私の経験を共有すると、XLNetはこれまでのところ他のすべてのモデルをかなり上回っています。したがって、学習が目的でない場合は、XLNETから始めて、もう少し試して、結論を出します。探索の時間を節約するだけです。

以下のレポは、これらすべてをすばやく実行するのに最適です。彼らへの称賛。

https://github.com/Microsoft/nlp-recipes

それはハグ顔トランスフォーマーを使用し、それらを完全にシンプルにします。 ????

0
Narahari B M