web-dev-qa-db-ja.com

データが真陽性か偽陽性かをユーザーに尋ねる

現在、ビッグデータを管理し、分類AIを備えたシステムに取り組んでいます。ただし、AIはまだ最適にトレーニングされていません。AIをさらにトレーニングして増加させるためにTrue Positive(TP)およびFalse Positive(FP)の例をいくつか収集したいと思います。精度です。

データはユーザーのものなので、AIの予測が正しいかどうかをユーザーと一緒に検証し、その判断に任せる必要があります。それを考慮して、ユーザーにデータに関するフィードバックを求める方法を考えていました。たとえば、「これは[trueステートメントですか? ]? "。ただし、AIのパフォーマンスが低く、処理されたデータを信頼できないとは思わせたくありません。

このフィードバックをユーザーに求めるにはどうすればよいですか?私は正直で前向きである必要がありますか?もしそうなら、このプロセスはどのくらい最小限にできますか?質問と2つのボタンに沿ったアプローチ、つまりyesまたはnoを考えていました。

2
João Provin

誠実さは間違いなく信頼を築きます。モデル/予測への信頼の構築に関する最悪のことは、それが自信を持って間違っていることです。他の状況(自信を持って正しい、または自信がなく間違っている)でも、信頼が築かれます。

あなたのAIはその分類に自信がありますか?その信頼度が非常に高い場合は、ユーザーに何も表示しないでください。または、ボタンやリンクの背後に隠された高度な機能を使用しないでください。

信頼度が低い場合は、次のようにバナーを張ってください。

これが正しいかどうかはわかりません。問題がある場合は、フィードバックを送信してください[ここ]

そのようにして、ほとんどの(うまくいけば!)ページにはそのバナーがなく、ユーザーは自動化されたプロセスの利点を認識します。ただし、問題がある場合、ユーザーはAIがエラーの可能性を認識していることを確認し、さらに信頼を構築します。

2
J. Dimeo

それを模倣するオプションはありますか?

右下隅に「AIに挑戦する」とだけ書かれたポップアップがあり、AIはそれをさらに改善するために継続的な改善が必要であることを説明します(したがって、自身の作業も改善します)。

クリックすると、いくつかの種類のゲームを入力して、いくつかのステートメントを入力します。ポップアップのメッセージは、「2分以内にAIに挑戦する」または類似のメッセージである可能性があります。 「ゲーム」が開始したら、ステートメントを最大で約5つに制限します。彼らが5を行った後、彼らに感謝し、2つのボタンを与えます。

プログラム内で可能であれば、何らかの報酬システムを構築することを検討してください。または、同じ会社のすべてのユーザーのスコアボードを用意することもできます。その場合、ユーザーが1日にプレイできる回数を3ラウンド程度のチャレンジに制限する必要があります。

これはすべてポップアップで行うことができ、必ずしも別の画面に移動する必要はありません。つまり、タスクを完了して、プログラムで次のタスクを開始する前に「少しリラックス」したいだけです。

お役に立てれば。

0
Azarko