A / Bテストは追加の費用と時間の価値がありますか？
クライアントは、主に設計とアプリケーションワークフローの使いやすさに焦点を当てたオンラインアプリケーションのブラインドA/B分割テストについて問い合わせています。クライアントのオフィスの誰かが、すべての大規模な機関がどのようにコンセプトのA/Bテストを実施するかについての記事を読みました。
-編集-アプリケーションについて：これは公開アプリケーションですが、ユーザーは有料のメンバーになるため、無料でオープンに使用することはできません。ユーザーは直接クライアントになり、クライアントはクライアントに製品を再販します。ピーク時のトラフィックは、おそらく+ -1000ユーザーです。一部のユーザーは毎日のユーザーですが、一部のユーザーは週に1X程度です。 -編集-
結果は、追加の費用と労力を正当化しましたか？
私はあなたの状況を正しく理解していると思います。そうでない場合は、コメントを残して、少し整理します。
あなたの状況では、A/Bテストがどれだけうまく機能するかわかりません-有用な結果を得ることができるか心配です。克服すべき2つの問題があります。統計的に有効な結果を取得し、それらの結果を理解することです。
最初に確認する必要がある問題は、サービスを使用している1000人までのユーザーがユーザー全体ではなく、ユーザーを代表していることを確認できないことです。これらの1000人のユーザーがA/Bテストで特定の傾向を示しているからといって、他のユーザーグループにもその傾向があるとは限りません。また、不適切なサンプルがあるため、結果の統計的妥当性も曇っていると思います。
また、特定のサービスを使用する人と、再販システムを使用する人の数を知っている人の2つのカテゴリがあります。システムには、頻繁に使用するユーザーと頻繁に使用しないユーザーがいます。しかし、他の展開ではどうでしょうか？変更がそれらにも影響する場合、AまたはBでのユーザーエクスペリエンスに関するデータがまったくない状態で目標を達成する能力に影響を与えている可能性があります。
また、特にサービスの複数の展開にわたってA/Bテストを展開する場合、得られる結果を理解することは困難です。複数の異なる母集団からデータを収集している場合、一部のAと他のBで目的の結果が得られることがわかります。これが実際に正確かどうかを判断し、それをどう処理するかを決定する必要があります。
正直なところ、この場合、調査をお勧めします。ユーザーの背景-年齢範囲、性別、コンピューターエクスペリエンス、職業-およびユーザーによるソフトウェアの使用方法を確認してください。次に、好きな機能や嫌いな機能、使いやすい機能とそうでない機能などを見つけます。この調査は、可能な限り多くの人、つまり、展開を使用する人と他の展開を使用する人の両方に送信する必要があります。
A/Bテストには代わりがありますが、それを保持するにはいくつかのことが必要です。最も重要なのは、明確な成功指標が必要なことです。つまりAまたはBのどちらが優れているかを判断するのは簡単である必要があります。主に、サイトが特定の商業的目標に向けられている場合（たとえば、人々に購入注文をさせ、広告リンクをクリックさせるなど）。
また、テストする明確な代替手段と、各A/Bペアに対して統計的に有効な結果を得ることができる十分に大きいユーザーベースも必要です。ペアリングの数とテストの期間もこれの要因です。
全体的なユーザビリティの向上に関心がある場合は、協力的なユーザビリティ評価を行うことをお勧めします（テストユーザーと一緒に座って、タスクリストを確認し、問題を確認します）。安価であり、非常に有用な結果が得られます。
最終的には、あなたが達成しようとしていることについてのすべてです。
クライアントのオフィスの誰かが、すべての大規模な機関がどのようにコンセプトのA/Bテストを実施するかについての記事を読みました。
大規模な代理店のサイトで大規模な代理店の結果に対して大規模な代理店のお金を支払われている場合、すべてがうまくいきます...残念ながら、クリスとトーマス・オーウェンズが指摘したように、統計サンプリングはスケーリングしません down非常によく。
サービスに料金を支払ったユーザーはnot一般的に人々の多変量テストに焦点を当てています（そして賢明にもそうです）-アイデアはarenサブスクライバーを変換する方法を見つけることですそれらの多くがあり、彼らの注意は、とにかく既にサインオフしている既存の加入者への潜在的な混乱よりも価値があるからです。
開発者/マネージャーが特定のページについていくつかのことを念頭に置いている場合、十分なユーザートラフィックでのA/Bテストは、より効果的なものを試して決定するための良い方法です。
決定が義務付けられており、実験する余地があまりない場合（ほとんどのwebdevショップの真実）、表面的なA/Bテストでは期待した結果が得られません。
A/Bテストのコツは、十分な統計データを取得し、結果を分析することです（分析が難しい部分です）。そのため、A/Bのセットアップは、データを理解するのに必要な時間に比べてそれほど時間がかかりません。
seit.com で説明されているライブユーザビリティテストの使用を検討することもできます。
または、 ClickTale のような自動化ツールでさえ、ユーザーがページをどのように使用しているかを示します。
A/Bテストはかなり安価で、最近は簡単に実行できます。無料のGoogle Website Optimizer、または月50ドルまで下がる予定の仮想Webサイトオプティマイザーなどを使用できます。目標指向のタスク（コンバージョン、サブスクリプションなど）をA/Bテストすることをお勧めします。最悪の場合、統計上の勝者は得られず、せいぜい50ドルを無駄にして、コンバージョン率を改善し、クライアントが収益を上げます。
あなたの説明を見ると、彼らはコンバージョンの最適化よりもユーザビリティテストを探しているように聞こえます。もしそうなら、私はclicktale（すでに述べた）とusertesting.comの両方を使用したことがありますが、どちらも私の経験ではお金の価値があります。 ustertesting.comでは、一般的なユーザビリティテストを簡単に行うことができ、clicktaleでは、実際のユーザーの行動を確認できます。
A/Bテストとユーザビリティテストの両方を合計$ 500未満で実行できるため、予算があり、明確な目標があれば、絶対に価値があります。