ユーザーにサイトの再設計を伝える：これはA / Bテストデータを汚染しますか
私が働いている会社（取引まとめサイト）は、取引情報タイルの外観を再設計しました。 （アイテムの画像、価格、その他の情報の配置方法のレイアウトを変更します。）新しいデザインがユーザーにとってより魅力的であるかどうかを確認するためにA/Bテストを行いますが、次のような議論があります。ユーザーにこの変更を表示する前にメッセージを表示するかどうか。反メッセージングの人々は、そのような変更の前に聴衆に呼び水をすることが汚染されたテストデータをもたらすことを恐れています。これまでにオンラインで読んだすべてのものは、UIが変更される前に視聴者を呼び起こさないと危険だと言っています。
だから、私の質問はこれです：実装される前にUIの変更をメッセージングで何らかの方法でA/Bテストの結果にメッセージを送っていますか？ユーザーに突然のUIの変更を引き出すことに長所はありますか？
事前に、ヘルプやアドバイスをありがとう。私は新しく生まれ変わったUXリサーチャーであり、私が得ることができるすべての助けが必要なので、あなたのコミュニティを見つけてうれしいです！
方法論を混乱させていると思います。 A/Bテストが同時に実行されるため、サイトを完全に新しいバージョンのサイトに置き換えるだけでも問題ありません人々に知らせてもらえなくても、サンプルは他の種類の結果を提供します。
調査中は、常に「汚染されたサンプルではなく、可能な限りクリーンな」が必要です。そのため、これだけで疑問が生じます。重要な点は、 A/Bテストを作成しているため、A/Bルールを考慮する必要はありません。
参考までに、A/Bを初めて使用する場合に役立つので、 A/Bテストの初心者向けガイド：はじめに 特にこの部分：
タイミングの変動を考慮するために、テストを同時に実行する必要があります。今日と明日の間に変化した可能性のある変数を考慮に入れることができないため、今日のバリエーションと明日のバリエーションをテストすることはできません。代わりに、バリエーションを見ながらトラフィックを分割する必要があります。
また、大きなサイトが小さな変動をランダムに表示していることに気づいたかもしれません。それを見ると、A/Bテストを実施しています。そして、あなたが考慮する必要がある非常に重要な事柄のためにこれに言及する：A/Bは完全な再設計ではなく小さな変更のためです