A / Bテストとコホート分析
A/Bテストとコホート分析（ユーザーを登録時間に基づいて分割する）についていくつか質問がありました。
1.）A/Bテストは主にUXデザインの変更（サインアップボタンの色の変更など）に使用されますか、それともテスト機能（フリーミアムと無料トライアルの変換率など）を分割するために使用できますか？
2.）A/Bテストとコホート分析の結果からどのような結論を導き出すことができますか？例：A/Bテストでは、ユーザーに関係なく、この機能により一般的にコンバージョンが改善されることがわかります。コホート分析では、2か月目に参加したユーザーのコンバージョンは1か月目よりも優れているため、サイトの全体的な方向性がわかります（コンバージョン率は、月1〜2の間に実装された新機能が原因である場合とそうでない場合があります。
3.）A/Bテストを使用して仮説をより速くテストでき、コホート分析に時間がかかることは本当ですか？
4.）新しい機能でA/Bテストを実行してコンバージョン率が向上したかどうかを確認し、コホート分析を使用して新しい機能の長期的な影響を確認する必要がありますか？ （コホート分析で毎月のコンバージョンの改善が示されている場合、サイトに他の変更が加えられていない場合、実装された新機能にどれほど強く貢献できるか）
コホートではなくA/Bテストを行うことのポイントは、時間の変動変数を排除することです。収集したデータは、2つのグループが異なる動作をする理由に関する詳細な説明がない場合にのみ有効であり、異なる時間に動作するグループは異なる動作をすることがよくあります。
たとえば、eコマースサイトで、12月に登録したユーザーと1月に登録したユーザーのユーザー行動を比較すると、クリスマスのショッピングシーズンにより、結果が大きく異なります。これはコホート分析を完全に無効にしますでない限り目標は、これら2つのグループの動作が異なることを観察することです。
つまり、A/Bテストは、2つの機能の違いをテストするためのものです。コホート分析は、2つユーザーのグループは異なります。
- 何でもA/Bテストできます！唯一の要件は、（a）同時に発生し、（b）ランダムに割り当てられることです。
- ここでも、A/Bはfeaturesの効果の違いを示し、コホート分析はユーザーのグループ動作が異なります。
- コホート分析で新しい人がサインアップするのを待つ必要がある場合、A/Bはより高速です。ただし、既存のユーザーをブロックに分割するだけの場合は、同じ時間がかかります。
- これは合理的なアプローチですが、結局のところ、適用する調査方法は、収集しようとしている情報の種類に基づいている必要があることに注意してください。