web-dev-qa-db-ja.com

Googleアナリティクスウェブテストの95,0%の信頼しきい値とは何ですか?

Googleアナリティクスのテストでは、信頼しきい値95.0%を設定(または99,0%または99,5%)を使用できます。ドキュメントには次のように書かれています:

信頼しきい値の設定:Analyticsが勝者を宣言する前に達成する必要がある最小信頼しきい値。しきい値が高いほど、結果に自信が持てます。しきい値が高いと、アナリティクスが勝者を宣言するのに時間がかかる可能性があります。

私は言葉を理解していますが、それが何を意味するのか見当がつきません。 95%の信頼しきい値とは何ですか?

1
Jurik

信頼度のしきい値(またはレベル)は、ナットシェルでは、実験Aが実験Bよりも優れていると言える信頼性を示す統計用語です。

勝者を宣言できる統計的有意性を示します。詳細についてはこちらをご覧ください- http://www.stat.yale.edu/Courses/1997-98/101/meancomp.htm

より高い信頼レベルに到達するには、より多くのデータが必要です。したがって、Googleは90%の信頼レベルに到達するのに必要な時間よりも99.0%のレベルに到達するのに多くの時間を必要とします。したがって、この信頼レベルを達成したときに勝者を宣言できるように、この数値を尋ねます。

2
Aakash