調査における年齢層のジレンマ
それで、私はリサーチを始めたばかりで、ユーザーをもう少し理解するための調査を始めました。私が管理しているサイトの1つでHotJar Poll/Email Surveyを行った後、回答した大多数のユーザーの年齢層として55歳以上になりました。 Google AnalyticsとAlexa Proはどちらも、18〜24歳のユーザーの大多数を報告しています。それについて通常何ができますか？
また、一部の回答者がいくつかの質問をスキップした場合。それらを失格にしますか？
ありがとう
私はそれが複数のものになる可能性があると思います：
- ユーザーが自分の年齢を自己申告している場合、その情報を共有することに抵抗があるかもしれません。この共変量が分析に関連していない場合は、オプションのフィールドとして追加してみてください。このデータは、直接的なものではなく、特定の年齢のカテゴリに分類される可能性のある他の質問をすることで、試すことができます。ただし、この共変量が本当に必要ない場合は、省略して、この実験が機能するのに十分なだけサンプルがランダムであると仮定します。
- すべての訪問者があなたの調査に興味を持っているとは限らないため、特定の年齢層からより多くの回答者を獲得しています。各グループの大きさを決定し、サンプリングの問題を解決するより良い方法を見つけるために使用できる他のデータソースはありますか？たとえば、メールの返信とウェブサイトで異なる分布を得ましたか？
- スキップについては、スキップされた質問が一般的に同じである場合、または特定のグループが質問をより高い速度でジャンプしている場合、調査の非準拠について実際に心配します。調査に対して好意的または前向きな人のデータのみを取得し、残りは無視することになるかもしれません。
更新：実験の検証
最初にサンプルの検証を開始して、期待値と観測値の不一致が存在することを確認します。アナリティクスが18から24の範囲の訪問者を報告し、訪問者が何らかの方法でサイトと対話している場合、おそらく電子メール、ソーシャルアカウントなどの訪問者の対話の記録があります。通常、ユーザーの分布は同様であると予想しますすべてのチャネルで。そうでない場合、問題はおそらく測定ツール、この場合はGoogle Analyticsに関連しています。
測定ツールが正常に機能し、実際にレポートされた分布がある場合、調査プロンプトが等分布であったかどうかを確認する必要があります。計画がランダムに調査を割り当てることであった場合、要件は満たされましたか？特定のグループのユーザーが特定の期間、特定の時間帯などにアクティブになる可能性のある状況を観察していますか？
そうでない場合は、応答に影響を与えた可能性のある既存の条件を確認する必要があります。おそらく、非応答者の大多数が、サイトで実行された以前の実験に参加し、その過程で、サイトと対話するときの彼らの自信に影響がありました。
これに関する証拠が見つからない場合は、調査を再設計するか、インタビューなどの他の調査方法を試すことが簡単な解決策だと思います。