リッカート尺度-正から負、または負から正？
間もなくオンライン調査を実施する予定です。いくつかの質問では、特定の状況についてユーザーがどのように感じているかを測定しようとします。
likert scale を使用して、選択肢を表示しています。
私はオプションを注文するためのベストプラクティスを見つけようとしています：
次の選択肢があります：（例の質問）
新しいウェブサイトは古いものより優れています：
- 強く同意しない
- そう思わない
- 同意しない、同意しない
- 同意する
- 強く同意します
または
新しいウェブサイトは古いものより優れています：
- 強く同意します
- 同意する
- 同意しない、同意しない
- そう思わない
- 強く同意しない
これらの選択肢は、典型的な「グリッド/マトリックス」スタイルの方法で、水平になります。
要するに-一般的なコンセンサスは何ですか-「ポジティブ」オプションから始めますか、それとも「ネガティブ」から始めますか？
私はいくつかの調査（リンクを失いました）を読みましたが、ポジティブトーンから始めると、ネガティブトーンに比べて結果がわずかに影響することを示唆しています。
十分に明確/主観的でないことを願っています
n.b。 A/B分割調査はオプションではありません。
私には証拠がなく、皮肉なのですが、それは読み順とあなたが答えをどうしたいかに依存します。その意味では、あなたが失ったリンクに同意します。あなたがどのトーンから始めるかによって、結果に影響を与えることになります。
ただし、すべての人の態度にも依存する可能性があります。
たとえば、その人が不満を抱いている場合、否定的な選択肢から始めると、より否定的な選択肢が選択される可能性がありますが、肯定的に始めると、彼らはわずかに少ない否定的な意見を選択するようになります。これは、彼らが多かれ少なかれ彼らの心の状態と一致するオプションを押したときに彼らが停止するためです。
同様に、その人が満足している場合、ポジティブオプションから開始すると、最初にヒットしたときにより好ましいオプションを選択するように誘導する可能性があります（逆も同様です）。
オプションの順序を変更することが良いアイデアかどうかはわかりません。混乱するかもしれません。
質問とは少し無関係ですが、それでもあなたの仕事に関連する1つのポイント-質問は常に同じ「方向」に書きます。各質問が同じタイプの比較を求めていることを確認してください（たとえば、「新しいXは古いXよりも優れているか？」）
たとえば、あなたが書く場合
The new site is better than the old one (agree / disagree)
次に書いてはいけない
The old site has better navigation than the new one (agree / disagree)
質問の「方向性」を同じに保つと、ユーザーはすぐに理解するようになります。これは、彼らがあなたの調査を迅速に完了するのを助け、威圧的/時間に縛られたユーザーが去ることを止めます-サンプルを改善します。
純粋に個人的な意見であり、読み方を左右します。
横：
否定->肯定
- 垂直：
正
^
負
他の人がすでに上で述べたように、質問の言い方に一貫性を持たせることはおそらくより重要です。
この答えが気に入らないかと思いますが、私の意見では、質問の表現は評価オプションの順序よりもはるかに効果的です。 「新しいウェブサイトは古いものより優れている」と「古いウェブサイトは新しいものより優れている」と比較してください。
1つの考えは、低から考える人の数です->高ORフォームが悪い->良いOR否定的->肯定的です。
私はこれだけの経験についての証拠はありません。私が緑から赤にスケールを着色した場所は一度もありましたが、それでも人々はそれが赤（悪い）から緑（良い）であるかのように投票しました。
私はボビーに同意します。言語は大きな違いを生みます。言い回しが違うと結果が違うかどうか知りたいです。 「中間のニュートラル」パターンはかなり一貫していると思います。スケールを明確にする限り、正または負が左端/最初のオプションであるかどうかは問題ではないかもしれません。調査では、ポジティブが左か右かを判断するのに時間を無駄にしたくありません。どちら側にあるかがわかっている限り、どちら側にあるかは気にしません。
さらに定性的に評価して、「どちらのサイトを選びましたか？」古い<----->新しい。欠点は、よく知っているもののような人々です。
この性質のほぼすべての調査スタイルの質問に対する答えはこれにすぎません。結果を比較する対象と一致している必要があります。この調査を長期にわたって実行してベースラインを決定し、変化を測定する場合は、質問と回答を長期にわたって一定に保つだけです。
質問の仕方に基づいて常にいくつかのバイアスがありますが、ほとんどの場合、これらのバイアスの原因は非常に状況依存であり、限られた状況でのみ定量化されているため、すべての質問を完璧にしようとするのは大変です。
さて、おそらく私のフィードバックは「新しいWebサイトは古いWebサイトよりも優れている」という記述には当てはまらないことに気付くでしょう。調査と同時にテストしている2つの個別の再設計がない限り、比較のための比較可能なグループは決してありません。私の意見では、それは質問が本当に意味のある結果を提供しないことを意味します。主観的なトピックの調査では、スケールは常に任意です。特に、現在のウェブサイトが以前のウェブサイトとどれだけ好きかを比較するように彼らに尋ねる難しい質問に対して。
私がやろうとしていることは、今日の経験のいくつかの側面を測定し、その調査を今日実行し、再設計を開始した後に同じ調査を実行するという質問です。スコアが上がるか下がるかを確認し、異なる影響を受ける可能性のあるサブグループを特定してみてください。多くのWebサイトでは、その日にWebサイトにアクセスする目的を尋ね、そのタスクを達成できたかどうかをフォローアップ質問します。
実際の論文への言及はありませんが、選択傾向と線形提示された選択肢へのバイアスについてのいくつかの研究について読んだことを覚えています。結論は、大まかに言って人々は最初の選択肢を選ぶ傾向がわずかにあったであり、最初の選択肢よりわずかに傾いているが、最後の選択肢を選ぶ残りの部分よりはまだ多い。 「中間」の選択肢間の傾向の分布は、統計的に重要ではありませんでした。
この場合、その調査が当てはまる場合は、どちらの方法を選択しても、スケールの最初の方に若干のバイアスがかかる可能性があります。