web-dev-qa-db-ja.com

システムユーザビリティスケール(SUS)で一貫性のない回答者を確認する方法

私はSUS応答の妥当性を評価しようとしています-これは内部信頼性または応答バイアスとも呼ばれていると思います。これはどうですかSUSのためにやった?

4
mmatti

調査データを分析するときは、有効性と信頼性を分離する必要があります。

  • 妥当性とは、答えがどの程度正しいかを示す尺度です。
  • 信頼性は、答えがどの程度一貫性があるかの尺度です。

ここに概念のグラフィカル表現があります( Wikipedia から):

一般に、SUSは信頼性が高いことがわかっており、有効な結論を生成する強力なサポートがあります[1]。

ただし、調査の結果が問題に対して有効かどうかを判断することに、より関心があるでしょう。これに答えるために、私のアドバイスは、結果を相関させるためのユーザビリティの他の測定基準を見つけることです(これは「収束有効性」と呼ばれます)。たとえば、インターフェイスの同様の調査または専門家による評価の結果をSUSスコアと比較できます。または、タスクの完了時間(またはパフォーマンスの他の定量的尺度)を比較できます以前に収集したSUSスコア、相関する場合、SUSには「予測有効性」があり、かなり説得力があります)。

信頼性に関心がある場合は、Chronbachのアルファを使用することをお勧めします。これは、質問間のすべての相関を組み合わせた測定値であり、基本的に、回答者が同様の方法で質問に回答する可能性がどの程度あるかを意味します。または、同じ参加者でテストを再実行して、同様の回答が得られるかどうかを確認することもできます。

[1] Bangor、A.、Kortum、P。T.、Miller、J。T .:システムのユーザビリティスケールの経験的評価。人間とコンピュータの相互作用の国際ジャーナル。 24、574--594(2008)

3
SeanG