TIME_RSI sinnvoll, wenn Fragebogen (fast) nur aus lab.js-Aufgabe besteht?

Question

Ich säubere meine Daten inzwischen standardmäßig anhand des relative speed index (>2 fliegt raus). Wenn ich das im Paper von Leiner (2019) richtig verstanden habe, basiert der Index auf der Verteilung der Bearbeitungszeiten über Personen hinweg, und das für jede Seite. Ändert sich etwas an der Sensitivität des Maßes, wenn die gesamte Studie auf nur 1-2 Seiten stattfindet, wie etwa bei Verwendung von lab.js?

Answer 1

TIME_RSI ist ein Indikator dafür, ob jemand den Fragebogen besonders schnell ausgefüllt hat - gegenüber der einfachen Summe der Bearbeitungszeiten hat der Index den Vorteil, dass er sich durch Ausreißer (Kaffeepause beim Ausfüllen) weniger stark beeinflussen lässt und dass er eine deutlich linearere Verteilung hat - die einfache Bearbeitungszeit ist ja sehr stark rechtsschief.

Aber abgesehen davon ist es nur ein Indikator für die Bearbeitungszeit - und diese wiederum ist nur dann ein Indikator für Datenqualität, wenn man durch schlampiges Bearbeiten (Fragen nicht lesen) schneller ist.

Wenn Sie im Fragebogen ein Experiment durchführen, wo es wenig zu lesen gibt und wo man die Zeit kaum reduzieren kann, dann wird TIME_RSI kein sinnvolles Maß für die Datenqualität sein. Zumal Sie mit lab.js ja auch viel differenziertere Zeitmessungen hätten, die sich nochmal separat auswerten ließen.