Welche cases werden bei der Berechnung des relative speed index berücksichtigt?

Question

Der RSI ist der Median aller completion times geteilt durch die individuelle completion time. Welche completion times werden für die Bestimmung des Medians in SoSci standardmäßig verwendet? Alle gültigen Fälle? Alle, alle Fälle? Wie ist das, wenn sich die Anzahl der bearbeiteten Seiten zwischen Proband*innen unterscheidet?

Mein aktueller Ansatz ist, den RSI neu zu berechnen nur für die Seite, die den Hauptteil meiner Studie ausmacht (die Seite, auf der labjs läuft) und das auch nur für die Fälle, die bis zum Ende mitgemacht haben und die angegeben haben, gewissenhaft geantwortet zu haben. Ist das sinnvoll oder mache ich den RSI damit zu streng?

Answer 1

Der RSI ist der Median aller completion times geteilt durch die individuelle completion time.

Nein, das ist nicht korrekt. Dieser Quotient wird für jede Seite separat berechnet, dann auf den Bereich [0|3] beschränkt und dann erst ein Mittelwert berechnet.

Welche completion times werden für die Bestimmung des Medians in SoSci standardmäßig verwendet?

Alle im aktuellen Download für denselben Fragebogen (QUESTNNR).

Wie ist das, wenn sich die Anzahl der bearbeiteten Seiten zwischen Proband*innen unterscheidet?

Dann liegen bei einigen mehr Quotienten vor, bei anderen weniger, auf deren Basis dann ein Mittelwert berechnet wird.

Mein aktueller Ansatz ist, den RSI neu zu berechnen nur für die Seite, die den Hauptteil meiner Studie ausmacht (die Seite, auf der labjs läuft)

Wenn Sie nur eine Seite verwenden, können Sie eigentlich genauso gut die TIME-Variable nehmen wie sie ist, also die Zeit auf der Seite in Sekunden - und dann setzen Sie eben einen Mindestwert, den man zur sinnvollen Bearbeitung braucht. Der Kehrwert im TIME_RSI ist ja nor dafür da, um eine Longtail-Verteilung zum Bilden des Mittelwerts auf eine halbwegs lineare Verteilung zu transformieren.

Comments

Danke für die Aufklärung!
Innerhalb von labjs habe ich ja mehrere Seiten mit jeweiliger duration time. Wäre es dann sinnvoll, für diese Seiten den RSI nach diesem Prinzip zu berechnen (also median/wert pro Seite, limitiert auf 0 bis 3 und dann Mittelwert über alle Seiten pro Person)?

---

Der relative speed index beruht ja auf der Idee, dass unmotivierte Personen die Fragen nicht richtig lesen und überdurchschnittlich schnell sind. Zunächst wäre also zu klären, ob das in Ihrem lab-js-Experiment überhaupt zutrifft. Würde man also (deutlich) schneller sein, wenn man nur sinnlos "durchklickt".

Der zweite Punkt im RSI ist, dass nicht alle Seiten gleichermaßen lange für die bearbeitung brauchen. Der Quotient sorgt da für eine Gleichgewichtung. Auch da die Überlegung: Brauchen die Leute für die Seiten in Ihrem Experiment unterschiedlich lange? Oder ist das eher homogen?

Wenn Sie in das Paper um RSI geschaut haben, ist der RSI nur eine Nasenlänge besser als die absolute Verweildauer. Das macht in einer "normalen" Befragung Sinn, aber in einem Experiment könnte die "normale" Dauer einfacher zu argumentieren sein.

Last but not least: Wenn die Erhebung von vor Ihnen liegt, dann fügen Sie einfach 2 Instructed Response Items in Ihren Fragebogen ein. Damit werden Sie die Personen, die nur durchklicken, wahrscheinlich deutlich zuverlässiger erkennen als anhand der Antwortzeit.

---

Danke für die Antwort (die ich jetzt erst gesehen habe). Attention checks waren in der Studie auch drin. Der RSI sollte auch deshalb mit rein, weil in vorheriger Studie schon benutzt und dann im Paper einfacher zu erklären. Bedingungen, unter denen RSI sinnvoll ist, waren gegeben.