0 votes
in SoSci Survey (dt.) by s189248 (165 points)

Liebes Team,

in meinem Online-Fragebogen zeige ich den Teilnehmenden 40 Bildstimuli in rotierter/gemischter Reihenfolge.

Hierfür habe ich den Fragetyp "Zuordnungsaufgabe (mit Reaktionszeit)" verwendet. Die 40 Items werden entsprechend der Zeitbegrenzung angezeigt, allerdings wiederholen sich ca. die ersten 10-15 angezeigten Items ein zweites Mal.

Wenn ich den Fragebogen teste, passiert dies nicht. Allerdings habe ich von mehreren Teilnehmenden des Pretests unabhängig voneinander die Rückmeldung bekommen, dass sie die ersten ca. 10-15 Items wiederholt haben.

Habt ihr eine Idee, woran das liegen könnte? Als Items für meine Zuordnungsaufgabe habe ich auch nur die 40 Items gespeichert (also keine Items doppelt hinterlegt). Es handelt sich hierbei ja um keinen Zufallsgenerator, bei dem X Zettel gezogen (und evtl. zurückgelegt werden), deshalb weiß ich nicht, woran es liegen kann, dass sich Items bei einer Zuordnungsaufgabe wiederholen.

Es wäre klasse, wenn ihr eine Idee habt, wieso sich die ersten Items wiederholen.

Vielen Dank schon einmal für die Bemühungen,

1 Answer

0 votes
by SoSci Survey (327k points)

Wenn ich den Fragebogen teste, passiert dies nicht.

Dann liegt es nache, dass es einen Unterschied zwischen Ihren Tests und den Interviews bei den Befragten gibt. Hier ein paar mögliche Ursachen - vielleicht lässt sich anhand der Informationen von den Befragten eingrenzen wo es haken könnte:

  • Das Problem könnte mit einem bestimmten Browser auftreten
  • Sie könnten unterschiedliche Fragebögen unter Fragebogen zusammenstellen haben und die Befragten haben einen anderen ausgefüllt als Sie (s. Erhobene Daten -> Daten ansehen -> Variable QUESTNNR)
  • Vielleicht gibt es in Ihrem Befragungsprojekt unterschiedliche Sprachversionen (s. Variable LANGUAGE)
  • Wenn Sie mir Filtern o.ä. arbeiten, könnte es an den (vorherigen) Antworten der Befragten liegen. Sie haben nicht verraten, wie Sie die Rotation umgesetzt haben?

Bitte prüfen Sie auch mal die Verweildauer der betroffenen Befragten auf der Seite. Es wäre z.B. auch denkbar, dass Sie durch eine zusätzliche Zeitbegrenzung (per JavaScript) nach einer defineirten Zeit auf die nächste Seite wechseln - und zugleich einen Filter aktiviert haben, welcher die Seite mit der Zuordnugnaufgabe wiederholt, wenn sie noch nicht vollständig ausgefüllt war.

Oder vielleicht haben die betroffenen auch einfach F5 (Seite neu Laden) geklickt, und das Ganze ging nochmal von vorne los.

Oder womöglich haben Sie ähnliche Stimuli und die Befragten dachten nur, dass sich da etwas wiederholt hat. Wenn das der Fall wäre, dürfte es bei den Verweildauern keinen signifikanten Unterschied geben.

by s189248 (165 points)
Vielen Dank für die Antwort und die verschiedenen Möglichkeiten, woran es liegen könnte!

- Es gibt nur einen Fragebogen, der in meinem Profil hinterlegt ist
- Es gibt auch nur eine Sprachversion des Fragebogens
- Die Rotation habe ich in den Einstellungen des Fragetyp umgesetzt - Items -> Einstellungen -> Reihenfolge = zufällig rotieren/mischen
- Die einzigen "Filter" sind die so genannten "Blöcke aus Fragebogenseiten", die ich rotieren lassen - jeder dieser Blöcke besteht unter anderem aus einer der Zuordnungsaufgaben, bei denen sich die Items wiederholen. Alles weitere läuft aber super.

Vielleicht ist es darüber hinaus relevant, dass ich zwei weitere Zuordnungsaufgaben habe, bei denen sich die Items nicht wiederholen.
Es gibt auch einen wesentlichen Unterschied zwischen den insgesamt 4 Zuordnungsaufgaben (2 bei denen sich die Items ungewollt wiederholen und 2, bei denen dies glücklicherweise nicht der Fall ist):
- in den Zuordnungsaufgaben, in denen sich die Items wiederholen, zeige ich keine Anwortkategorien an. Hierfür habe ich in den Einstellungen "Antwortkategorien" keine Kategorie angegeben (damit den TN die Stimuli nur präsentiert werden).
- in den Zuordnungsaufgaben, in denen sich keine Items wiederholen, habe ich zwei Antwortkategorien "ja" und "nein", die die TN sowohl mit Maus, als auch mit Tasten auswählen können.

Da die Verweildauer für alle TN im gleichen Rahmen liegt, sehe ich bislang die einzige tatsächliche Ursache bei dem Browser. Hier werde ich nochmal die Betroffenen fragen und die Befragung selbst in anderen Browsern ausprobieren.

Falls Ihnen noch weitere Ursachen einfallen (in Anbetracht dass sich die Items nicht bei allen 4 Zuordnungsaufgaben wiederholen), freue ich mich!
by SoSci Survey (327k points)
Fehler einzugrenzen, wenn man sie nicht replizieren kann, ist schwierig. Als erstes wäre es also sinnvoll, wenn Sie einen Pretest-Link direkt zu der Seite erzeugen, wo der Fehler auftritt und diesen (a) hier posten und (b) auch nochmal einer betroffenen Person schicken, die denn bestätigen kann, dass das Problem erneut auftritt.

Weiterhin wäre es denkbar, dass das Problem nur bei einer bestimmten Reihefolge auftritt - wenn Sie dafür sorgen, dass die Leute die letzte Seite im Fragebogen nicht erreichen, dann könnte man die Reihenfolge in der Datenbank nachsehen. Dafür müssten Sie natürlich mitbekommen, wer zu welchem Zeitpunkt (zur Ermittlung der Fallnummer CASE) den Fehler hatte.

Und Sie sollten auch nochmal klären, wie häufig das Problem auftritt. Wenn es einer von 10 Pretests ist, würde ich sagen: Versehentlich auf die F5-Taste gekommen. Wenn es mehrere sind, wäre interessant, ob es ein Muster gibt.

> in den Zuordnungsaufgaben, in denen sich die Items wiederholen, zeige ich keine Anwortkategorien an.

Denkbar, dass es damit zusammenhängt. Man kann den Fragetyp zwar zum Präsentieren von Stimuli "missbrauchen", aber dafür gedacht ist er nicht. Allerdings fällt mir spontan auch nicht ein, weshalb es dann zu der Wiederholung kommen sollte.

> Da die Verweildauer für alle TN im gleichen Rahmen liegt

Die Verweildauer müsste ja ziemlich exakt definiert sein, wenn sie einfach nur Bilder abspielen. Wenn sie gleich ist, kann das bedeuten, dass die Seite neu geladen wurde (dann wird die Dauer nicht addiert) - vielleicht ein Problem mit Mobilgeräten? Safari, wenn man das Fenster gewechselt hatte vielleicht?

Vergleichen Sie mal die Summe der Verweildauern mit der Differenz zwischen STARTED und LASTDATA. Gibt es da bei den betroffenen Fällen eine Diskrepanz?

Generell sprechen die nicht-auffälligen Verweildauern dafür, dass die Wiederholung nicht im normalen Ablauf erfolgte.
by s189248 (165 points)
Vielen Dank! Die Vorschläge sind alle sehr hilfreich!

Ich werde mir Ihre Vorschläge die kommenden Tage genau angucken, weitere Pretests durchführen lassen und mich dann wieder melden! :)

Willkommen im Online-Support von SoSci Survey.

Hier bekommen Sie schnelle und fundierte Antworten von anderen Projektleitern und direkt von SoSci Survey.

→ Eine Frage stellen


Welcome to the SoSci Survey online support.

Simply ask a question to quickly get answers from other professionals, and directly from SoSci Survey.

→ Ask a Question

...