Randomisierung der Seitenabfolge mit 'constraints'

Question

Hallo,
Für mein online experiment habe ich einen Fragenbogen erstellt, auf dem jede Frage auf einer einzelnen Seite steht, da die Teilnehmer/innen für jede einzelne Frage ein time-limit bekommen und zu dieser Zeit nur diesen einzelnen item sehen sollen.

Nun würde ich gerne die Abfolge der Seiten im Fragebogen randomisieren und habe mir schon die Hilfe hierfür durchgelesen (https://www.soscisurvey.de/help/doku.php/de:create:functions:setpageorder#reihenfolge_speichern). Mein Problem ist allerdings, dass ich noch einen weiteren Schritt benötigen würde, denn die Randomisierung meiner items (i.e. Seiten) soll gewissen constraints folgen. Einige meiner items sind nämlich 'distractors' während andere die eigentlichen target items sind, und ich würde gerne einstellen, dass z.B. immer mindestens ein distractor zw. 2 target items sein muss, sich target items nicht 'berühren' sollen etc. Ist dies überhaupt möglich? Ich bin hier leider jetzt etwas überfordert :S.

LG

Answer 1

Je nachdem, wie Ihre Ihrem aussehen, könnten Sie sich auch die Auswahlabfolge und die Zuordnungsaufgabe ansehen. Dort sind Zeitlimits direkt verfügbar - nur als Idee.

Wenn Sie gleich viele Distraktoren wie Targets haben, dann müsste die Abfolge immer T/D/T/D/T/D/... sein - ich vermute aber einmal, Sie haben mehr Distraktoren? Es gibt dann unterschiedliche Möglichkeiten, z.B:

(1) Sie können erstmal ein Array in der Abfolge T/D/T/D/T/D/... erstellen (mit einer FOR-Schleife würden Sie dafür in jedem Durchganz zwei Items ergänze, jeweils eins aus jeder vorher gemischten Teilliste). Und anschließend würden Sie die restlichen Distraktoren an zufällig ausgewählten Stellen im Array platzieren, das geht mit random() und array_splice() recht einfach.

(2) Sie könnten die Liste erstmal zufällig mischen. Anschließend gehen Sie die Liste so lange durch, bis alles passt. Wenn sie bei einem Durchgang zwei aufeinanderfolgende Targets finden, tauschen Sie das zweite Element mit dem nächsten Disktraktor in der Reihe. Dafür benötigen Sie 3 verschachtelte Schleifen.

Details gerne auf Nachfrage.

Comments

Hallo,
Vielen Dank für die rasche Antwort!

Leider sind Auswahlabfolge bzw. Zuordnungsaufgabe bei mir keine Option, da die Teilnehmer/innen ein Wort eingegeben müssen (sie hören entweder ein einzelnes Wort und geben dieses ein oder hören einen ganzen Satz und sehen diesen Satz auch als 'Lückentext' und müssen das fehlenede Wort eintippen).

Und genau, ich habe mehr Distraktoren als target items: es gibt zwei verschiedene Arten von target items (nennen wir sie A und B), und ich habe 4x A und 2x B und dann dazu 9 Distraktoren (nennen wir sie C), von denen 2 'Spezialfälle' sind, die nötig sind um die participants zu 'verwirren', aber idealerweise kommen diese nicht mit den A items in Berührung. Dh. meine constraints wären:
1) A items berühren sich nicht gegenseitg
2) B items berühren sich nicht gegenseitig
3) 'C-spezial' items und A items berühren nicht gegenseitig
4) keine target items in Position 1 oder 2 (damit die Teilnehmer/innen Zeit haben sich an die task zu gewöhnen).

Könnte ich noch genauere Informationen bezüglich Ihrer zwei Lösungsvorschläge bekommen :)? Ich hatte mir eigentlich so etwas ähnliches wie Option (2) überlegt, also händisch nachbessern, aber mir wurde gesagt dass so etwas bei reviewern ev. schlecht ankommen kann, u. es besser ist, ein System zu 'coden', dass dann eigenhändig nach den jeweiligen constraints randomisiert.

---

Nun, ich glaube bei so speziellen Anforderungen wird Lösung 2 die bessere Variante sein. Entgegen meiner obigen Beschreibung würde ich allerdings empfehlen, dass Sie ein unpassendes Item nicht mit dem übernächsten tauschen, sondern an eine zufällige Stelle in der Abfolge verschieben.

Alternativ - und vermutlich wäre das in Hinblick auf die Vergleichbarkeit der Teilnehmer besser - erstellen Sie eine optimale Abfolge, an welcher Stelle welcher Typus (A, B, C, D) kommt - und anschließend füllen Sie das aus den (vorher in sich gemischten) Pools von As, Bs, Cs und Ds auf. Wie gesagt: Ein klein bisschen weniger Randomisierung (genauer: Rotation) kann hier durchaus sinnvoll sein als maximale Vermischung (s. auch https://www.soscisurvey.de/help/doku.php/de:create:rotation#sinn_und_unsinn_der_rotation).

---

Vielen Dank für Ihre Antwort!
Das mit der optimalen Abfolge hätte ich mir eigentlich auch gedacht, aber meine Betreuer haben eben gemeint, dass auch hier randomisiert werden sollte. Oder würden Sie von dem stark abraten? Ich möchte an dieser Stelle noch ein paar mehr Details geben: die Studie benutzt ein within-subject design, und die Studienteilnehmer hören im Ganzen 60 items aufgeteilt auf 4 verschiedene conditions, je 15 items/condition, dh. wie oben beschrieben 4x A + 2x B + 9x C / condition. Im Vordergrund steht dann der Vergleich der 4 conditions, wobei ich aber auch bestimmte Gruppen an Teilnehmern untereinander vergleichen will.
Durch die 4 conditions wäre es wichtig, dass nicht jede condition dieselbe Reihenfolge an items hat, da participants sonst nach einiger Zeit herausfinden könnten, dass z.B. an 2. Stelle immer 'A' kommt etc. (Die items in der A-Kategorie und in der B-Kategorie sind jeweils sehr ähnlich, also das könnte theoretisch wirklich passieren).
Vielen Dank für Ihre Hilfe!

---

> aber meine Betreuer haben eben gemeint, dass auch hier randomisiert werden sollte

Rotation wird oftmals überschätzt. Es hängt vom Setting ab, aber ich würde nicht grundsätzlich dazu raten. Klären Sie mir Ihrem Betreuuer doch einmal, ob hier tatsächlich noch Reihenstellungseffekte (bei der Auswertung!) reduziert werden können oder ob Sie sich nur Mes-/Rotationssrauschen einhandeln.

Gerade wenn Sie 4 Versuchsbedingungen haben, würde ich die Priorität darauf legen, dass diese möglichst vergleichbar sind. Ich würde da sogar noch weniger rotieren, denn jede zufällige Rotation birgt das Risiko einer zufälligen Verzerrung zwischen den Gruppen. Das ist auch weit komplexer als Standardverteilungen, daher sind die Auswertungsmodelle und Signifikanztests in solchen Fällen schnell überfordert. Nur sieht man das in der Auswertung eben nicht.

Meine Empfehlung wäre, dass Sie für jede der within-subject-Bedingungen bestimmte Möglichkeiten a-priori festlegen und diese dann aber auch aufzeichnen und in der Auswertung kontrollieren. Das wäre deutlich aufwändiger, aber methodisch sauber.

Generell: Wenn Sie eine prototypische Abfolge haben, ist nicht mit systematischen Reihenstellungseffekten zu rechnen. Denn die 4 Stimuli sind ja jeweis an unterschiedlicher Stelle im Ablauf.

---

Danke, dann werde ich da nochmal Rücksprache halten!
Noch eine kurze Frage: "Wenn Sie eine prototypische Abfolge haben, ist nicht mit systematischen Reihenstellungseffekten zu rechnen. Denn die 4 Stimuli sind ja jeweis an unterschiedlicher Stelle im Ablauf."
Das verstehe ich nicht ganz - wenn ein stimuli immer früher gehört wird als ein anderer könnte es theoretisch doch zu einem Reihenstellungseffekt kommen, oder nicht?

---

Ah, das ist jetzt etwas unverständlich, denn ich habe vergessen zu erwähnen, dass die A und B stimuli unterschiedliche Typen aufweisen: A1, A2, A3, A4, B1, B2. Was ich gemeint habe ist, dass sich diesbezüglich dann Reihungseffekte ergeben könnten, wenn der Typ A1 immer an derselben stelle ist etc. Dh. es müssten die Typen innerhalb der Kategorie rotieren. Würde das klappen?

---

Ja, das wollte ich oben empfehlen: Wenn Sie die prototypische Reihenfolge aus A, B, C und D haben, dann befüllen Sie diese in zufälliger mit Reihenfolge mit den verfügbaren Ausprägungen von As, Bs u.s.w.

---

Perfekt, vielen Dank! Nur müsste ich dann wahrscheinlich pro condition eine andere prototypische Reihenfolge erstellen, nicht? Damit die Teilnehmer/innen nicht den "Rythmus" der einen prototypischen Reihenfolge durchschauen, die sie dann 4x erleben würden...

---

Um das zu beantworten, kenne ich das experimentelle Design nicht hinreichend genau. Aber das ist etwas, das Sie einfach mit dem Betreuer klären sollten. Klären Sie einfach, wo Reihenstellungseffekte auftreten können, welchen Effekt diese haben und welche Rotation Sie benötigen, um diese auszubalancieren.

---

Nach eingehender Rücksprache und Überlegungen sieht es jetzt so aus, dass ich ein paar prototypische Reihenfolgen von Seiten erstellen muss, aus denen das System dann zufällig eine auswählt. Jetzt stehe ich nur vor der Frage, wie ich das ganze mittels php-code umsetze. Könnten Sie mir hier behilflich sein?

---

Gerne ... aber bitte in einer neuen Frage. Hier wird's langsam unübersichtlich :)

---

Wird gemacht :)