Experiment - EG und KG in 3 Runden mischen

Question

Hallo SoSci Survey Online Suport,

in meinem Experiment sind 3 Runden vorhanden, jeweils mit EG und KG.

Jetzt möchte ich gerne, dass die Zuteilung in EG und KG nicht wie in bisherigen Umfragen einmal am Anfang passiert und so bleibt (also EG bleibt EG und KG bleibt KG über alle Runden), sondern, dass hier vor Beginn jeder der drei Runden ein neuer Zufallsgenerator über EG und KG in der Runde entscheidet.

Brauche ich dafür drei verschiedene Zufallsgeneratoren am Anfang des Experimentes, die für jede Runde entscheiden, ob KG oder EG und putList()?

Gibt es die Möglichkeit EG, EG, EG sowie KG, KG und KG zu vermeiden? Oder würde dies bedeuten, dass das Experiment nicht mehr richtig randomisiert ist?

Vielen Dank im Voraus!

Comments

Ich empfehle dringend (!) Ihr Design zu überdenken. Sie werden im zweiten Experiment einen deutlichen Effekt der Manipulation aus dem ersten Experiment feststellen - also u.U. eine massive Überlagerung des Effekts in Experiment 2 durch Experiment 1.

> Gibt es die Möglichkeit EG, EG, EG sowie KG, KG und KG zu vermeiden?

Sie können gleich alle gewünschten Kombinationen (statt einzelne Zettel) in einen Zufallsgenerator legen. Dann können Sie festlegen, welche Abfolgen erlaubt sind.

> Oder würde dies bedeuten, dass das Experiment nicht mehr richtig randomisiert ist?

"richtig" ist hier nicht trivial. Sie haben technisch gesehen ein 2x2x2-Design mit 3 abhängigen Variablen ...

---

Ich habe mich in der Erklärung vielleicht etwas undeutlich ausgedrückt. Dieses Experiment (bei dem KG und EG beim selben Probanden wechselt) ist das erste Experiment in diesem Projekt.

Den Vergleich zum "anderen" Experiment (und Projekt) habe ich nur zwecks besserer Erklärung herangezogen.

Ändert dies Ihre Meinung?

Die drei Punkte am Ende Ihres letzten Satzes lassen auf mögliche Bedenken Ihrerseits schließen. Ich würde mich sehr freuen, wenn Sie diese mit mir teilen.

Würden drei verschiedene Zufallsgeneratoren (jeweils vor den 3 Seiten) bei Abbrechern helfen? Wenn ich alle möglichen Kombinationen in einem Zufallsgenerator am Anfang eintrage und dann eventuell viele Abbrecher bei Zettel 3 (z.B. EG, KG, EG) habe, würden drei verschiedene Generatoren dieses Problem vermeiden? Weil jede Entscheidung (EG oder KG) wirklich "zufällig randomisiert" ist?

Vielen Dank!

---

Ich habe Sie so verstanden, dass Sie jede Teilnehmer:in durch 3 Experimente "schicken" möchten, die Ihrer Meinung nach voneinander unabhängig sind. Ist das korrekt?

> Würden drei verschiedene Zufallsgeneratoren (jeweils vor den 3 Seiten) bei Abbrechern helfen?

Bei zwei Gruppen ist das Risiko, dass Abbrecher zui einer ungleichen Verteilung führen, eher gering.

---

Vielen Dank für Ihre Nachricht.

Es sind drei Runden eines Experimentes, die Runden unterscheiden sich voneinander, hängen aber alle thematisch zusammen. In jeder Runde gibt es EG und KG. Zum Beispiel: Runde 1: Produktqualität, Runde 2: Preis und Runde 3: Auswahl von Ersatzprodukten (substitute products).

Ich frage nach den Abbrechern, weil in einer anderen Studie (wo EG EG bleibt und KG KG bleibt), es mehr Abbrecher gab in der EG, obwohl beide Zettel genauso häufig gezogen wurden (gleichverteilte Ziehung). Die Aufteilung nach EG und KG erfolgte direkt nach den Datenschutzhinweisen (also nachdem diesen zugestimmt wurde). Es gab da in der EG mehr Abbrecher in den früheren Seiten als in der KG, womit mein Betreuer nicht ganz zufrieden war.

Gäbe es denn einen Vorteil einen Zufallsgenerator mit allen möglichen Kombinationen zu benutzen im Vergleich zu 3 Generatoren (jeweils vor der jeweiligen Runde)?

Vielen Dank!

---

> Es sind drei Runden eines Experimentes

Ich behaupte weiterhin, dass es ein 2x2x2-Experiement ist, denn die drei Runden sind voneinander nicht unabhängig.

Meine Empfehlung wäre deshalb, dass Sie nur einen Zufallsgenerator erstellen, darin 8 Zettel hinterlegen (inkl. K,K,K und E,E,E - ich sehe keinen Grund, diese Kombinationen wegzulassen) und sicherzustellen, dass diese 8 Bedingungen nach Abbrechern (also am Ende des Interviews) gleich häufig gezogen werden.

> Gäbe es denn einen Vorteil einen Zufallsgenerator mit allen möglichen Kombinationen zu benutzen im Vergleich zu 3 Generatoren (jeweils vor der jeweiligen Runde)?

Der Vorteil ist folgender. Bei drei separten Zufallsgeneratoren können Sie theoretisch (unwahrscheinlich aber möglich) 50-mal E,E,E und 50-mal K,K,K bekommen. Sie hätten dann in Runde 2 und in Runde 3 eeine massive Konfundierung durch Runde 1. Mit anderen Worten: Sie könnten die Daten in die Tonne treten.

Answer 1

Ich würde halt einfach zu Beginn einmal einen Zufallsgenerator setzen, der so viele Elemente enthält wie es gewünschte Bedingungen/Kombinationen geben soll?

also z.B.

1 = EG KG EG
2 = EG EG KG
3 = EG KG KG

4 = KG EG KG
5 = KG KG EG
6 = KG EG EG

Und dann auf den jeweiligen drei Fragebogenseiten für die entsprechenden drei Werte jeweils die E oder K Bedingung auswählen.

Die methodische Frage, ob es auch eine reine Experimental- und eine Kontrollgruppe geben muss, ist schwer zu beantworten, ohne mehr über den Inhalt der Studie zu wissen. Aber es scheint hier mehr um die Verhinderung von Reihenfolgen-Effekten zu gehen? In dem Fall würde ich einfach eine Ziehung ohne Zurücklegen empfehlen, um für alle Bedingungen gleich grosse Gruppen zu erhalten.