Ziehung Prolific

Question

Hallo,

welche Ziehung empfiehlt sich bei prolific mit ca. 400 Teilnehmer*innen? In meiner prestudymit 119 hatte ich die "gleichverteile Ziehung ohne Rückgabe" und die Teilnehmenden waren perfekt auf beide conditions verteilt. Auch nach dem Data Screening.

Die Teilnehmenden wurden aber im Feld für die Online Frage gewonnen (mit QR Code).

Bei 400 und online bin ich aber unsicher.

VG

Answer 1

Die "gleichverteilte Ziehung ohne Zurücklegen" ist die Standard-Einstellung des Zufallsgenerators und funktioniert unter folgenden Voraussetzungen sehr gut:

• Es gibt kaum Abbrecher nach der Ziehung, das heißt, Sie sollten die Ziehung erst später im Fragebogen platzieren (nicht Seite 1 oder 2), normalerweise dort, wo Sie den Stimulus zeigen.
• Es müssen nicht zu viele Fälle aufgrund einer nachgelagerten Datenbereinigung entfernt werden.

Wenn die erste Voraussetzung nicht gegeben ist, sollten Sie über die "gleichverteilte Ziehung beim Abschluss des Interviews" nachdenken. Diese Variante kann aber zeitweise zu einer ungleichen Verteilung führen, wenn viele Personen den Fragebogen gleichzeitig ausfüllen. Für Ihren Anwendungsfall würde ich beim o.g. Standard bleiben.

Wenn die Bereinigung ein Problem darstellt, sollten Sie zusätzlich über einen Screenout-Filter anhand von Qualitätsmerkmalen zusammen mit einem setStatus('quality fail') nachdenken.

Comments

Hallo,

aus zwei prestudies weiß ich: ca. 20% brechen  ab und ca. 20-30% haben die Manipulation Checks falsch und werden deshalb ausgeschlossen.. Die Ziehung ist auf Seite 5 platziert.

Ich hatte jetzt für die prolific prestudy mit 20 Personen "systematische Ziehung (sequentielle Verteilung reihum)" verwendet. Die wurden mit 10 und 10 sauber auf beide conditions verteilt..

Was denken Sie? Trotzdem die Standard Einstellung wählen?

---

Wenn sich die Abbrecher und Quality Fails gleichmäßig auf die beiden Gruppen verteilen, können Sie auch die Verteilung reihum verwenden - wobei das statistisch ziemlich nahe an der gleichverteilten Ziehung ist, Sie riskieren damit nur etwas mehr zufälligen Fehler.

Mit anderen Worten: Bei den beiden Lösungen, welche nicht die abgeschlossenen Fälle kontrollieren, haben Sie (wenn der Abbruch nicht systematisch mit dem Stimulus zusammenhängt) die übliche Schwankung im Rahmen des Zufälligen. Bei zwei Gruppen ist das nicht dramatisch, außer wenn man zufällig Pech hat.

Wenn Sie dieses Problem ausschließen möchten, müssten Sie die Gleichverteilung in abgeschlossenen Fällen verwenden. Auch das kann aber zu Problemen führen, wenn viele Personen den Fragebogen gleichzeitig beginnen.

---

Hm... okay, also die Abbrecher brechen vor der Randomisierung auf Seite 5 ab... Die Quality fails dürften sich zukünftig auf beide Gruppen gleich verteilen. Somit scheint "gleichverteilte Ziehung ohne Zurücklegen" am besten.

Ich kann ja auch bei den ersten 100 schauen, wie die quality fails verteilt sind und dann notfalls die Randomisierungseinstellung anpassen? Falls das geht?

---

Ja, oder Sie können auch einfach nach jeweils 100 Befragten die Ziehung nachjustieren, wenn Sie sehen, wie viele in der Datenbereinigung noch entfernt werden müssen: https://www.soscisurvey.de/help/doku.php/de:create:questions:random#ziehungen_nachjustieren

---

Super, vielen Dank!