0 votes
in SoSci Survey (dt.) by s214520 (120 points)

Hallo!
Ich habe jetzt schon in 3 kleinen Studien zwischen 3 Treatments randomisiert, indem ein Link angeklickt wurde und von diesem dann zufällig (ohne zurücklegen) auf einen der 3 Fragebögen verwiesen wurde. Wir haben festgestellt, dass es dabei immer zu der Situation gekommen ist, dass eine Gruppe auffällig klein ausfiel, obwohl in die Anzahl der Ziehungen gleich war. Der Twist ist: es ist nicht immer der gleiche Fragebogen, sondern bisher waren es unterschiedliche, das heißt an dem Code von einem der drei Fragebögen kann es nicht liegen. Auch die Verteilung der Dropouts unterscheidet sich (weniger gleichmäßig bei diesem einen Fragebogen).
Ich weiß jetzt schon, dass es ratsam ist, die Begrüßung für alle gleich zu machen und anschließend zu randomisieren - was mich aber wundert ist, dass es wirklich immer einen Frageogen gibt, der auffällig ist, es sich aber immer um andere Fragebögen handelt...

Gibt es da andere Faktoren, die beim Randomizer einen Einfluss haben können?

Vielen Dank im Voraus!!

1 Answer

+1 vote
by SoSci Survey (335k points)

Ich vermute, Ihre Beobachtung ist ganz klassische Stochastik. Die Dropdouts sind zufällig verteilt, und bei kleineren Stichproben (<1000) sind es mal hier, mal da mehr oder weniger.

Meine Empfehlung ist, dass Sie nur dann zwischen Fragebögen randomisieren, wenn das unbedingt notwendig ist. Und wenn Sie kleine Fallzahlen haben, dann möchten Sie vielleicht sogar mit mutliLevelDown() arbeiten, sodass man eine "Gleichverteilung in vollständigen Fragebögen" verwenden kann (welche aber wieder Nachteile hat, wenn mehrere Befragte gleichzeitig mit dem Ausfüllen beginnen).

In den allermeisten Fällen ist es deutlich zielführender, mit nur einem Fragebogen zu arbeiten und dort lediglich per PHP-Code die Teile zu randomisieren, welche zum Treatment gehören.

Willkommen im Online-Support von SoSci Survey.

Hier bekommen Sie schnelle und fundierte Antworten von anderen Projektleitern und direkt von SoSci Survey.

→ Eine Frage stellen


Welcome to the SoSci Survey online support.

Simply ask a question to quickly get answers from other professionals, and directly from SoSci Survey.

→ Ask a Question

...