A/B Experiment mit unters. Situationsbeschreibungen und Fragen - Mehrere Fragebögen oder ein Fragebogen mit Randomisierung

Question

Liebes SoSciSurvey-Team,

ich würde gerne ein A/B Experiment durchführen, welches leicht abgewandelte Situationsbeschreibungen und Aussagen enthält. Die Teilnehmer in den beiden Gruppen sollten in ihrer Anzahl gleich sein.

Über das gesamte Experiment hinweg wird eine bespielhafte Situation dargestellt, die sich in beiden Gruppen unterscheidet.
Entlang der Situationsbeschreibung (diese unterscheidet sich in den Gruppen lediglich zu Beginn der Situation) erhält die Kontrollgruppe sowie die Testgruppe zwischen den Beschreibungen mehrere Aussagen, die sie auf einer Skala bewerten sollen.
Diese Aussagen unterscheiden sich jedoch zwischen den beiden Gruppen in ihrer Formulierung.
Ganz zum Schluss des Experiments soll ein Aussagen- und Fragenblock angezeigt werden, welcher für beide Gruppen identisch ist. Ich möchte mit dem Experiment auswerten, ob sich die Beantwortung dieser letzten Fragen zwischen den Gruppen unterscheidet und somit auf die unterschiedlichen Situationen und Aussagen der Gruppen zurückzuführen ist.

Nun frag ich mich, ob ich nach der Begrüßung und den soziodemografischen Fragen eine Zufallsauswahl wählen sollte, die der Hälfte der Teilnehmer einen anderen Fragebogen anzeigt als der anderen Hälfte oder ob ich hier nur einen Fragebogen verwenden sollte, in dem ich per PHP-Code die Aussagen und Beschreibung variiere. Welches Vorgehen wäre hier für die spätere Auswertung mit SPSS empfehlenswert? Welches Vorgehen würde es mir ermöglichen, den aller letzten Fragen-und Aussagenblock, der für beide Gruppen identisch ist, bestmöglich miteinander zu vergleichen?

Bei der Hilfeseite "Zufallsauswahl für Fragebögen" wird folgendes genannt: "Wenn die Experimentalgruppen in unterschiedliche Fragebögen bearbeiten, muss man besonders genau darauf achten, dass die Fragebögen vom Treatment abgesehen identisch sind. Wird z.B. nach dem Pretest eine Änderung nur in einem der Fragebögen vorgenommen, kann dies zu einer Konfundierung führen und dazu, dass man die Daten nicht mehr verwenden kann."
Was bedeutet das in meinem Fall? Würden meine beiden Gruppen mit der Variante der unterschiedlichen Fragebögen gerade nicht vom Treatment abgesehen identisch sein. Die Fragebögen würden sich ja in ihren Aussagenformulierungen und ggfs. in der Situationsbeschreibung unterscheiden.

Ich würde mich sehr über eure Hilfe freuen, vielen Dank!

Answer 1

Nachdem sich Situationsbeschreibung und der erste Fragenblock unterscheiden, werden Sie um ein bisschen PHP-Code nicht umhin kommen. Die entsprechende Anleitung haben Sie vermutlich bereits gefunden: Randomisierung mit PHP-Code

Welches Vorgehen wäre hier für die spätere Auswertung mit SPSS empfehlenswert?

Wenn Sie die Situationsbeschreibung variieren (einen von zwei Texten anzeigen) und die erste Frage (eine von zwi Fragen anzeigen), dann können Sie den Rest im Fragebogen ohnehin gleich belassen. Die einzige (kleine) Herausforderung bestünde dann darin, wenn Sie die Antworten auf die erste (variierte) Frage vergleichen wollten. Aber auch das wäre lösbar.

Wenn die Experimentalgruppen in unterschiedliche Fragebögen bearbeiten, muss man besonders genau darauf achten, dass die Fragebögen vom Treatment abgesehen identisch sind.

Ihr Treatment besteht aus der Situationsbeschreibung und der ersten Frage. Und den Rest wollten Sie ja ohnehin gleich lassen, korrekt?