Wie funktioniert die Auswertung nach einer einfachen Randomisierung von 2 Bedingungen mit gleichem anschließenden Fragebogen?

Question

Ich teste in vier Abschnitten insgesamt 4 Bedingungen mit jeweils einer Kontrollgruppe. Dafür habe ich jeweils eine einfache Randomisierung (1 Bedingung + Kontrollgruppe) programmiert, um nach dem Zufallsprinzip eines der beiden Bilder anzeigen zu lassen. Danach kommt immer der gleiche Fragebogen, der aktuell nur in einer Version ausgespielt wird. Muss ich diesen duplizieren, damit ich jeder Bedingung die richtigen Ergebnisse aus dem Fragebogen zuordnen kann? Oder reicht ein Fragebogen pro Randomisierung (Bedingung und Kontrollgruppe)? Wie kann ich die Ergebnisse danach der Bedingung oder der Kontrollgruppe zuordnen?

Falls das nicht geht: Wie verkette ich die Bedingung mit dem jeweiligen Fragebogen?

Aktueller php-Code ohne Einbindung der Fragen:

if (value('T209') == 1) {
  text('T211');
  //Der angezeigte Text ist der HTML-Text des Bildes mit der Kennung BT01
} elseif (value('T209') == 2) {
  text('T210');
  //Der angezeigte Text ist der HTML-Text des Bildes mit der Kennung BT02
}

Comments

> Danach kommt immer der gleiche Fragebogen

Sie zeigen in einer Versuchsbedingung jeweils 4 Bilder und möchten zu jedem eine Bewertung?

Und ... was hat das mit der Auswertung (lt. Titel der Frage) zu tun?

---

Ich möchte nach jedem Bild den gleichen Fragebogen ausspielen, um Unterschiede in der Beantwortung des Fragebogens aufgrund der verschiedenen Bilder festzustellen. Es sind quasi 4 A/B Tests mit jeweils 2 Bildern (A oder B) und einem anschließenden Fragebogen. Ich frage mich nur, wie die Auswertung sein wird. Muss ich für Version A und Version B jeweils einen Fragebogen erstellen, auch wenn es der gleiche ist? Oder können die Ergebnisse der beiden Gruppen auch aus einem Fragebogen gezogen werden?

---

> Es sind quasi 4 A/B Tests mit jeweils 2 Bildern (A oder B) und einem anschließenden Fragebogen

Möchten Sie in allen 4 Tests systematisch 4 zusammenhängende Bilder zeigen also (A/A/A/A oder B/B/B/B) oder soll das zufällig variieren?

Wie lange ist denn der Fragebogen?

> Ich frage mich nur, wie die Auswertung sein wird.

Es ist absolut sinnvoll, das frühezeitig zu fragen. Aber Sie sollten auch schon eine Vorstellung davon haben, wie die Auswertung sein *soll*.

> Muss ich für Version A und Version B jeweils einen Fragebogen erstellen

Nein, normalerweise bauen Sie einen Fragebogen und variieren darin lediglich mittels Zufallsgenerator den Stimulus. Die Anleitung zur Randomisierung haben SIe bereits gelesen?

---

> Nein, normalerweise bauen Sie einen Fragebogen und variieren darin lediglich mittels Zufallsgenerator den Stimulus. Die Anleitung zur Randomisierung haben SIe bereits gelesen?

Ich habe alle Anleitungen dazu gelesen. Für mich stellt sich aber weiterhin die Fragen, wie ich die Daten aus beiden Gruppen A/ B aus einem Fragebogen extrahieren kann, sodass ich die verschiedenen Ergebnisse der richtigen Gruppe zuordnen kann. Vielleicht können Sie mir da noch Hinweise geben?

Da ich mir mit der richtigen Zuordnung der Ergebnisse zu den Gruppen unsicher bin, habe ich folgendes programmiert:

if (value('T109') == 1) {
  text('T111');
  question('T101');
  //Der angezeigte Text ist der HTML-Text des Bildes mit der Kennung BT01
} elseif (value('T109') == 2) {
  text('T110');
  question('T117');
  //Der angezeigte Text ist der HTML-Text des Bildes mit der Kennung BT02
}

Jeder Stimulus bekommt einen "eigenen" Fragebogen. Am Ende würde ich dann die Ergebnisse beider Fragebögen "IM-UXT1/B1 (questionT101)" und "IM-UXT1/K1 (questionT117)" miteinander vergleichen. Ist das so empfehlenswert?

---

In Ihrem Code zeigen Sie - je nach Zufallsziehung - entweder die frage T101 oder T117. Das heißt, Sie haben die Antworten zunächst in unterschiedlichen Variablen und müssen diese vor der Auswertung in dieselben Variablen umkopieren. Dies können Sie relativ einfach mit jeder gängigen Statistik-Software erledigen.

Werden in T117101 und T117 denn dieselben Dinge gefragt? Wenn ja, weshalb verwenden Sie unterschiedliche Fragen?

> Jeder Stimulus bekommt einen "eigenen" Fragebogen

Wie verknüpfen sie die Fragebögen miteinander?

---

> Werden in T117101 und T117 denn dieselben Dinge gefragt? Wenn ja, weshalb verwenden Sie unterschiedliche Fragen?

Ja, es handelt sich um die gleichen Fragen. Mir war nur nicht klar, dass ich aus einem Fragebogen eine genaue Rückverfolgung des vorherigen Stimulus machen lässt. Stimulus und Fragebogen sind ja nicht miteinander verknüpft, sondern nur auf einer Fragebogenseite.


> Wie verknüpfen sie die Fragebögen miteinander?
Ich verknüpfe nur den Stimulus mit jeweils dem zugehörigen Fragebogen.

---

> Stimulus und Fragebogen sind ja nicht miteinander verknüpft, sondern nur auf einer Fragebogenseite.

Sie haben die Variable T109 des Zufallsgenerators und die Frage zum Stimulus - die Zuordnung ist also gegeben, welcher Fall welchen Stimulus gesehen hat.

> Ich verknüpfe nur den Stimulus mit jeweils dem zugehörigen Fragebogen.

Ich meinte, wie Sie technisch dafür sorgen, dass die Teilnehmer:innen vom ersten zum zweiten Fragebogen kommen?

---

> Sie haben die Variable T109 des Zufallsgenerators und die Frage zum Stimulus - die Zuordnung ist also gegeben, welcher Fall welchen Stimulus gesehen hat.

Genau, da ich extra zwei identische Fragebögen erstellt habe, um die richtige Zuordnung der Gruppen zu sichern.

> Ich meinte, wie Sie technisch dafür sorgen, dass die Teilnehmer:innen vom ersten zum zweiten Fragebogen kommen?

Die Fragebögen sich nicht zusammenhängend. Es gibt insgesamt 4 Fragebogenseiten mit jeweils einem Stimulus (A/B) und anschließendem Fragebogen.

Vielen Dank für Ihre Hinweise.

---

> Genau, da ich extra zwei identische Fragebögen erstellt habe, um die richtige Zuordnung der Gruppen zu sichern.

Ob Sie die Unterscheidung nun aus der Variable QUESTNNR oder aus der T109 nehmen, spielt in der Auswertung keine Rolle. Aber das Duplizieren von Fragebögen ist ziemlich wartungsintensiv und damit Fehleranfällig (gemeint ist: Wenn man am Ende in einem Fragebogen etwas ändert, muss man das auch in allen anderen tun).

> Es gibt insgesamt 4 Fragebogenseiten mit jeweils einem Stimulus (A/B) und anschließendem Fragebogen

Ja schon ... aber die Befragten sollen schon alle 4 Fragebögen beantworten, oder?