Frage zur Urnenziehung

Question

Guten Tag,

ich habe eine Umfrage erstellt, bei der jeweils eine Kontrollgruppe nur halb so oft wie zwei Experimentalgruppen gezogen werden soll.

Wenn ich es teste, funktioniert dies jedoch gerade nicht. Worin kann der Fehler liegen?
Ich habe keine Einstellung vorgenommen, sodass für fertig abgeschlossene Fragebögen ohne Zurücklegen gezählt wird,

Zudem habe ich eine Umleitung zu dem fast identischen Fragebogen (gleiche PHP-Codes) eingestellt, in der die Darstellung für Smartphones nur auf einer Seite angepasst wurde.

Woran kann es liegen, dass die Kontrollgruppe und eine Experimentalgruppe fast gleich häufig (beide ca. 50 aktuell), jedoch die zweite Experimentalgruppe mehr Teilnehmer hat (ca. 70 aktuell).

In der Übersicht zur Urnenziehung wird mir die Ziehung korrekt angezeigt:
Zettel 2 - 1
Zettel 2 - 2
Zettel 3 - 2
Zettel 4 - 3
Zettel 5 - 3

Alle werden hier mit der gleichen Anzahl der Ziehungen angegeben?

Hätte ich zusätzlich noch eine Variable "Zufallsgenerator" anlegen müssen?
Könnte ich das im Nachhinein noch nachholen?

Vielen Dank für eine zügige Rückmeldung!!

Answer 1

Der Fragetyp "Zufallsgenerator" ist eine Weiterentwicklung der Urnen-Funktion, welche u.a. das Risiko für Programmierfehler deutlich reduziert. Wenn Sie eine Urne verwenden, benötigen Sie also keinen Zufallsgenerator und umgekehrt.

Ich habe keine Einstellung vorgenommen, sodass für fertig abgeschlossene Fragebögen ohne Zurücklegen gezählt wird,

Standardmäßig zählt urnDraw() die Ziehung sofort bei der Ziehung. Für eine genauere Antwort bräuchte ich von Ihnen bitte zwei Informationen:

1. Welche Anzahl an Ziehungen wird unter Spezialfunktionen -> Randomisierung mit Urnen angezeigt, wenn Sie die Urne anklicken? Bekommen Sie hier für alle Zettel (ungefähr) den gleichen Wert?

2. Haben Sie einen oder zwei Werte pro Zettel? Ihre Frage ist da nicht ganz eindeutig? Haben Sie die Daten einmal heruntergeladen und eine Häufigkeitsauszählung über die internen Variable(n) laufen lassen, in welche die Urnen speichert?

Bitte ergänzen Sie Ihre Frage auch um den im Fragebogen verwendeten PHP-Code und um eine Information, welche Werte in der(n) internen Variable(n) gespeichert werden. Danke.

Comments

1. Ja alle haben aktuell einen ähnlichen Wert von 78 Teilnehmern (wobei hier auch noch die Datensätze von einem Pretest/vorherigen Fragebogen mitgezählt wurden).

2. Pro Zettel ist nur ein Wert vermerkt. Ja ich habe den Datensatz als Zwischenstand downgeloadet und hier wird mir für die Gruppe 3 ca. 70 Teilnehmer für Gruppe 2 und 1 circa 50 Teilnehmer angezeigt.

Kann es was damit zu tun haben, dass die jeweiligen Datensätze unterschiedlich viele "vollständige" Fragebögen beinhaltet. Ich habe angegeben das bei nicht Beantwortung nur "nachgehakt" wird. Das heißt einige Fragebögen haben  fehlende Antworten. Dennoch kann ich mir nicht erklären, warum die Teilnehmerzahl von den Gruppen derart anders ausfällt?

Muss ich etwas beim Download beachten, sodass ich nur gültige Fälle erhalte?

Was meinen Sie mit den Werte, die in der interne Variable (IV01) gespeichert werden? Hier habe ich lediglich ein item ohne Beschriftung hinterlegt. Die interne Variable heißt "Gruppe". Im Datensatz werden unter der Variable die Werte 1,2 und 3 ausgegeben.

Für die Urnenziehung ist der Name "gruppe" hinterlegt. Die Zuteilung der Zettel ist wie im vorherigen Post angegeben.

Der PHP-Code sieht für die Seite mit dem unterschiedlichen bzw. fehlenden Stimulus wie folgt aus aus:

if (value('IV01_01')== 2) {
text ('ST01');
text ('ST02');
text ('ST04');
} elseif (value('IV01_01')== 3) {
text ('ST01');
text ('ST03');
text ('ST04');
}

ST02 und ST03 sind die jeweiligen Videos

---

> 1. Ja alle haben aktuell einen ähnlichen Wert von 78 Teilnehmern

Dann sollte das auch so in den Daten zu finden sein ... wobei Sie den PHP-Code mit dem urnDraw() hier nicht weiter ausgeführt haben, insofern kann ich nur spekulieren. Prüfen Sie doch bitte einmal, ob es einfach an den Abbrechern liegt? Dafür müssten Sie evtl. unter "Erhobene Daten" -> "Auswahlkriterien für gültige Fälle" einstellen, dass Sie auch unvollständig ausgefüllte Fragebogen herunterladen möchten.

---

Es wurden alle Datensätze gedownloaded. Auch unvollständige.

Welche weiteren Angaben benötigen Sie zum PHP Code?
Auf einer vorherigen Seite wurde noch folgender PHP Code hinterlegt

urnDraw('gruppe', 'IV01');

Zudem wurden einige Folgeseiten gefiltert, indem nur Gruppe 2 und 3 die Seiten angezeigt wurden. Beispiel:

if (value('IV01_01')== 2) {
question('WR01');
} elseif (value('IV01_01')== 3) {
question('WR01');
}

Die Frage WR01 sollte also nur für die Gruppe mit Stimulus angezeigt werden. Das funktioniert auch alles.

Jedoch ist wie gesagt der Datensatz (Die Anzahl der Fälle zu den Gruppen) nicht entsprechend der festgelegten Anteile der Urne "gruppe" (1/2/2/3/3).

---

> urnDraw('gruppe', 'IV01');

Diese Zeile hatte mich noch interessiert. Wenn hier kein dritter Parameter angegeben ist, dann "zählt" eine Ziehung direkt nach Erreichen dieser Seite. Das bedeutet aber auch, dass in den Datensätzen 78 Fälle pro Ausprägung der Urne vorliegen sollten. Abzüglich der Testdaten.

Könnten Sie wohl bitte einmal eine Häufigkeitsauswählung über IV01_01 nur über die letzten 50 Fälle (laut CASE) laufen lassen?

---

Liegt es also dann daran, dass die Gruppen ungleich sind, weil man einstellen hätte müssen, dass das die Ziehung erst gültig ist, wenn die letzte Seite erreicht wird? Hat also keine reguläre "Ziehung ohne Zurücklegen" stattgefunden? Auf der Anleitungsseite zum Randomisieren mit Urne stehen hierzu keine weiteren Anweisungen?

Es sind aktuell insgesamt 211 Fälle (exklusive Pretest von 33) Die Urnenziehung zeigt 399 gezogene Zettel an und jeweils 79/80 "entnommene Fälle" bei jedem der 5 Zettel.

Der Datensatz (unbereinigt, also inkl. Fällen mit fehlenden Angaben, ggf. abgebrochene Fragebögen) zeigt folgende Häufigkeitsverteilungen.

60 Teilnehmer in Gruppe 1 (Zettel 1)
63 Teilnehmer in Gruppe 2 (Zettel 2+3)
88 Teilnehmer in Gruppe 3 (Zettel 4+5)

---

Entschuldigen Sie - zu den letzten 50 Fällen:

Gruppe 1: 15 Fälle
Gruppe 2: 17
Gruppe 3: 22

---

Ist es möglich der Urne (trotz laufendem Umfrage) nun noch den Zusatz ‘end’ hinzuzufügen?

Kann ich außerdem die Urne nun noch so ändern dass die Kotnrollf-Gruppe (1) nicht mehr gezogen wird? Müsste ich dazu die aktuelle Urne löschen und eine neue Urne nur mit den Gruppen 2 und 3 anlegen?

---

Mit Bitte um eine zügige Rückmeldung. Es handelt sich um ein sehr wichtiges Projekt.

---

> Es handelt sich um ein sehr wichtiges Projekt.

Als Projektbeschreibung steht dort "Masterarbeit". Ich denke, die meisten Projekte auf www.soscisurvey.de dürften sehr wichtig sein ... zumindest für die jeweiligen Projektleiter.

Wäre es Ihnen recht, wenn ich mir das Problem einmal direkt ansehe? Sprich, wenn ich einen Adminsitrator-Login einrichte und in die Daten und die Programmierung schaue? Wenn selbst die letzten Fälle so stark von der Gewichtung abweichen, dass ist da irgend etwas im Argen.

> ann ich außerdem die Urne nun noch so ändern dass die Kotnrollf-Gruppe (1) nicht mehr gezogen wird?

Davon würde ich unbedingt abraten. Dies kann zu einer massiven Konfundierung führen und das komplette Experiment kompromittieren.

---

Ja bitte sehen Sie sich das Problem über den Admin an!

---

Sie haben 3 Fragebögen im Befragungsprojekt. Gehe ich recht in der Annahme, dass standardmäßig MA2 verwendet wird und bei Smartphones erfolgt eine Weiterleitung auf MAS. MA1 wäre demnach nicht in Verwendung?

---

Ja genau so ist es.

---

Bei den "Auswahlkriterien für gültige Fälle" war eingestellt, dass nur Datensätze abgerufen werden sollen, bei denen mindestens bis Seite 14 ausgefüllt wurde. Ich habe diese Einschränkung einmal entfernt und alle Daten nach IV01_01 ausgewertet. Daran liegt es offenbar nicht:

1 -> 64
2 -> 68
3 -> 93

Allerdings konnte ich eine andere Ursache lokalisieren. Und zwar werden vor dem Abschicken von Seite 4 (Skala) außer der IV01_01 überhaupt keine Daten im Datensatz gespeichert. Das führt dazu, dass SoSci Survey diese Fälle nicht im Datensatz aufführt.

Ich habe in den Projekt-Einstellungen -> Datenschutz nun eingestellt, dass auch die Datensätze leerer Interviews aufbewahrt werden sollen. So lässt sich die korrekt Funktion der Urne zumindest überprüfen.

Ich vermute, dass das Problem genau darin liegt: Viele Teilnehmer haben vermutlich beim Video abgebrochen. Etwa deshalb, weil sie in einer Umgebung sitzen, wo sie kein Video ansehen können oder wollen (U-Bahn, Arbeit, ...). Und es ist ja durchaus plausibel, dass sie in den Gruppen mit Video deutlich mehr solche Abbrecher haben.

Eine Lösung ist das nun erstmal nicht. Dafür wäre es wohl tatsächlich sinnvoll, dass Sie beim urnDraw() das "end" ergänzen. Die bisher vorliegenden Daten ändert das natürlich nicht mehr ... und von einer EInschränkung auf die Experimentalgruppen 2 und 3 würde ich aus den o.g. Gründen abraten.

---

Vielen Dank. Ich würde dann den PHP-Code anpassen. Kann ich das in den vorhandenen Fragebögen einfach jetzt ergänzen - ist das sicher?

Muss ich sonst irgendwas dabei beachten - z.B. die Urne zuvor zurücksetzen?

---

Diese Änderung sollte keine Probleme verursachen. Behalten Sie die Urne nur ein wenig im Auge, ob korrekt (weiter-)gezählt wird.

Ein Zurücksetzen der Urne ist nicht erforderlich, schadet aber auch nicht.