0 votes
in SoSci Survey (dt.) by s191056 (135 points)

Hallo,

wir haben eine Befragung gestartet, wo zunächst ein random - Fragebogen ausgegeben wird und dann nach der 3. Seite zufällig einer von sechs unterschiedlichen Fragebögen ausgegeben wird.

Nun war es so, dass einer der sechs Fragebogen viel zu wenig gültige Fälle hatte (verglichen mit den anderen). Daher haben wir den nun für ein paar Tage als Standard-Fragebogen eingestellt, also alle Teilnehmer:innen bekommen jetzt ein paar Tage eben alle nun den einen und wir hoffen so, genug gültige Fälle zu bekommen.

Jetzt habe ich das eben getestet und es funktioniert auch, allerdings erscheint nun bei den erhobenen Daten bei der Spalte "SERIAL" keine CASE Nummer". Das war sonst bei allen anderen gültigen Fällen immer der Fall. Woran kann das liegen und was bedeutet das?

In der Spalte "CASE" steht eine Nummer.

Vielen Dank im Voraus!

1 Answer

+1 vote
by SoSci Survey (331k points)

Wenn Sie die Funktion goToQuestionnaire() verwenden, dann bekommen Sie zwei Datensätze: Den vom ersten Fragebogen und den vom zweiten Fragebogen, zu dem Sie die befragte Person umleiten.

In diesem Fall wird die Fallnummer (CASE) des ersten Datensatzes im zweiten Datensatz vermerkt, damit man die beiden Datensätze zuordnen kann.

In Ihrem geänderten Setting haben Sie nur einen Datensatz, also keine Notwendigkeit der Zuordnung.

Ein Hinweis noch: Die Befragten, die zu unterschiedlichen Zeitpunkten teilnehmen, sind wahrscheinlich unterschiedich. Warum sollten sonst einige früher teilnehmen und einige später. Das heißt also, dass Sie in Ihrer Extra-Experimentalgruppe nun systematisch andere Personen haben als in den anderen Experimentalgruppen. Als Reviewer würde ich behaupten, dass Sie sich damit womöglich eine fiese Konfundierung eingehandelt haben!

by s191056 (135 points)
Vielen Dank für die Antwort. Ich habe das jetzt mit meiner Betreuerin besprochen und wir überlegen, ob es eine Option wäre, innerhalb der Zufallsauswahl, die wir für die sechs Fragebögen vorgenommen haben, nachträglich noch eine Gewichtung vorzunehmen. (So wie es hier https://www.soscisurvey.de/help/doku.php/de:create:random_questionnaire erklärt wurde). Allerdings steht auf der Seite, wo man die Zufallszeihung einstellen kann folgendes:

"Wichtig: Ändern Sie die Zuordnung von Codes zu Inhalten nicht mehr, wenn Sie bereits Daten erhoben haben."

Das verwirrt mich. Würde das grundsätzlich funktionieren und was müssten wir da beachten? Gibt es ansonsten eine andere Möglichkeit, den einen Fragebogen "zu pushen" (er hat nicht höhere Abbrecherquoten, er wird einfach seltener ausgegeben).

Vielen Dank im Voraus!
by SoSci Survey (331k points)
> nachträglich noch eine Gewichtung vorzunehmen.

Im Prinzip ändern Sie auch damit nichts am Problem, Sie schwächen es nur ab. Aber da Sie nicht wissen, wie groß das Problem ist, hilft es Ihnen auch nichts, es abzuschwächen.

> Ändern Sie die Zuordnung von Codes zu Inhalten nicht mehr, wenn Sie bereits Daten erhoben haben.

Nein, das sollten Sie wirklich nicht machen. Sonst haben Sie am Ende ein großes Chaos in Ihren Daten, weil u.U. nicht mehr klar ist, welches Codes zu welcher Versuchsbeding gehören.

Technisch lässt es sich relativ gut machen, ein paar Code am Ende zu ergänzen - für die Gewichtung.

Aber wenn man sich nicht das Risiko der Konfundierung antun will, ist es u.U. am besten, mit den ungleich großen Gruppen zu leben. Das ist optisch nicht so schön, aber statistisch nicht wirklich schlimm.

> er hat nicht höhere Abbrecherquoten, er wird einfach seltener ausgegeben

Der Zufallsgenerator wird, wenn Sie "gleichverteilte Ziehung" eingestellt haben, jede Zahl gleich häufig ziehen. Rechts von den Codes steht auch genau, wie häufig jeder Code gezogen wurde.

Wenn es also nicht an den Abbrecherquoten liegt, dann wäre erstmal zu klären, woran es dann liegt. An der Zufallsziehung dürfte es - bei korrekter Einstellung - nicht liegen.
by s191056 (135 points)
An sich wäre das mit den ungleich großen Gruppen kein Problem, allerdings sind wir noch entfernt von der Mindestanzahl an Teilnehmern für den einen Fragebogen... wir brauchen also zwingend noch gültige Fälle für den Fragebogen.

Die Zufallsziehung ist auf "Gleichverteilte Ziehung ohne zurücklegen" eingestellt. Jeder der sechs Fragebögen hat einen Code bekommen. 5 der 6 Fragebögen wurden ca. 45 Mal ausgegeben, der sechste (wo wir eben noch mehr brauchen), knapp 30 Mal. Er unterscheidet sich schon deutlich von den anderen...

Wir wären sehr dankbar, wenn Sie uns da irgendwie noch helfen könnten, das alles auszugleichen.
by SoSci Survey (331k points)
Was zeigt denn das Feld rechts von den Codes an?
by s191056 (135 points)
edited by s191056
dort steht: bisher gezogen
1: 52
2 :52
3: 52
4: 51
5: 51
6: 51

der 1. ist der Fragebogen, den es betrifft. Die Klicks auf der Seite der Rücklauf-Statistik zeigen aber etwas anderes. Dort ist der Unterschied deutlich erkennbar. Der betreffende Fragebogen beinhaltet einen 3min langen Videostimulus, alle anderen fünf Fragebögen lediglich Texte. Ich weiß nicht inwiefern das evtl. mit reinspielt.
by SoSci Survey (331k points)
> Die Klicks auf der Seite der Rücklauf-Statistik zeigen aber etwas anderes

Sie haben mit unterschiedlichen Fragebögen gearbeitet und mit goToQuestionnaire()? Wir weisen ja in der Anleitung explizit darauf hin, dass man dabei das Risiko für ungleiche Gruppengrößen erhöht (https://www.soscisurvey.de/help/doku.php/de:create:random_questionnaire), insbesondere dann, wenn man die Randomisierung gleich auf der ersten Seit platziert. Nachdem man auf der ersten Seite ("mal schauen, was das ist ... ah, nee, keine Lust") eine große Anzahl Abbrecher haben kann, riskiert man hier besonders starke Verzerrungen.
by s191056 (135 points)
die Randomisierung ist auf der dritten Seite platziert. Alle erhalten zunächst die gleichen ersten beiden Seiten (Begrüßung, Datenschutz)
by SoSci Survey (331k points)
In diesem Fall dürfte die Verteilung der Zufallsvariable (Häufigkeitsauszählung) keine größeren Abweichungen aufweisen, ist das korrekt?
by s191056 (135 points)
Wie könnte dann nun eine Lösung aussehen? Vor allem auch wenn man die Problematik mit der Konfundierung miteinbezieht. Wenn ich es richtig verstanden habe, wäre eine nachträgliche Gewichtung grundsätzlich technisch möglich.
Ich müsste dann ein

7 = (Name vom betreffenden Fragebogen)

hinzufügen, richtig? Gäbe es sonst noch etwas zu beachten?
Ich denke, dass wir irgendetwas vornehmen müssen. Wir könnten natürlich den Fragebogen (so wie er jetzt grad ist) einfach Weiterteilen und hoffen, dass wir irgendwie noch auf genug Proband:innen kommen... allerdings ist der Unterschied zu den anderen fünf Fragebögen zu groß und wenn man bedenkt, dass dann wieder unendlich viele Teilnehmer:innen bei den anderen 5 Fragebögen landen.... (wo wir die Mindestzahl schon erreich haben)..
by s191056 (135 points)
Was meinen Sie mit "Verteilung der Zufallsvariable (Häufigkeitsauszählung) keine größeren Abweichungen aufweisen, ist das korrekt?"

Beziehen Sie sich da auf die "bisher gezogen"?

Dort steht
1: 52
2 :52
3: 52
4: 51
5: 51
6: 51

und es ist kein Unterschied erkennbar.
by SoSci Survey (331k points)
Bitte laden Sie den Datensatz einmal herunter und erstellen Sie damit eine Häufigkeitsauszählung für die Variablen QUESTNNR und die Variable, die zu Ihrem Zufallsgenerator gehört.
by s191056 (135 points)
hm, wie genau funktioniert das bzw. mit welchem Programm könnte das gemacht werden?
by SoSci Survey (331k points)
> Wie könnte dann nun eine Lösung aussehen? Vor allem auch wenn man die Problematik mit der Konfundierung miteinbezieht.

Wenn Sie eine Konfudierung sicher vermeiden möchten, dann werden Sie nicht umhin kommen, mit den unterschiedlich großen Gruppen zu leben. Jede gezielte Verzerrung der Zufallsziehung kann unbeabsichtige Nebeneffekte im Sinne einer Konfundierung verursachen.

Es geht hier aber um eine methodische Abwägung - die kann ich Ihnen nicht abnehmen.

> 7 = (Name vom betreffenden Fragebogen)

Ja, genau.

> hm, wie genau funktioniert das bzw. mit welchem Programm könnte das gemacht werden?

Ich hoffe sehr, dass Sie mit der statistischen Datenauswertung (z.B. in SPSS, Stata oder R) bereits vertraut sind ... das berechnen einer Häufigkeitstabelle (Verteilung) gehört auch dazu.
by s191056 (135 points)
Ach so, natürlich. Leider haben wir keinen Zugriff auf SPSS über unsere privaten Rechner.
by s191056 (135 points)
Das hinzufügen von
 7= (Name des Fragebogens)

hat dann keine Auswirkungen auf den Datenzsatz / Auswertung?
by SoSci Survey (331k points)
Nicht wirklich. Aber Sie sollten im der rechten Eingabefeld auch noch 7=52 eintragen. Sonst wird 52 Aufrufe lang nur der Fragebogen zum Code 7 aufgerufen.

Willkommen im Online-Support von SoSci Survey.

Hier bekommen Sie schnelle und fundierte Antworten von anderen Projektleitern und direkt von SoSci Survey.

→ Eine Frage stellen


Welcome to the SoSci Survey online support.

Simply ask a question to quickly get answers from other professionals, and directly from SoSci Survey.

→ Ask a Question

...