Fehlerquelle Verteilung der Ziehung im Zufallsgenerator

Question

Liebes Supportteam,

ich habe eine sehr ungleichmäßige Verteilung erhalten nachdem ich den Zufallsgenerator benutzt habe. Mit sehr ungleich meine ich: 15 Bedingungen 1x, eine Bedingung 85x (N = 100).

• Ich hatte direkt bevor ich das Experiment habe laufen lassen nochmal alle Daten gelöscht (wobei bereits vorhandene Ziehungen aus meinen Probeläufen nur minimale Abweichungen hätten erklären können)
• Das Gros der Teilnehmer hat über einen Zeitraum von 45min die ~10min lange Studie begonnen
• Ich schaue mir gerade direkt die Verteilung der Variable an (also nicht etwa durch meine späteren Kodierungen verfälscht). Auf SosciSurvey wird übrigens angezeigt, dass die eine Bedingung 0x gezogen wurde (vermutlich liegt hier irgendwo der Fehler).

Bisher hatte ich immer sehr gute Erfahrungen mit dem Zufallsgenerator und meine Hauptfrage ist eigentlich wo ich jetzt den Fehler suchen könnte?

Vielen Dank
Chris

Answer 1

Danke für die Berechtigung, direkt auf das Projekt zuzugreifen.

Einen kleinen Fehler konnte ich im PHP-Code identifizieren. Sie haben den Zufallsgenerator UR01 (der nur einen Zettel zieht) und verwenden darunter folgenden Code:

$urne = value('UR01x01');

Die Variable UR01x01 gibt es aber gar nicht, nur UR01. Allerdings fängt SoSci Survey das ab und liefert korrekt den gezogenen Code. Das war also nicht die Ursache.

Die Suche ging weiter bis in die Tiefen der Datenbank. Hier offenbarte sich schließlich eine böse Inkonsistenz. Alle Ziehungen waren korrekt vermerkt - nun die Ziehung für den Code 4 wurde zwar mit korrekter Frage-ID aber mit fehlerhafter Projekt-ID abgespeichert. Genau ... das hätte gar nicht erst passieren dürfen.

Zu welchem Projekt gehörte die andere ID? Zu "tttttest", ebenfalls in Ihrem Benutzerkonto. Daraus schließe ich, dass sich der Zufallsgenerator irgendwo beim Wechsel zwischen den Befragungsprojekten verschluckt hat. Die 4 war im falschen Projekt gespeichert und von dort an konnte sie zwar gezählt, aber nicht mehr ausgelesen werden.

Fazit: Leider wurde die Erhebung durch einen Software-Fehler zunichte gemacht. Wo genau dieser liegt, muss ich nun weiter recherchieren...

Im Zuge des Problems wurden selbstverständlich umgehend Änderungen an SoSci Survey vorgenommen, welche kritische Konstellationen (Ausfüllen eines Fragebogens im Debug-Modus, während man zwischenzeitlich in ein anderes Befragungsprojekt gewechselt hat) verhindern. Ob die Konstellation, welches das Problem verursachte, damit auch tatsächlich beseitigt ist, kann ich aktuell leider nicht mit Sicherheit sagen. Das Problem trat in 5 Jahren nur ein einziges Mal auf bzw. wurde nur einmal berichtet... Es sind also eher spezielle Bedingungen.

Comments

Es könnte sehr gut sein, dass ich während ich verschiedene Testversionen getestet habe genau so eine kritische Konstellation kreiert habe. Beruhigend ist aber vor allem zu Wissen, dass dieser Fehler im Normalfall so nicht auftreten sollte.

Sehr vielen Dank für die schnelle und ausführliche Antwort!

Answer 2

Auf SosciSurvey wird übrigens angezeigt, dass die eine Bedingung 0x gezogen wurde (vermutlich liegt hier irgendwo der Fehler).

Das ist vermutlich die Bedingung, die am Schluss 85-mal gezogen wurde? Schlecht ... tut mir leid, dass der Zufallsgenerator in Ihrer Studie für Probleme sorgte.

Als erstes wäre wichtig zu wissen, was beim Zufallsgenerator bei "Art der Ziehung" ausgewählt wurde? Probleme kann es beispielsweise geben, wenn "gleichverteilte Ziehung in abgeschlossenen Fragebögen" ausgewählt wird und der Fragebogen nicht die letzte Seite erreichen kann. Dann wird die Ziehung nicht gezählt.

Das Gros der Teilnehmer hat über einen Zeitraum von 45min die ~10min lange Studie begonnen

Wenn die Teilnehmer in relativ kurzer Zeit teilnehmen, kann die o.g. Einstellung auch zu Verzerrungen führen - aber nur zu vorübergehenden, die sich dann wieder ausgleichen. Daran dürfte es m.E. nicht liegen.

Ebenfalls wichtig zu wissen ist, dass der Zufallsgenerator nur im "normalen" Interview (MODE="interview") funktioniert - aber ich vermute, dass Sie den Text auch nicht mit Pretest-Links durchgeführt haben?!

Wenn es überhaupt nicht an der Einstellung oben liegt, dann kann ich auch eine technische Fehlfunktion nie vollkommen ausschließen. In diesem Fall würde ich mir das Ganze aber sehr gerne direkt ansehen - das wäre ja schon eine massive Fehlerfunktion. Wäre es ggf. in Ordnung, wenn ich einen Administrator-Login für das betroffene Projekte (wie heißt dieses) einrichte?

Comments

Ja genau: die Bedingung, die ich so häufig in meinen Ergebnissen finde ist genau diejenige, die laut Sosci 0x gezogen wurde.

Der Zufallsgenerator ist auf "equally distributed (draw without returning)" eingestellt, sodass das Nichtabschließen meines Verständnisses nach nicht die Fehlerquelle sein sollte.

 - Ich dachte zunächst auch erst, dass ein massiver Teilnahmebeginn das Problem sei, aber dafür sind die Startzeiten doch wieder zu verteilt

 - Der Test lief mit dem regulären Link (und Anhängseln): https://www.soscisurvey.de/psamp4/?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

Sehr gerne können Sie sich das Projekt genauer anschauen, ich bin natürlich sehr interessiert daran, dass der Fehler gefunden wird. Reicht Ihnen "psamp4" oder welchen Namen genau müssten Sie wissen?