Randomisierung schlägt fehl

Question

Liebes Team,

irgendwo ist der Wurm drin.

Zur Orientierung:
Experimentalgruppe B101 erhalten Serienmail 5 sofort und 3 nach 10 Minuten
Kontrollgruppe B103 erhalten Serienmail 2 sofort und 4 nach 10 Minuten

1. Beim Pre-testen des Fragebogens fällt mir auf, dass nur die Zuweisung zur Gruppe 1 durchgeführt wird. Dass 10x hintereinander zu Gruppe 1 randomisiert wird, halte ich für unwahrscheinlich
2. Mal bekomme ich nur Serienmail 3 und 5 gar nicht, mal wurde mir Serienmail 3 korrekt nach 10 Minuten geschickt, aber dann nochmal nach 16 Minuten

Anbei mal mein Code:

Seite 9
[B102] Randomisierung

Seite 10

    `if (value('B102') == 1) {
  question('B101');
} else {
  question('B103');
}`

Seite 11

 if (value('B102') == 1) {
  $personID = value('B101');
  mailSchedule($personID, 5);
    
} else {
  $personID = value('B103');
  mailSchedule($personID, 2);
    
}
//debug($personID);
registerVariable($personID);

Seite 12

if (!isset($timepart1)) {
  // Zeit speichern
  $timepart1 = time();
  registerVariable($timepart1);

debug(value('B101'));

if($personID == value('B101')){
$zeitpunkt = strtotime('+10 minutes');

// Serienmail 3 an B101 nach 14 Tagen versenden. Für Test wurden 10 Minuten eingestellt.

mailResume($personID, 3, $zeitpunkt);
} else {

$zeitpunkt = strtotime('+10 minutes');  

// Serienmail 4 an B103 nach 14 Tagen versenden. Für Test wurden 10 Minuten eingestellt

mailResume($personID, 4, $zeitpunkt);
}}

// Prüfen, wie viel Zeit seit dem ersten Aufruf der Seite vergangen ist
if (time() < strtotime ('+5 minutes', $timepart1)) {
  // Unterbrecherseite anzeigen falls es weniger als 14 Tage sind,
  // damit Teilnehmer nicht schon früher die Fragen des zweiten Messzeitpunkts sehen können.
  option('resume', true); // Kein Hinweis, dass das Interview fortgesetzt wird
  option('nextbutton', false); // Weiter-Knopf ausblenden (Interview unterbrechen)
  text('ende3');  // Evtl. eine Verabschiedung zum ersten Fragebogen-Teil anzeigen
} else {
  // Ist der Teilnehmer nach 14 Tagen zurückgekehrt und somit die aktuelle Zeit minus die neue Zeit-Variable
  // größer als 14 Tage ist, dann wird die Befragung auf der nächsten Seite fortgesetzt
  goToPage('next');
}

Hier die DEBUG-Info:

[Information] Interview Nummer 762 wird fortgesetzt
[Information] Der Fragebogen base im Projekt Teilnahme_Experiment wird verwendet
[Information] Die Verweildauer auf Seite 11 war 69 Sekunden
[Verarbeitung] Lese Antworten von Seite 10+11
[Information] Antwort auf B101 = EKDC4GAHA2
[Information] Fragen bisher zu 100% vollständig beantwortet
[Verarbeitung] Erstelle Seite 12 in Fragebogen base
[Information] value("B102") = 1
[Information] value("B101") = "EKDC4GAHA2"
[Information] Versand der Serienmail 5 (Einladung) geplant für xx@xx.de (umgehend versenden).
[Information] Die Seite zeigt keine Inhalte, automatisch weiter mit Seite Nr. 13
[Verarbeitung] Erstelle Seite 13 in Fragebogen base
[Information] value("B101") = "EKDC4GAHA2"
debug() Inhalt: value('B101') = EKDC4GAHA2 (string)
[Information] value("B101") = "EKDC4GAHA2"
[Information] Versand der Serienmail 3 (Interview fortsetzen) geplant für xx@xx.de (03.01.2024, 16:19).
[Inhalt] Zeige Text ende3

Vielen Dank für die Hilfe! BG

Answer 1

Beim Pre-testen des Fragebogens fällt mir auf, dass nur die Zuweisung zur Gruppe 1 durchgeführt wird. Dass 10x hintereinander zu Gruppe 1 randomisiert wird, halte ich für unwahrscheinlich

Setzen Sie ggf. den Zähler im Zufallsgenerator zurück. Beim Pretest kann nämlich folgendes passieren:

1. Sie testen und der Zähler für Code 2 zählt von 0 auf 1.
2. Der Befragungszeitrau startet.
3. Sie testen erneut, nun wird natürlich Code 1 gezogen, denn dessen Zähler ist ja noch bei 0. Aber er wird nicht hochgezählt, weil Ihre Studie formal (weil der Befragungszeitraum schon läuft) ja schon im Feld ist, und die Zufallsziehung nicht mehr durch Tests gestört werden soll.

Mal bekomme ich nur Serienmail 3 und 5 gar nicht, mal wurde mir Serienmail 3 korrekt nach 10 Minuten geschickt, aber dann nochmal nach 16 Minuten

Der Spamfilter Ihres E-Mail-Clients oder E-Mail-Providers ist nicht daran schuld? Stellen Sie sicher, dass Sie für jeden Test eine neue E-Mail-Adresse verwenden (s. Wegwerfadressen) - denn Einladungen werden an jeden Adresseintrag nur einmalig gesendet. Mails zum Fortsetzen eines Interviews hingegen auch öfter. Eine Mischung aus mailSchedule() und mailResume() kann daher bei mehrfach verwendetem Adresseintrag zu unterschiedlichen Ergebnissen führen.