Rücklauf-Statistik bei Verwendung eines Zufallsgenerators

Question

Liebes Support-Team,
ich habe eine Frage zur Rücklauf-Statistik in einem Projekt mit einem Startfragebogen und einem Zufallsgenerator. Der Aufbau ist folgender:

Ein Startfragebogen enthält ausschließlich einen Zufallsgenerator mit gleichverteilter Ziehung ohne Zurücklegen. Anschließend werden die Teilnehmenden auf einen von drei separaten Fragebögen weitergeleitet, die alle gleich aufgebaut sind und sich nur in einem Aspekt (der experimentellen Manipulation) unterscheiden.

Der Zufallsgenerator scheint korrekt zu funktionieren. Aktuell wurden alle drei Bedingungen exakt gleich oft gezogen (208/208/208), und auch die Variable des Zufallsgenerators im Datensatz sieht unauffällig aus.

Allerdings unterscheiden sich die Rücklauf-Statistiken der drei Teilfragebögen deutlich. Insbesondere die unter "Klicks" bzw. "Interviews gesamt" angezeigten Werte weichen erheblich voneinander ab (41/67/51), obwohl die Randomisierung gleichmäßig erfolgt. Und auch in den abgeschlossenen Fragebögen finden sich deutliche Unterschiede (15/28/19). Dies ist ein Problem, da ich wahrscheinlich nicht mehr als 40Teilnehmerinnen pro Bedingung einwerben kann und so deutliche Unterschiede in der Gruppengröße bestehen. In vorherigen Studien hatte ich dieses Problem nie bei gleichem Aufbau.

Daher wollte ich nachfragen:
1. Was genau wird in der Rücklauf-Statistik unter "Klicks" bzw. "Interviews gesamt" gezählt?
2. Wie kann es sein, dass diese Werte zwischen den drei Teilfragebögen deutlich unterschiedlich sind, obwohl der Zufallsgenerator die Bedingungen gleich häufig zuweist?
3. Kann dies damit zusammenhängen, dass mehrere Studierende jeweils einen individuellen Teilnahmelink mit eigenem Referenzcode verwenden und ihre Versuchspersonen über diese Links teilnehmen, oder hat der Referenzcode keinen Einfluss auf diese Statistik?

Ich habe den Ablauf inzwischen so angepasst, dass die Einverständniserklärung im Startfragebogen vor der Randomisierung erfolgt. Ich bezweifel aber dass das etwas bewirken wird.

Vielen Dank für Ihre Hilfe!

Answer 1

1. Was genau wird in der Rücklauf-Statistik unter "Klicks" bzw. "Interviews gesamt" gezählt?

Klicks sind alle Aufrufe einer URL - das mehrfache Laden einer (Start-)Seite kann diesen Zähler schon in die Höhe treiben. Hierbei handelt es sich bestenfalls um eine grobe Orientierung, keinesfalls um eine verlässliche Messung.

"Interviews insgesamt" beschreibt die Anzahl der Fälle im Datensatz. Dabei taucht ein Fall im Datensatz erst auf, wenn irgendwelche Daten gespeichert wurden - wenn also mindestens einmal auf "Weiter" geklickt wurde. Diese Verhalten kann man ändern, aber normalerweise ist es schon sinnvoll, keine "leeren Interviews" im Datensatz anzuhäufen.

Bei den obigen Zahlen würde ich sagen, dass ca. 80% der Befragten den Randomisierung-Fragebogen aufrufen, dann die Seite aber direkt wieder schließen. Das kann auf eine unzureichend attraktive Begrüßung hindeuten.

1. Wie kann es sein, dass diese Werte zwischen den drei Teilfragebögen deutlich unterschiedlich sind, obwohl der Zufallsgenerator die Bedingungen gleich häufig zuweist?

Sie haben hier eine Ziehung ohne Kontrolle von Abbrechern. Wenn Sie aber 80% Abbrecherquote haben, dann schlägt das massiv zu Buche.

1. Kann dies damit zusammenhängen, dass mehrere Studierende jeweils einen individuellen Teilnahmelink mit eigenem Referenzcode verwenden und ihre Versuchspersonen über diese Links teilnehmen, oder hat der Referenzcode keinen Einfluss auf diese Statistik?

Nein, eine eventuelle Referenz im Link hat keinen Einfluss auf diesen Mechanismus.

Was helfen dürfte

1. Packen Sie die Begrüßung (ggf. auch Informed Consent) noch in den Randomisierungs-Fragebogen, sodass dieser min. 2 Seiten hat und die Weiterleitung erst auf Seite 2 oder 3 erfolgt. Wer den Link nur aufruft verzerrt die Zählung des Zufallsgenerators dann nicht mehr.

2. Gestalten Sie die Begrüßung attraktiver, vgl. Inhalt und Form

3. Tragen Sie im Zufallsgenerator die effektiven Rücklaufzahlen als Ziehungen ein, sodass die Abweichungen zeitnah ausgeglichen werden: Ziehungen nachjustieren