Urnen vs. Zufallsgenerator

Question

Liebe Community,

für eine Forschungsarbeit möchte ich ein Survey-Experiment mit vier Gruppen erstellen (3 Experimentalgruppen, eine Kontrollgruppe; N= ungefähr 1000), die jeweils einen anderen Text als Stimulus bekommen. Soweit ich es verstehe, ist für ein einfaktorielles Design der Zufallsgenerator am besten geeignet. Jedoch werde ich möglicherweise in manchen Gruppen unter 250 Personen haben. Dazu steht in der Beschreibung des Zufallsgenerator:

"Bei der zufälligen Ziehung mit Zurücklegen müssen Sie vor allem in kleinen Stichproben (weniger als ca. 250 pro Untersuchunsgruppe) damit rechnen, dass sich die Befragten im Rahmen des statistischen Auswahlfehlers ungleichmäßig auf die Untersuchungsgruppen verteilen."

Das möchte ich auf jeden Fall vermeiden. Dementsprechend bin ich unsicher, ob ich hier doch eine Urnenziehung/andere Alternative bevorzugen sollte und würde mich hier sehr über eine Einschätzung freuen!

Falls die Empfehlung dennoch in Richtung Zufallsgenerator geht: Meine Daten werden durch ein Panel erhoben, das eine ungefähre Gleichverteilung der Geschlechter nicht jedoch der Bildung garantiert. Dementsprechend müsste (qua Gesetz der Großen zahlen) auch beim Zufallsgenerator eine ungefähr gleichmäßige Verteilung der Geschlechter in die einzelnen Gruppen erfolgen. Da es mir aber wichtig ist, dass ungefähr gleich viele Personen mit gleicher Bildung in jeder Gruppe sind, stelle ich mir zudem die Frage, ob eine Blockrandomisierung hier sinnvoll wäre. Dementsprechend bin ich unsicher, ob ich bei einer Blockrandomisierung sowohl Geschlecht als auch Bildung randomisieren müsste, um die Gleichverteilung beider Variablen sicherzustellen.

Meine Fragen im Überblick

1) Empfiehlt sich für mein Design und Stichprobe eher die Nutzung des Zufallsgenerators oder die Urnennutzung, wenn es sehr wichtig ist, dass in jeder Gruppe gleich viele Personen sind?

2) Falls Zufallsgenerator: Inwiefern kann ich annehmen, dass eine Geschlechtergleichverteilung gegeben sein wird. Sollte ich Bildung zusätzlich blockrandomisieren (ggf. auch das Geschlecht)?

Ich bin jetzt schon sehr über Ihre Einschätzungen dankbar!

Answer 1

Der Knackpunkt ist, was da genau steht:

Bei der zufälligen Ziehung mit Zurücklegen

Die Einstellung "mit Zurücklegen" ist eine nicht-Standard-Einstellung im Zufallsgenerator. Und diese sollten Sie nicht verwenden - in der Standardeinstellung "Gleichverteilung bei der Ziehung" wird genau dieses Problem vermieden.

Dementsprechend müsste (qua Gesetz der Großen zahlen) auch beim Zufallsgenerator eine ungefähr gleichmäßige Verteilung der Geschlechter in die einzelnen Gruppen erfolgen.

Wenn Sie sich nicht darauf verlassen möchten, können Sie das Geschlecht zunächst abfragen und dann eine Block-Randomisierung verwenden, wie Sie selbst ja schon schreiben. Das Gesetz der großen Zahlen sagt nämlich in der Fußnote auch, dass ungleiche Verteilungen unwahrschienlich aber nicht unmöglich sind. Es könnte also sein, dass selbst wenn alles korrekt läuft, Sie die glückliche Person sind, die ein extrem unwahrscheinliches Ergebnis erhält.

Meine Fragen im Überblick

1) Zufallsgenerator

2) Kommt drauf an, wie wichtig Ihnen die Gleichverteilung von Bildung und Geschlecht über die Gruppen ist. Aber wenn Sie darüber nachdenken, dann ist die Antwort: ja, und zwar gleich beides. Dann können Sie sich beruhigt zurücklehnen.

Comments

Vielen herzlichen Dank für die Antwort. Das war tatsächlich sehr hilfreich. Nun wäre ich Ihnen äußerst dankbar, wenn Sie einen kurzen Blick auf meinen Code für die Blockrandomisierung werfen könnten. Ich habe mich nun sehr lange mit dem Thema beschäftigt, bin mir aber nicht 100 Prozent sicher, ob mein Code nun stimmt. Wie angekündigt wollte ich die Randomisierung nach Geschlecht und derzeitiger Tätigkeit vornehmen. Dazu habe ich die Blockrandomisierung mit folgendem Code durchgeführt.

(wobei SD 19:
1=Schüler*in, 2= in Berufsausbildung, 3 =Student*in, 4= berufstätig, 5= in der Übergangszeit zwischen Schule und Ausbilung/Studium (z.B. Gap-Year, FSJ, o.ä), 6= in der Übergangszeit zwischen Bachelor und Master/Beruf, 7= in der Übergangszeit zwischen Ausbildung und Beruf/Studium wobei ich insgesamt aus allen Antwortmöglichkeiten 4 große Gruppen gemacht habe (siehe unten)

und SD01:
1=Frauen, 2=Männer, 3=divers; wobei 1 und 3 in eine Gruppe zusammengefasst wurden)

if (value('SD19') == 1 OR value('SD19') == 5) {

  if (value('SD01') == 1 OR value('SD01') == 3) {
  // Zufallsgenerator RG01 einbinden (Schule und Übergang/weiblich + divers)
  show('ZG01');
  put('RG01_01', value('ZG01'));
  }

  elseif (value('SD01') == 2) {
  // Zufallsgenerator RG01 einbinden (Schule und Übergang/männlich)
  show('ZG02');
  put('RG01_01', value('ZG02'));
  }
}

elseif (value('SD19') == 2 OR value('SD19') == 7) {

  if (value('SD01') == 1 OR value('SD01') == 3) {
  // Zufallsgenerator RG02 einbinden (Berufsausbildung und Übergang/weiblich + divers)
  show('ZG03');
  put('RG01_01', value('ZG03'));
  }

  elseif (value('SD01') == 2) {
  // Zufallsgenerator RG02 einbinden (Berufsausbildung und Übergang/männlich)
  show('ZG04');
  put('RG01_01', value('ZG04'));
  }
}

elseif (value('SD19') == 3 OR value('SD19') == 6) {

  if (value('SD01') == 1 OR value('SD01') == 3) {
  // Zufallsgenerator RG02 einbinden (Uni und Übergang/weiblich + divers)
  show('ZG05');
  put('RG01_01', value('ZG05'));
  }

  elseif (value('SD01') == 2) {
  // Zufallsgenerator RG02 einbinden (Uni und Übergang/männlich)
  show('ZG06');
  put('RG01_01', value('ZG06'));;
  }
}

elseif (value('SD19') == 4) {

  if (value('SD01') == 1 OR value('SD01') == 3) {
  // Zufallsgenerator RG02 einbinden (berufstätig/weiblich + divers)
  show('ZG07');
  put('RG01_01', value('ZG07'));
  }

  elseif (value('SD01') == 2) {
  // Zufallsgenerator RG02 einbinden (berufstätig/männlich)
  show('ZG08');
  put('RG01_01', value('ZG08'));
  }
}


if (value('RG01_01') == 1) {
  text('S104');
} elseif (value('RG01_01') == 2) {
  text('S103');
} elseif (value('RG01_01') == 3) {
  text('S105');
} elseif (value('RG01_01') == 4) {
  text('S106');
}

Eine kurze Probeerhebung von 20 Personen deutet darauf hin, dass eigentlich alles passen müsste. Trotzdem bin ich etwas unsicher und würde mich daher sehr über Feedback freuen.

---

>  bin mir aber nicht 100 Prozent sicher, ob mein Code nun stimmt

Auch ich habe nicht den magischen Blick, der die Korrektheit von Code direkt erkennt. Er sieht soweit korrekt aus. Wichtig ist, dass Sie für SD01 und SD19 Antworten einfordern, damit immer eine der Bedingungen greift.

---

Herzlichen Dank für das Feedback. Genau, das hätte ich gemacht.