Evaluierung von Fragen mit Quoten und Random draw

Question

Wir wollen Forschungsfragen (FF) nach folgendem System evaluieren lassen:
- Insgesamt werden wir im ca. 800 Forschungsfragen haben, die evaluiert werden sollen.
- Unsere Evaluatoren sollen jeweils eine vorher definierte Max. Anzahl an Forschungsfragen evaluieren (z.B. 15 Stück/Person).
- Für jede Forschungsfrage (FF) soll es eine eigene Fragebogenseite geben, wobei random aus dem FF Topf gezogen werden soll.
- Jede FF soll 3 mal bewertet werden (also von 3 Evaluatoren), dann soll sie nicht mehr Teil des Random FF Topfs sein (sie wurde dann ausreichend oft bewertet).

Für jede Forschungsfrage soll die Evaluation folgendermaßen erfolgen:
- Wir haben mehrere Fragen mit 5-Point Likert scales.
- Zuästzlich sollen Evaluatoren die Möglichkeit haben auszudrücken, wenn sie eine FF gar nicht verstehen - dazu wollen wir eine optionale Antwortmöglichkeit "I don't understand" anbieten. Diese soll als Ausschlusskriterium funktionieren, d.h. wenn jemand diesen Button auswählt, sollen alle Fragen unterhalb ausgeblendet werden (I don't understand soll nicht als eine von 3 Bewertungen gelten).

Meine Fragen dazu sind:
- Hat jemand eine Anleitung dafür, wie wir solche Quotenbedingungen festlegen können, sodass jede FF 3 mal bewertet wird bevor sie aus dem Topf fliegt (wobei Fragen immer random aus dem Topf gezogen werden)?
- Hat jemand eine Idee wie wir die Evaluation von 800 FF möglichst zeiteffizient umsetzen könnten (also dass wir nicht 800 Fragebogenseiten gestalten müssen)?

Vielen Dank für Ideen!

Answer 1

Ich würde einen Multi-Level-Fragebogen empfehlen, weil das die Auswertung in Ihrem Fall deutlich vereinfacht. Außerdem brauchen Sie hier nur ca. 5 Fragebogen-Seiten, verteilt auf 2 Fragebögen.

Für die "maximal 3-mal pro Item" empfehle ich einen Zufallsgenerator. DIesen können Sie via Filter bei 3 "deckeln", sofern notwendig. Aber Sie sehen ohnehin recht schnell, wie viele Teilnehmer noch fehlen.

Schwierig ist nur das "I don't understand", weil die Items dann trotzdem bei den "maximal 3" gezählt werden. Wenn dies nicht allzu häufig vorkommt, empfehle ich ein Nachjustieren der Ziehungs-Zahlen im Zufallsgenerator wenn ca. 2/3 der Antworten eingegangen sind.

Comments

Vielen Dank für die Tipps! Was mir noch nicht ganz klar ist ist, wie ich die 800 Forschungsfragen auf nur 5 Seiten und 2 Fragebögen verteilen kann? Könnten Sie das noch etwas genauer ausführen? Danke!

---

Sie haben einen Fragebogen, der sich um die Randomisierung kümmert und einen (untergeordneten) Fragebogen, der für jede Forschungsfrage (=Item) aufgerufen wird. Im Prinzip benötigen Sie im übergeordneten Fragebogen nur 2 Seiten wie in der Anleitung zu Multi-Level-Designs erklärt. Und im untergeodneten Fragebogen benötigen Sie nur die 3 Seiten, die für eine Forschungsfrage angezeigt werden sollen.

---

Vielen Dank für die Erklärung!