0 votes
in SoSci Survey (dt.) by s100914 (240 points)

Hallo liebes SosciSurvey-Team,

mein Fragebogen besteht aus drei Blöcken:

  • Block 1: Seite 1: 1 Matrixfrage; Seite 2: 1 Matrixfrage
  • Block 2: Seite 1: 1 Auswahlfrage (die Antwortmöglichkeiten sollen nicht rotiert werden)
  • Block 3: Seite 1: 2 offenen Fragen; Seite 2: 2 Auswahlfragen (die jeweilige letzte Antwortmöglichkeit soll nicht rotiert werden).

Die Frageblöcke, Seiten, Fragen (innerhalb einer Seite) sowie die Antwortmöglichkeiten der Fragen (bis auf die genannten Ausnahmen) sollen zufällig rotiert werden.

Außerdem soll jede(r) Block, Seite, Frage und Antwortmöglichkeit im finalen Datensatz genauso oft an möglichen Stellen erscheinen (die systematische Rotation mittels eines Zufallgenerators ist mir bekannt, allerdings ist die Anzahl möglicher Varianten manchmal zu groß z. B. bei der Rotation von Antwortmöglichkeiten).

Die angezeigten Reihenfolgen sollen ebenfalls im Datensatz abgespeichert werden.

Ich wäre dankbar, wenn Sie mir bei den ersten Schritten der Entwicklung des entsprechenden PHP-Codes helfen könnten.

Mit freundlichen Grüßen

3 Answers

+1 vote
by SoSci Survey (330k points)

Außerdem soll jede(r) Block, Seite, Frage und Antwortmöglichkeit im finalen Datensatz genauso oft an möglichen Stellen erscheinen

Generell ist es so, dass Sie alle möglichen Varianten definieren müssen, wenn Sie diese systematisch verwenden möchten. Wenn Sie mehr Varianten als Teilnehmer/innen haben, dann können Sie das "genauso oft" ohnehin nicht umsetzen.

Das führt mich zu der Frage: Was ist das Ziel, dass Sie mit dieser Rotation verfolgen?

Ich verweise hier auch auf die Hinweise Sinn und Unsinn der Rotation. Bisher sehe ich (auf basis Ihrer Frage) keinen methodischen Grund, welcher eine Rotation, so wie von Ihnen geschildert, sinnvoll begründen würde.

0 votes
by s100914 (240 points)

Hallo,

vielen Dank für Ihre Antwort.

Wenn Sie mehr Varianten als Teilnehmer/innen haben, dann können Sie das "genauso oft" ohnehin nicht umsetzen.

Da haben Sie Recht. Diese Bedingung ist für mich nicht mehr relevant.

Zu meinem Forschungsziel: Ich beschäftige mich mit verschiedenen Antworttendenzen der Befragten, die eher gegen Ende der Befragung zustande kommen (die ersten Fragen werden normalerweise sorgfältig beantwortet). Jeder Frageblock dient zur Feststellung einer bestimmten Antworttendenz. Die Rotation macht Sinn, damit jeder von ihnen mal gegen Ende der Umfrage erscheint und somit für die entsprechende Antworttendenz anfällig ist.

Die Rotation von Antwortoptionen ist für die Entdeckung der Tendenz zum Wählen erstgenannter Antwortmöglichkeiten relevant. Damit möchte ich herausfinden, ob die Antwortauswahl von Befragten auf den Inhalt der Optionen oder auf ihren Platz in der Antwortliste zurückzuführen ist. Aus diesem Grund soll die angezeigten Reihenfolgen abgespeichert werden.

Ich möchte gerne wissen, wie ich eine zufällige Rotation auf vier dargestellten Ebenen aktivieren kann und wie die Ausnahmen davon ausgeschlossen werden können.

Ich danke Ihnen im Voraus!

Mit freundlichen Grüßen

by SoSci Survey (330k points)
> Die Rotation macht Sinn, damit jeder von ihnen mal gegen Ende der Umfrage erscheint und somit für die entsprechende Antworttendenz anfällig ist.

Für die Blöcke würde ich das unterschreiben ... nicht aber für die Seiten, Fragen und Antwortoptionen. Hier verweise ich auf die Argumentation in der Anleitung, dass Sie sich mit der Rotation unerklärte Varianz (Messrauschen) einhandeln, die Ihre Effekte "verwässert".

> Die Rotation von Antwortoptionen ist für die Entdeckung der Tendenz zum Wählen erstgenannter Antwortmöglichkeiten relevant.

Diiese Tendenz (bzw. deren Verstärkung zum Ende des Fragebogens) können Sie viel besser vergleichen, wenn Sie bei Platzierung der Frage am Anfang und am Ende die gleichen Optionen in gleicher Abfolge abfragen.

Wenn Sie zusätzlich noch rotieren, dann haben Sie nämlich neben der Position noch den Inhalt des Items als Einflussfaktor. Um das dann solide statistisch zu modellieren, bräuchten Sie eine sehr große Anzahl Teilnehmerinnen und Teilnehmer.

Wenn Sie nun argumentieren, dass Sie bei einer vordefinierten Abfolge ja einen Bias haben ... stimmt. Und zwar ist dieser Bias für alle gleich und fällt daher bei Differenz-Betrachtung aus der Analyse. Wenn Sie den Bias hingegen durch Rotation verändern, fällt er nicht mehr aus der Analyse sondern muss statistisch kontrolliert werden.

> Damit möchte ich herausfinden, ob die Antwortauswahl von Befragten auf den Inhalt der Optionen oder auf ihren Platz in der Antwortliste zurückzuführen ist.

Für diesen Vergleich (wenn Sie das wirklich analysieren möchten) bräuchten Sie eine unabhängige Messung, welcher Inhalt ohne Rotation ausgewählt werden würde.

Nur mal zum nachrechnen: Primacy- und Recency-Effekte kann man ab ca. 7 Optionen erwarten - deutlich bei >10. Wenn Sie Inhalt vs. Effekt vergleichen möchten und nicht wissen, was die individuelle Präferenz tatsächlich ist, müssen Sie "blind" die Auswahlprävalenz bei Platzierung einer Option in Mitte der Auswahl vs. Platzierung am Rand vergleichen.

Bei zufälliger Rotation von 7 Items steht ein Item in 1/7 der Fälle am Anfang und in 1/7 der Fälle am Ende. Außerdem wird es nur ca. in 1/7 der Fälle ausgewählt. Etwas häufiger wenn Sie eine Mehrfachauswahl verwenden. Für den Vergleich von der Auswahl-Prävalenz am Rand oder in der Mitte vergleichen Sie am Ende Mittelwerte wie häufig die Option dort ausgewählt wurde, korrekt?

Gehen wir von einer dichotomen Auswahl aus, können Sie die Standardabweichung bei 1/7 berechnen. Daraus können Sie wiederum berechnen, wie viele Fälle Sie benötigen, um einen Unterschied (!) von "etwas mehr als 1/7" am Rand und "etwas weniger als 1/7" in der Mitte signifikant nachzuweisen. Das sind (je nachdem, wie groß das "etwas" ausfällt) ziemlich viele Fälle.

Wenn Sie die Rotation weglassen, dann reduziert sich die Zahl der Fälle dramatisch - mindestens um den Faktor 7 (bei 7 Auswahloptionen).

> Ich möchte gerne wissen, wie ich eine zufällige Rotation auf vier dargestellten Ebenen aktivieren kann und wie die Ausnahmen davon ausgeschlossen werden können.

Mit shuffle() können Sie alles mischen: Die Liste der Blöcke, die Liste der Seiten innerhalb der Blöcke, die Fragen auf der Seite und die Optionen. Und mit put() können Sie das alles sauber abspeichern. Wenn Sie dafür FOR-Schleifen verwenden, bleibt der Code auch halbwegs überschaubar - ca. 1/2 bis 1 Bildschirmseite PHP-Code.

Aber dann werden Sie bei der Auswertung bemerken, dass Sie 3000 Variablen mit den ganzen Positionen haben, das statistische Modell aber mit 500 oder 1000 Fällen gar nicht konvergiert. Und dann haben Sie sich die ganze Arbeit mit der Rotation umsonst gemacht. Von der Erhebung ganz zu schweigen. Und Interaktionen bei der Rotation (Reihenstellungseffekte wie Halo- oder Kontrasteffekte) sind dann noch nicht einmal ansatzweise berücksichtigt.
0 votes
by s100914 (240 points)
edited by s100914

Vielen Dank für Ihren sehr informativen Beitrag!

Ich stimme Ihnen zu, dass nur die Blöcke, und nicht die Seiten und Fragen rotiert werden sollen.

Zur Rotation der Antwortmöglichkeit:

Im Rahmen meiner Studie untersuche ich eine motivationserhöhende Maßnahme zur Verminderung von Antworttendenzen. Ich habe vor, Probanden zufällig auf Versuchs- und Kontrollgruppe zu verteilen. In der Versuchsgruppe wird eine Maßnahme eingesetzt. Abgesehen davon bekommen beide Gruppen denselben Fragebogen.

Die eingesetzte Maßnahme gilt als effektiv gegen die Tendenz zum Wählen erstgenannter Antworten, wenn in der Versuchsgruppe die Auswahlhäufigkeit einer der ersten (drei oder fünf) Antworten nicht signifikant größer ist als die Auswahlhäufigkeit einer der letzten (drei oder fünf) Antworten (was in der Kontrollgruppe der Fall sein sollte).

Gehen wir von einer dichotomen Auswahl aus, können Sie die Standardabweichung bei 1/7 berechnen. Daraus können Sie wiederum berechnen, wie viele Fälle Sie benötigen, um einen Unterschied (!) von "etwas mehr als 1/7" am Rand und "etwas weniger als 1/7" in der Mitte signifikant nachzuweisen. Das sind (je nachdem, wie groß das "etwas" ausfällt) ziemlich viele Fälle.

Habe ich Sie richtig verstanden, dass zur Untersuchung dieser Tendenz eine Rotation der Antwortmöglichkeiten im Allgemeinen der richtige Weg ist, dafür sind aber große Fallzahlen vonnöten? Und man soll im Falle kleinerer Stichprobe auf die Rotation verzichten, um sinnvolle Effekte finden zu können?

Lässt das Problem mit den Fallzahlen lösen, indem Befragten die Möglichkeit einer Mehrfachnennung angeboten wird und ich bei der Auswertung Gruppen von Antwortmöglichkeiten (z. B. die ersten 5 vs. die letzten 5) und nicht jede einzelne Antwortoption betrachte?

Ich danke Ihnen herzlich.

Willkommen im Online-Support von SoSci Survey.

Hier bekommen Sie schnelle und fundierte Antworten von anderen Projektleitern und direkt von SoSci Survey.

→ Eine Frage stellen


Welcome to the SoSci Survey online support.

Simply ask a question to quickly get answers from other professionals, and directly from SoSci Survey.

→ Ask a Question

...