0 votes
in Datenauswertung by s191746 (110 points)

Sehr geehrte Damen und Herren,
ich habe mit Ihrer Software eine Befragung durchgeführt und bin sehr zufrieden. Ihre Software werde ich bei Bedarf gerne wieder einsetzen.
Nun habe ich eine Detailfrage bei der Datenauswertung und hoffe, Sie können mir vielleicht mit einer Einschätzung bzw. Literatur- oder Paperempfehlungen weiterhelfen:

Ich habe bei der Befragung eine ungerade Likert-Skala (1-4) verwendet, die die Probanden in eine Wertung zwingt. Daneben war die Alternative „kann ich nicht beurteilen“ auswählbar. Wenn ich "kann ich nicht beurteilen" als Ausweichkategorie interpretiere, bleiben nach Eliminierung der leeren Werte leider zu wenig Fragebögen für eine Auswertung übrig. Daher folgende Frage:
Wäre es vielleicht denkbar, obere Skala auch als eine ungerade 5er-Skala zu interpretieren und die Kategorie „kann ich nicht beurteilen“ in die Mitte zu setzen (also den Wert 3)? Damit wäre diese Kategorie in der Auswertung „weder gut noch schlecht“. Das müsste ja passen, da die Probanden vorher explizit keinen der beiden Pole auf der 4er-Skala ausgewählt haben.
Ich bedanke mich im Voraus für Ihre Bemühungen!
Mit freundlichen Grüßen

1 Answer

0 votes
by SoSci Survey (297k points)

Daher folgende Frage:
Wäre es vielleicht denkbar, obere Skala auch als eine ungerade 5er-Skala zu interpretieren > und die Kategorie „kann ich nicht beurteilen“ in die Mitte zu setzen (also den Wert 3)?

Es kommt maßgeblich auf die Frage an, die Sie gestellt haben, auf die Items und darauf, was Sie auswerten möchten.

Wenn man eine explizite Ausweichoption ("explicit DK option") anbietet, führt das leider statistisch nachweisbar dazu, dass mehr Befragte diese Option auch auswählen. Vor allem wahrscheinlich in den Fällen, wo sich die Personen bei ihrer Bewertung unsicher sind. Zu dieser Unsicherheit wurde im Bereich der "attitude strength" seit den 70ern viel publiziert.

weder gut noch schlecht

Ein "weder gut noch schlecht" ist streng genommen etwas anderes als ein "ich weiß es nicht". Letztes könnte auch heißen "vielleicht sehr gut gut, aber ich kann es nicht sagen, weil ich das Einstellungsobjekt nicht kenne". Ob es das tatsächlich bedeuten kann ... wie gesagt, es hängt an Ihrer Fragestellung.

Interessant wäre auch, um wie viele Items es geht - wenn Sie bei einer Single-Item-Messung sehr viele "weiß nicht" haben, ist da nicht mehr viel zu retten. Wenn Sie das bei einer längeren Skala haben, kann man aus den (am besten z.standardisierten) anderen Items durchaus noch einen Mittelwert bereichnen. Vorausgesetzt, die Items sind empirisch konsistent (Cronbach's Alpha und Faktorenanalyse).

by s191746 (110 points)
Vielen Dank für Ihre schnelle Rückmeldung. Wenn ich Ihre Antwort richtig interpretiere, wäre das Vorgehen, abhängig von der Fragestellung, grundsätzlich zulässig, wenn es aus sachlogischen Gründen begründbar ist und die Fragestellung sowie Konzeption der Items darauf passen. Das hilft mir schon sehr weiter. Klasse wäre, wenn ich aus der Literatur etwas Rückendeckung für das Vorgehen finden könnte (Start mit 4er Skala und Wechsel auf 5er Skala). Ich werde auf die Suche gehen. Falls Sie zufällig etwas kennen, freue ich mich über eine Empfehlung. Die 5er-Skala präferiere ich für das aktuelle Forschungsprojekt, da die Ergebnisse mit der 4er-Skala und Ausweichoption deutlich schlechter sind.
Das Forschungsprojekt hat zum Ziel, eine Skala zu entwickeln. Durch die Interpretation als 5er-Skala ergeben sich folgende Vorteile:
relativ große Stichprobe
gute Vergleichbarkeit mit anderen Teildimensionen
wenige Items/Aspekte gehen verloren (Inhaltsvalidität)
Abgrenzung zwischen Dimensionen ganz gut (Diskriminante Validität)
Die Faktoren laden auf die gewünschten Konstrukte (Konvergente Validität)
Die Abweichung der Normalverteilung der Items ist tolerierbar.
by SoSci Survey (297k points)
> grundsätzlich zulässig, wenn es aus sachlogischen Gründen begründbar ist und die Fragestellung sowie Konzeption der Items darauf passen

Das ist eine sehr allgemeine Aussage, anders formuliert: Man darf es, wenn es korrekt ist. Also ja, aber das gilt eben immer.

Ungewöhnlich ist es allemal, und man wird das sicher gut begründen müssen. Und je nachdem, wer es liest, muss man sich sicher auch gegen Kritik verteidigen.

> Klasse wäre, wenn ich aus der Literatur etwas Rückendeckung für das Vorgehen finden könnte

Es gibt ein Paper zur "overstuffed middle", welches eigentlich eher das Umgekehrte sagt. Nämlich, dass die Mitte einer Skala insofern schwierig ist, als sie sowohl "ausgewogen" als auch "ambivalent" repräsentiert.

Aber Sie werden vermutlich kein Paper oder Buch finden, wo steht "es ist schon okay, die Residualoption als Skalenmitte zu interpretieren". Wie ich schon schrieb, ist das eben nicht der Normalfall. Und - kritisch gesprochen - deutet es auch auf eine schlechte Validierung des Messinstruments hin. Hätten Sie es vorher gewusst, hätten Sie die Antwortoption ja in die Mitte gepackt.

Post-hoc kann und muss man Daten immer interpretieren. Und im Idealfall sollte die Interpretation nachvollziehbar sein.

> Durch die Interpretation als 5er-Skala ergeben sich folgende Vorteile

Das klingt gut. Sie sollten der Fairness halber natürlich auch die Nachteile erörtern. Etwa Scheinkorrelationen durch Personen, die häufig "weiß nicht" ausgewählt haben.

Eine deutlich besser anerkannte Alternative zum Umgang mit fehlenden Werten wäre die multiple Imputation. Das ist aber nichts für "schnell mal am Abend".
by s191746 (110 points)
Ich bin Ihnen wirklich für Ihre hilfreichen und sehr plausiblen Antworten sehr dankbar! Ich war mir nicht sicher, ob ich Imputation verwenden darf, da es ja eigentlich keine fehlenden Werte sind, sondern die Aussage, dass die Person das nicht beurteilen kann. Wobei, mit der Interpretation als Skalenmitte deute ich die Antworten ja auch um.
Bei dem Projekt haben alle Mitarbeiter eines Unternehmens alle Fragen des umfangreichen Konstrukts erhalten. Es kann daher durchaus realistisch sein, dass einige Mitarbeiter die Ausweichoption wählen, weil sie es schlicht nicht wissen. Eine Vorauswahl der Teilnehmer war aus diversen Gründen leider nicht realisierbar. Daher war die eigentliche Intension, die Ausweichkategorie anzubieten, um eine hohe Datenqualität zu erhalten. Leider zeigt sich, dass in Kombination immer ein relativ großer Teil zu einer (Teil-)Dimension etwas nicht beantworten kann. Vielleicht ist diese Tatsache an sich auch schon ein Ergebnis?
Für das Paper wäre nun mein Vorgehen, das Modell dreimal zu rechnen:
1. 4er-Skala + Ausweichkategorie (ursprüngliche Variante). Weil viele Items rausfliegen und das für die Inhaltsvalidität kritisch ist, dann im Anschluss folgende Varianten:
2. 4er-Skala + Imputation
3. Uminterpretation der 4er-Likertskala in eine 5er-Skala
Die Ergebnisse könnte ich dann gegenüberstellen, diskutieren und Interpretieren.
Vielleicht ist das dann der sauberste Weg?
by SoSci Survey (297k points)
Die perfekte, richtige Lösung wird es nicht geben. Und wenn sich das Ganze einem Peer Review stellen muss, dann wird garantiert jemand behaupten, dass Sie die Erhebung besser in der Theorie hätten fundieren müssen (reject).

Aber so ist das nunmal mit der Auswertung von Daten. Da hat man unglaublich viele Freiheitsgrade, man muss sich entscheiden, und das darlegen. Ob die Imputation in Ihrem Fall Sinn ergibt ... ich weiß es nicht. Man kann eine Faktorenanalyse z.B. auch nur unter paarweisem Ausschluss fehledner Werte rechnen, aber auch damit riskiert man statistische Fehler. Irgendwelche Fehler wird man bei jedem Vorgehen machen. Auch der Ausschluss vieler Personen aus der Analyse ist m.E. eine Fehlerquelle.

Wie gesagt: Eine finale Antwort habe ich nicht, und selbst wenn, dann gibt es sich andere qualifizierte Menschen, die eine andere Antwort geben würden. Insofern: Ich persönlich finde es gut, die unterschiedlichen Varianten zu vergleichen, und zu überlegen, weshalb sich die Ergebnisse unterscheiden (dort wo sie es tun). Ob man das dann am Ende auch so kommunizieren will ... transparent wäre es, aber vielleicht ist es strategisch nicht in Ihrem Interesse.
by s191746 (110 points)
Vor Gericht und auf hoher See... (...und im Peer Review... ;-)). Nochmals vielen Dank für Ihr Feedback. Ihnen einen schönen Abend und für die Zukunft alles Gute!

Willkommen im Online-Support von SoSci Survey.

Hier bekommen Sie schnelle und fundierte Antworten von anderen Projektleitern und direkt von SoSci Survey.

→ Eine Frage stellen


Welcome to the SoSci Survey online support.

Simply ask a question to quickly get answers from other professionals, and directly from SoSci Survey.

→ Ask a Question

...