Cronbachs Alpha verschieden und zu niedrig

Question

Liebes SoSci Survey-Support-Team,

meine Befragung ist abgeschlossen und nun habe ich für meine Likert-Skalen Cronbachs Alpha mit RStudio berechnet. Die Likert-Skalen mit deren Items sind größtenteils von bereits bestehenden Fragebögen übernommen, aber wurden auf meinen Untersuchungsgegenstand angepasst, d.h. Wörter und Phrasen habe ich abgeändert.

Bei den Cronbachs Alpha Werten sind mir leider ein paar Dinge sehr unklar.

1. Aufgrund einer Filterfrage wurden die Befragten auf verschiedene Seiten geschickt, jedoch haben sie die gleichen Items bewerten müssen.

(Zum Hintergrund: Teilnehmende, die die Sprache A oder B lernen mussten Seite 5 & 6 ausfüllen und Teilnehmende, die Sprache A und B lernen haben Seite 7 & 8 angezeigt bekommen. Bei Seiten 5 & 6 haben die Teilnehmenden die Items für eine Sprache bewertet und bei Seite 7 & 8 für beide Sprachen – dabei wurden die Items auch einmal präsentiert, nur die Teilnehmenden mussten zwei Skalen bewerten, eine Skala für Sprache A und eine für Sprache B).

Ich hatte angenommen, dass die Werte, die bei der Berechnung von Cronbachs Alpha herauskommen, für die jeweiligen Skalen gleich sein müssen, was sie aber leider nicht sind. Beispielsweise weist Skala 1 für Teilnehmende die Sprache A oder B lernen den Wert 0.43 auf und Teilnehmende die Sprache A und B lernen 0.78 und 0.77.
Wie soll ich mit diesen Werten umgehen?

1. Abgesehen von den unterschiedlichen Werten derselben Skalen/Items, habe ich zudem des öfteren sehr schlechte Werte (unter 0.6 bis 0.12) erhalten. Ich könnte mir vorstellen, dass das an den wenigen Items innerhalb der Skalen liegt, da ich aufgrund der Länge des Fragebogens nur 3 bis 5 Items verwendet habe. Das Löschen mancher Items macht den Wert nur bei einigen Skalen besser, bei anderen bleibt der Wert gleich schlecht.
   Wie kann ich mit diesen schlechten Werten verfahren?

Vielen lieben Dank für Ihre Hilfe und beste Grüße!

Answer 1

Ich hatte angenommen, dass die Werte, die bei der Berechnung von Cronbachs Alpha herauskommen, für die jeweiligen Skalen gleich sein müssen

Wenn die Berechnung auf unterschiedlichen Daten beruht, dann darf man durchaus unterschiedliche Ergebnisse erwarten.

Ich bin nicht ganz sicher, ob ich korrekt verstanden habe, auf welchen Daten (Items und Teilnehmern) die beiden Alphas beruhen. Das ändert aber nichts an der o.g. Antwort.

habe ich zudem des öfteren sehr schlechte Werte

Das kann unterschiedliche Ursachen haben. Als erstes sollten Sie prüfen, ob Sie evtl. noch Items umkodieren müssen. Wenn es daran nicht liegt, dann lassen Sie mal eine Faktorenanalyse über die Items laufen ... entweder fallen einzelne Items aus der Reihe oder in Ihrer Skala verbergen sich mehrere Dimensionen.

Das Löschen mancher Items macht den Wert nur bei einigen Skalen besser

Das mit den einzelnen Items kann z.B. passieren, wenn ein Teil der Teilnehmer das Item falsch versteht. Oder wenn einige ein "nicht" überlesen. Manchmal it das post-hoc bestens nachvollziehbar.

Mitunter ist es aber auch einfach so, dass die Items einfach nicht konsistent beantwortet werden. Dann funktioniert die Skala einfach nicht gut. Und nachdem Cronbach's Alpha ja nicht nur ein Maß für die Skalenkonsistenz ist, sondern auch eine Schätzung für die Test-Retest-Reliabilität, muss man davon ausgehen, dass die entsprechende Messung nicht reliabel ist.

Comments

Vielen Dank für die schnelle Hilfe.

Was genau ist mit "umkodieren" der Items gemeint?
Die Items, die 'negatively keyed' waren, wurden schon in der Fragebogenerstellung invertiert. Zudem habe ich den Befehl "check.keys=TRUE" mit der Cronbach's Alpha Berechnung mitlaufen lassen.

Beste Grüße

---

> Die Items, die 'negatively keyed' waren, wurden schon in der Fragebogenerstellung invertiert.

Ja, das war gemeint :)

Dann weiter mit der Faktorenanalyse ... Wenn die Items nicht ordentlich miteinander korrelieren, muss das dort zumindest sichtbar werden.

Werfen SIe auch mal einen Blick auf TIME_RSI - auch Datenmüll durch "Durchklicker" kann die Korrelationen in Mitleidenschaft ziehen.

---

Vielen Dank.
Ihre Anmerkungen helfen mir echt weiter.

Es ist mir aber noch unklar, wie ich mit dem Löschen von Items für einen verbesserten Cronbach's Alpha Wert vorgehen muss.
Ich habe (wie schon erwähnt) die selben Items, welche aber verschiedene unabhängige Gruppen bewertet haben. Ist es möglich von beispielsweise Gruppe 1, das Item 1 von Skala 1 zu löschen, da damit Cronbachs's Alpha verbessert wird? Jedoch dieses Item 1 (bzw. Item 1.1 da die Variable ja nicht gleich benannt werden kann) von Skala 1 bei Gruppe 2 nicht zu löschen, da Cronbach's Alpha hier passt.

Viele Grüße

---

Wahrscheinlich nicht ... ich kenne Ihre Auswertung nicht, aber ich würde vermuten, dass Sie irgendwann Skalenindizes berechnen und diese vielleicht auch zwischen den Gruppen vergleichen möchten. Das geht natürlich nur, wenn Sie die Indizes überall auf Basis derselben Items berechnen.

Mit dem Löschen von Items sollte man auch vorsichtig sein. Üblicherweise hat man sich ja etwas gedacht, wenn man die Items aufgenommen hat. Manchmal bemerkt man beim Auswerten, dass ein Items missverständlich war ... das wäre dann ein guter Grund, dass man es hinauswirft. Dann ist das Item aber generell einfach schlecht und müsste bei allen Gruppen entfernt werden.