Multivariate Regressionsanalysen nicht signifikant, aber univariate schon?

Question

Hallo,

siehe Betreff wird eine UV multivariat nicht signifikant, aber bei der univariaten Analyse wird sie signifikant auf einer der abhängigen Variablen. Ich soll dies nun auch als gültiges Ergebnis in den Artikel bringen.

Ist es aber nicht so, dass eine Variable erst mal multivariat signifikant werden muss, also "im Allgemeinen signifikant " und man sich dann die Signifkanzen auf die (einzelnen) AV anschaut? Wenn nein, wozu braucht man sonst die multivariaten Ergebnisse?

Kann mir jemand den Unterschied bei der Interpretation sagen?

Danke und LG
Maren

Answer 1

Signifikanzen sind bedeutungslos ohne Hypothesen. Und Hypothesen sind in aller Regel bivariat formuliert. Insofern sollten Sie als erstes klären, wovon Sie überhaupt die Signifikanz überprüfen sollen/müssen.

Generell ist es so, dass Modelle mehr Rauschen enthalten, je mehr Variablen man hinzufügt. Ein einfacher Zusammenhang UV -> AV ist statistisch deutlich einfacher als UV1 + UV2 + UV3 -> AV.

Entsprechend benötigt man bei gleicher Effektstärke im komplexeren Modell auch mehr Fälle, um sicher sein zu können, dass der beobachtete Zusammenhang nicht nur (bzw. mit einer Wahrscheinlichkeit < 5%) durch den zufälligen Fehler beim Auswahl der Teilnehmer bzw. deren Zuordnung zu Versuchsgruppen entstanden ist. Das ist es, was Signifikanz aussagt. Mehr nicht.

Vermutlich ist der p-Wert im bivariaten Modell (UV und AV) in der Nähe von .05 und beim Modell mit mehr Variablen ebenfalls. Und wenn Sie mehr Teilnehmer hätten, wäre es vermutlich in beiden Fällen darunter. Aber so können Sie sich bei Gesamtbetrachtung des komplexen Modells eben nicht mehr sicher sein, ob Sie vielleicht doch nur versehentlich einen Zusammenhang beobachten, obwohl es gar keinen gibt.

Comments

Sorry, aber das beantwortet meine Frage nicht. Ich weiß, was Signifikanz ist und ich habe genug Versuchspersonen >150. Meine Hypothesen sind hier nicht relevant. Selbstverständlich ist meine Arbeit nicht explorativer Natur. Was hat das denn mit meiner Frage zu tun? Ich habe es simplifiziert dargestellt, da für eine Beantwortung meiner Frage der Forschungsinhalt weder relevant ist noch für die Beantworter verständlich.

Die Frage war, ob ich zuerst die multivariate Analyse anschauen muss und dann erst bei Signifkanz dieser die univariaten. Respektive, was nun der Unterschied bei der Interpretation ist.

---

Sie haben abstrakt gefragt - entsprechend abstrakt musste ich meine Antwort halten. Eine konkrete Anwort hängt davon ab, welches Verfahren Sie genau einsetzen (ANOVA, MANOVA, Regression, ...), wie Ihre Variablen skaliert sind - und ja ... auch von der Hypothese hängt es ab, denn wenn diese nur bivariat formuliert ist, dass ist die Antwort eine andere, als wenn sich diese auf das Gesamtmodell bezieht.

Abgesehen davon können auch 150 Versuchspersonen zu wenig sein. Das kommt auf die Effektstärken an, die Sie untersuchen und auf die Korrelationen zwischen den UVs.

---

Ich habe MANCOVA gerechnet. Wozu ist die Skalierung der Variablen wichtig? Die Hauptsache ist doch, dass sie für´s jeweilige Verfahren geeignet sind. 2 UV ordinal, 3 metrische AV und meine Hypothesen sind beziehen sich auch jeweils auf mehrere AV. Ich gehe also davon aus, dass es reicht, sich nur die univariaten Analysen anzuschauen? Was sagt mir dann die multivariate Analyse?

---

Die Skalierung ist insofern von Belang, als ordinale und metrische UVs unterschiedlich "funktionieren". Bei metrischen UVs können parametrische Verfahren eingesetzt werden, bei ordinalen oftmals nicht (bzw. diese Variablen müssen wie nominale oder qie quasi-metrische Variablen behandelt werden).

Das Gesamtmodell mit allen UVs und AVs liefert einen Signifikanzwert, ob sich - unter Beachtung des Rauschens aller Variablen - die UVs überzufällig erklären lassen. Und bei 5 Variablen sind 150 Fälle nicht unbedingt üppig, wenn die Effekte nicht zumindest im Bereich .30 sind.

Für die Prüfung der Hypothesen würde ich Modelle empfehlen (ich kann aus Ihrer Antwort nicht genau entnehmen, ob sich jede einzelne Hypothese auf mehrere AVs bezieht oder ob das dann einzelne Hypothesen sind), welche genau die Variablen umfassen, die in der Hypothese stehen.