Keine signifikanten Ergebnisse

Question

Hallo,

So wie es nach einer ersten Auswertung aussieht, kann ich mit meinen Daten keine meiner Hypothesen belegen. In einem Fall finde ich sogar das Gegenteil heraus. Gibt es eine legitime Möglichkieit im Nachhinein Tests anderer Hypothesen oder andere Theorien hinzuzufügen, damit man irgend etwas verwertbares erhält? Mit solchen Ergebnissen wird man wohl eher keine zufriedenstellende Abschlussnote erhalten..

Grüße!

Answer 1

In einer Abschlussarbeit müssen Sie zeigen, dass Sie eine Theorie darlegen können, dass sie daraus eine empirische Studie entwickeln können (Operationlaisierung) und dass Sie das Werkzeug zu deren Umsetzung beherrschen. Für das Ergebnis der Studie hingegen sind Sie nicht verantwortlich. Allerdings sind Sie dann wieder für eine saubere Interpretation der (Nicht-)Befunde verantwortlich.

Es hängt natürlich ein wenig am Betreuer. Aber die meisten quantitativ verorteten Forscher benoten eine stringente Umsetzung und nachvollziehbare Dokumentation deutlich besser als ein paar signifikate Ergebnisse, die mit der ursprünglichen Forschungsfrage nichts mehr zu tun haben.

Wenn Sie die Interpretation der Nicht-Befunde gründlich machen, kommen Sie evtl. auch zu dem Schluss, dass sie bei der Theorie oder der Operationalisierung an der ein oder anderen Stelle mit-verantwortlich sind (als eine mögliche Erklärung an mancher Stelle - neben der Erklärung, dass die Theorie/Hypothese einfach falsch ist). Schreiben Sie das hinein. Wenn es dort Schwächen gab, hat der Betreuer/Korrektor diese wohl ohnehin gesehen. Wenn Sie sich auch selbst finden, dann spricht das dafür, dass Sie die Sache verstanden haben.

Keine Sorge: Die Korrektoren sind i.d.R. selbst Forscher. Und die kennen es nur zu gut, dass Hypothesen sich nicht belegen lassen. Genau dies führt zu wissenschaftlichem Fortschritt. Wenn alles stimmen würde, was wir uns so ausdenken, dann könnten wir uns die Empirie ja schenken.

Comments

> D.h. ich kann meinen gesamten Methoden-, Diskussions- und Limitationsteil neu verfassen - bis Freitag :(

Wer lang gräbt, hat nachher einen Muskelkater. Das ist die Strafe für Perfektionismus ;)

> Ich merke in H1, dass zB der Innovationsgrad keinen Einfluss auf die Unsicherheit hat. Dann brauche ich in H2 auch keine Mediation über die Unsicherheit machen ...

Ich glaube, es würde helfen, wenn Sie Ihr komplettes Modell (mit allen Variablen/Konstrukten) einmal aufzeichnen (auch und speziell als Abbildung für die Arbeit). Mit Pfeilen zwischen den Variablen ("Manipulation Innovation", "Wahrnehmung Innovationsgrad", "Unsicherheit", "Kaufabsicht", ...). Denn offenbar haben Sie da doch eine erkleckliche Anzahl Pfeile und Wirkungspfade, für die Sie sich interessieren.

Und wenn die Wirkungspfade an irgend einer Stelle unterbrochen sind (weil dort halt keine Korrelation ist), dann können Sie bei den anderen Pfeilen immer noch Koeffizenten hinschreiben. Dass die Mediation dort dann weniger interessant ist, liegt auf der Hand. Formal geprüft und "wie zu erwarten abzulehnen" wird dann natürlich trotzdem. Also alles wie gehabt.

Abgesehen davon: Sie haben gleich zwei Dinge erreicht. (1) Sie haben das Problem noch vor der Abgabe gefunden und müssen sich nicht Ihr Leben lang ärgern, dass Sie in der Arbeit (post-hoc betrachtet) Blödsinn geschrieben haben und (2) Sie haben bei der ganzen Sache definitiv viel gelernt. Und auch wenn Sie das jetzt nicht gerne hören, weil die nächsten 3 Tage stressig werden: Dafür ist ein Studium da. Und das wird dann auch nach dem Studium nicht besser ;)

---

Entfällt Ihrer Meinung damit auch die Post Hoc Analyse? Die Mediatorenanalyse liefert jetzt statt

1. Für den Pfad A (Innovationsgrad auf Unsicherheit) einen negativen Effekt(b = -0.18).
2. Für den Pfad B (Unsicherheit auf Kaufbereitschaft) einen negativen Effekt (b = -0.59).
3. Für den Pfad C (Innovationsgrad auf Kaufbereitschaft) einen positiven(!) Effekt (b = 0.40).
4. Für den totalen Effekt C' (b = 0.51)
5. Und den indirekten Effekt A*B (b = 0.11)

Folgendes:

1. Für den Pfad A (Innovationsgrad auf Unsicherheit) einen positivenEffekt(b = 0.17).
2. Für den Pfad B (Unsicherheit auf Kaufbereitschaft) einen negativen Effekt (b = -0.72).
3. Für den Pfad C (Innovationsgrad auf Kaufbereitschaft) einen positiven(!) Effekt (b = 0.74).
4. Für den totalen Effekt C' (b = 0.62)
5. Und den indirekten Effekt A*B (b = -0.12)

Das heißt:
-->A wechselt das Vorzeichen UND ist jetzt nicht mehr signifikant
-->B wird größer (negativer)
-->C wird größer
-->A*B wechselt das Vorzeichen UND ist jetzt nicht mehr signifikant
-->C' wird zwar größer, aber dürfte, wenn C' = A*B+C ist und A*B nicht signifikant ist, auch nicht mehr signifikant sein.

Kann ich zumindest die Post Hoc Analyse nach wie vor rechtfertigen?

---

Wenn die Ergebnisse unerwartet sind, dann sind post-hoc-Analysen immer gerechtfertigt. Versuchen Sie nur bitte, bei den Begrifflichkeiten dem Leser ein wenig entgegen zu kommen: Wenn "Innovationsgrad" für unterschiedliche Variablen und offenbar (aufgrund der anderen Zusammenhänge) auch für unterschiedliche Konstrukte verwendet wird, dann ist das höchst verwirrend. Sollte es (ich bin nicht sicher) einmal um den manipulierten Innovationsgrad gehen und einmal um den wahrgenommenen Innovationsgrad, dann schreiben Sie das besser auch so.

Ist es am Ende nicht schön, wenn sich die ganzen seltsamen Widersprüche doch noch auflösen :)

> A wechselt das Vorzeichen UND ist jetzt nicht mehr signifikant

Wie gesagt: Geben Sie in der post-hoc-Analyse nicht zu viel auf Signifikanzen. Wenn wenn der Unterschied von .18 und .17 die Signifikanz ändert, dann heißt das im Gegenzug: Sie liegen mit Ihrem Sample bei Effekten bis .2 im Bereich des statistischen Rauschens. Das geänderte Vorzeichen ist zwar nicht bedeutungslos (weil beide Analysen ja demselben Rauschen unterworfen sind), aber Sie sollten es auch nicht über-interpretieren.

---

>Ist es am Ende nicht schön, wenn sich die ganzen seltsamen Widersprüche doch noch auflösen :)

Bedingt. Ich hätte vielleicht etwas intensiver mein Vorgehen untersuchen sollen, anstelle mir Gedankenn zu machen, wie ich die Ergebnisse interpretiere. Was ich denke ich am meisten mitnehme aus der ganzen Angelegenheit ist, dass ich mir demnächst zunächst skizziere/zerlege, was ich machen will und speziell warum. Das habe ich, wenn ich ehrlich bin, bei der ganzen Studie versäumt. Das Drauflosarbeiten macht mir immer Probleme und ich habe den Eindruck, dass es zudem deutlich anstrengender ist.

Zu Ihrer Anmerkung bzgl. des Rauschens. Kann man bei nicht-sigifikanten Ergebnissen trotzdem erwähnen, wie der Wert verläuft? Also bspw, dass ein Effekt entgegen der Annahme verläuft, ABER nicht-signifikant ist. Oder belässt man es schlicht bei der Anmerkung, dass man die Hypothese nicht belegen kann?

---

>  Das Drauflosarbeiten macht mir immer Probleme und ich habe den Eindruck, dass es zudem deutlich anstrengender ist.

Ich habe langsam das Gefühl, das muss jeder für sich lernen :) In meinen Seminaren zur Methode der Befragung predige ich das immer wieder. Aber wenn man dann seine Studie macht, ist man mit dem Kopf doch wieder ganz wo anders.

> Zu Ihrer Anmerkung bzgl. des Rauschens. Kann man bei nicht-sigifikanten Ergebnissen trotzdem erwähnen, wie der Wert verläuft?

Ja, man kann Effektstärken angeben. Beim Hypothesentest direkt würde ich schreiben, dass man in der Stichprobe einen widersprüchlichen Effekt beobachtet (damit ist die Hypothese abzulehnen). Bei weiteren Analysen würde ich notieren, dass man sich in einem Bereich befindet, der auch durch zufällige Fehler bei der Zuweisung der Experimentalgruppen zustande gekommen sein kann. Das können Sie so darstellen, wie am besten in die Argumentation passt.