Keine signifikanten Ergebnisse

Question

Hallo,

So wie es nach einer ersten Auswertung aussieht, kann ich mit meinen Daten keine meiner Hypothesen belegen. In einem Fall finde ich sogar das Gegenteil heraus. Gibt es eine legitime Möglichkieit im Nachhinein Tests anderer Hypothesen oder andere Theorien hinzuzufügen, damit man irgend etwas verwertbares erhält? Mit solchen Ergebnissen wird man wohl eher keine zufriedenstellende Abschlussnote erhalten..

Grüße!

Answer 1

In einer Abschlussarbeit müssen Sie zeigen, dass Sie eine Theorie darlegen können, dass sie daraus eine empirische Studie entwickeln können (Operationlaisierung) und dass Sie das Werkzeug zu deren Umsetzung beherrschen. Für das Ergebnis der Studie hingegen sind Sie nicht verantwortlich. Allerdings sind Sie dann wieder für eine saubere Interpretation der (Nicht-)Befunde verantwortlich.

Es hängt natürlich ein wenig am Betreuer. Aber die meisten quantitativ verorteten Forscher benoten eine stringente Umsetzung und nachvollziehbare Dokumentation deutlich besser als ein paar signifikate Ergebnisse, die mit der ursprünglichen Forschungsfrage nichts mehr zu tun haben.

Wenn Sie die Interpretation der Nicht-Befunde gründlich machen, kommen Sie evtl. auch zu dem Schluss, dass sie bei der Theorie oder der Operationalisierung an der ein oder anderen Stelle mit-verantwortlich sind (als eine mögliche Erklärung an mancher Stelle - neben der Erklärung, dass die Theorie/Hypothese einfach falsch ist). Schreiben Sie das hinein. Wenn es dort Schwächen gab, hat der Betreuer/Korrektor diese wohl ohnehin gesehen. Wenn Sie sich auch selbst finden, dann spricht das dafür, dass Sie die Sache verstanden haben.

Keine Sorge: Die Korrektoren sind i.d.R. selbst Forscher. Und die kennen es nur zu gut, dass Hypothesen sich nicht belegen lassen. Genau dies führt zu wissenschaftlichem Fortschritt. Wenn alles stimmen würde, was wir uns so ausdenken, dann könnten wir uns die Empirie ja schenken.

Comments

Also zunächst vielen Dank für die aufmunternden Worte.

Ich messe in meiner Studie u.a. die empfundene Unsicherheit im Rahmen einer Kaufsituation eines neu entwickelten Produkts. Dafür habe ich mehrere Skalen über die Mittelwerte in eine Variable zusammengefasst - Eindimensionalität und Cronbach's Alpha wurden dazu geprüft. Begründen werde ich diese Vorgehensweise damit, dass ich annehme diese Dimensionen würden alle das gleiche Konstrukt behandeln.

Würde es nun Sinn machen, nachdem ich keine sign. Effekte gefunden habe, zu argumentieren, dass ich, weil ich keine Anhaltspunkte für meine Annahmen finden konnte, diese zusammengefasste Skala wieder in ihre ursprünglichen Skalen zerlege und mit diesen Skalen dann ebenfalls Prüfungen durchführe?
Ich habe das nämlich gerade mal gemacht und herausgefunden, dass zwar im Hinblick auf das finanzielle Risiko und andere Risikovarianten in der entsprechenden Kaufsituation kein signifikanter Effekt nachgewiesen werden konnte, aber zum Beispiel ein signifikanter Effekt beim funktionellen Risiko. Falls das Vorgehen mit der Zerlegung des Gesamtkonstrukts in seine einzelnen Bestandteile nicht widersprüchlich ist, könnte ich ja jetzt argumentieren, dass wmgl. doch, zumindest hinsichtlich des funktionellen Risikos, ein Effekt besteht und bspw. das Nicht-Vorhandensein eines signifikanten Effekts beim finanziellen Risiko daran liegt, dass es schwer ist eine Kaufsituation realistisch zu simulieren, oder ich das womöglich einfach nicht gut gemacht habe.

---

Wenn Sie ehrlich sind, dann schreiben Sie, dass diese zusätzliche Analyse post-hoc gemacht wurde - und Sie begründen gut, wie Sie darauf gekommen sind und warum Sie hier andere Ergebnisse erwarten. Das wäre also eher ein Ausblick als die eigentliche Auswertung.

Streng genommen würde man hier wohl auch nur Effektstärken (z.B. Korrelationskoeffizienten) darlegen und wäre mit der Signifikanz vorsichtig, denn diese ist post-hoc sehr ... schwierig.

---

Also begründen würde ich weitergehende Prüfungen womöglich damit, dass meine Prüfungen bisher nichts ergeben haben und ich ergänzende Untersuchungen anstellen wollte.

Die Hypothesen hatte ich zunächst mittels t-Tests für unabhängige Stichproben durchgeführt, wobei ich die über ihre Mittelwerte zusammengefassten Skalen mit den dummykodierten Variablen zum Prime (mit/ohne) und der Manipulation des Produkts (alt/neu) verglichen habe. Dass ich hierbei nichts herausfinden konnte, könnte zum Beispiel daran liegen, dass mein Prime nicht so gut war (der Manipulationscheck ist zwar statistisch-signifikant, aber nur ganz knapp).

Weiter habe ich Ihren Tipp nämlich mal befolgt und eine Korrelationsanalyse mit allen Skalen durchgeführt. Dort finde ich durchweg hoch-signifikante Korrelationen.
Was ich mir nur überhaupt nicht erklären kann ist Folgendes: der Manipulationscheck bzgl des Produkts war hoch-signifikant (in die richtige Richtung). Im Rahmen der t-Tests konnte ich jedoch nahezu keinen Unterschied zwischen den Mittelwerten der Gruppen hinsichtlich ihrer Unsicherheit finden (Gruppe mit altherkömmlichem Produkt vs. Gruppe mit besonders neuartigem Produkt). Die Korrelationsanalyse zeigt dabei jedoch hohe signifikante Korrelationen der Skalen zur eingeschätzten Neuartigkeit des Produkts und der empfundenen Unsicherheit.
Hier kann ich ja nicht damit argumentieren, dass bei den t-Tests nichts gefunden werden konnte, weil, ähnlich zum Prime, die Manipulation nicht funktioniert hat. Gibt es evtl. weitere Gründe für den beschriebenen Fall?

---

Sie sollten nochmal prüfen, ob der Skalenindex korrekt berechnet wurde. Wurden alle Items ggf. richtig herum gepolt?

>  Die Korrelationsanalyse zeigt dabei jedoch hohe signifikante Korrelationen der Skalen zur eingeschätzten Neuartigkeit des Produkts und der empfundenen Unsicherheit.

Wenn Sie die Effektstärke Manipulation -> Neuartigkeit mit der Effektstärke Neuartigkeit -> Unsicherheit multiplizieren sollte ungefähr die Effektstärke Manipulation -> Unsicherheit herauskommen. Wenn nicht, dann kann es durchaus sein, dass beim Rechnen etwas schief gelaufen ist.

Ohne die konkreten Daten schwer zu beurteilen. Es kann aber einfach sein, dass ihr Effekt zu schwach ist, um ihn mit der vorhandenen Stichprobengröße nachzuweisen.

---

Können Sie kur spezifizieren, was mit

Effektstärke Manipulation -> Neuartigkeit
Effektstärke Neuartigkeit -> Unsicherheit
Effektstärke Manipulation -> Unsicherheit

gemeint ist?

Manipulation der Neuartigkeit ist eine Dummyvariable. Zu dem dazu durchgeführten Manipulationscheck habe ich das Cohens d als Effektstärke berechnet (d = 1.40).

"Neuartigkeit --> Unsicherheit" würde ich als Korrelation der Skalen verstehen (also hier wäre Neuartigkeit die Skala, die die Probanden bzgl ihrer Einschätzung zu Neuartigkeit ausgefüllt haben). Die Korrelation, und somit zugleich die Effektstärke, ist -.228 [ja, komischerweise negativ]).

Was Sie mit Manipulation --> Unsicherheit meinen, verstehe ich nicht ganz.

---

Mit "Manipulation --> Unsicherheit" meinte ich das, was Sie am Schluss zum Test der Hypothese rechnen. Wie groß ist die Effektstärke denn dort?

Ein Cohen's D von 1,4 ist verdächtig hoch. Zwar nicht unmöglich, aber dennoch würde ich da skeptisch werden, ob alles mit rechten Dingen zugegangen ist. Da muss der MW-Unterschied schon sehr groß und die Streuung innerhalb der Gruppen sehr klein sein.

---

Die Mittelwerte bezüglich der Manipulation der Neuartigkeit mit jeweils zugehöriger SE sind M = 4.35 (SD = 1.54) [für das herkömmliches Produkt] und M = 6.13 (SD = 0.92) [für das neuartige Produkt]. Also tatsächlich relativ groß.

Beim t-Test zur Hypothese bzgl. der Beziehung zwischen empfundener Unsicherheit und Neuartigkeit des Produkts waren die Mittelwerte fast identisch und der Unterschied war nicht signifikant, mit M = 3.90 (SD = 1.32)  [für das herkömmliches Produkt] und 4.07 (SD = 1.17) [für das neuartige Produkt]. Cohens d entspräche hier einem Wert von 0.131.

Ich glaube aber, dass mit ihren eingangs erwähnten Beziehungen etwas anderes gemeint war als das, was ich ihnen hier berichte, da hier mal deie Dummyvariablen miteinbezogen werden und mal die Skalen.
Kann man diese "Proberechnung" nicht auch nur mit den Korrelationen anstellen? Das wäre evtl übersichtlicher.

---

Im Prinzip können Sie auch korrelieren - wenn man nicht zu viel in die Ergebnisse hinein interpretiert, darf man dichotome Variablen als intervallskalierte Variablen behandeln.

> Beim t-Test zur Hypothese bzgl. der Beziehung zwischen empfundener Unsicherheit und Neuartigkeit des Produkts waren die Mittelwerte fast identisch

Ich dachte, die empfundene Unsicherheit wäre intervallskaliert gemessen worden und die Neuartigkeit ebenfalls? Entsprechend scheint mir ein t-Test hier unangemessen.

---

Also ich habe für alle Skalen (empfundene Unsicherheit, Kaufbereitschaft, etc.) 7-stufige lindert Skalen verwendet. Ist das überhaupt intervallskaliert - entschuldigen Sie, ich bin gerade etwas durcheinander.
Mich wundert, dass der t-Test unangebracht zu sein scheint, da mein Betreuer die Skalen kennt und die Testreihenfolge do bejaht hat.

---

Wie war die Neuartigkeit gemessen? Auch als Skala? Ich war verwundert, dass Sie die "Beziehung zwischen empfundener Unsicherheit und Neuartigkeit" (meinem Verständnis nach zwei intervallskalierte Größen) per t-Test berechnen.

> Ist das überhaupt intervallskaliert

Wenn Sie mehrere Items mittels der mathemtischeb Opertionen +/- zu einem Skalenindex verrechnen, müssen Sie zumindest eine näherungsweise Intervallskalierung annehmen. Sonst dürften Sie das gar nicht. Demnach ist ein Skalenindex immer intervallskaliert.

---

Ja ic habe das wmgl etwas unklar ausgedrückt. Ich habe 2 Dummyvariablen (mitPrime & ohne Prime sowie herkömmlich & neuartig). Nebst anderen Skalen zur Unsicherheit etc. habe ich dann aber eine Skala zur "empfundenen" Neuartigkeit, um zu prüfen, inwiefern die Probanden meine Manipulation auch als solche wahrnehmen.
Ansonsten waren Ihre Hilfestellungen schon sehr wertvoll. Ich würde aber dennoch gerne noch einmal auf folgenden Post eingehen.

>>Die Hypothesen hatte ich zunächst mittels t-Tests für unabhängige Stichproben durchgeführt, wobei ich die über ihre Mittelwerte zusammengefassten Skalen mit den dummykodierten Variablen zum Prime (mit/ohne) und der Manipulation des Produkts (alt/neu) verglichen habe. Dass ich hierbei nichts herausfinden konnte, könnte zum Beispiel daran liegen, dass mein Prime nicht so gut war (der Manipulationscheck ist zwar statistisch-signifikant, aber nur ganz knapp).
Weiter habe ich Ihren Tipp nämlich mal befolgt und eine Korrelationsanalyse mit allen Skalen durchgeführt. Dort finde ich durchweg hoch-signifikante Korrelationen.
Was ich mir nur überhaupt nicht erklären kann ist Folgendes: der Manipulationscheck bzgl des Produkts war hoch-signifikant (in die richtige Richtung). Im Rahmen der t-Tests konnte ich jedoch nahezu keinen Unterschied zwischen den Mittelwerten der Gruppen hinsichtlich ihrer Unsicherheit finden (Gruppe mit altherkömmlichem Produkt vs. Gruppe mit besonders neuartigem Produkt). Die Korrelationsanalyse zeigt dabei jedoch hohe signifikante Korrelationen der Skalen zur eingeschätzten Neuartigkeit des Produkts und der empfundenen Unsicherheit.
Hier kann ich ja nicht damit argumentieren, dass bei den t-Tests nichts gefunden werden konnte, weil, ähnlich zum Prime, die Manipulation nicht funktioniert hat. Gibt es evtl. weitere Gründe für den beschriebenen Fall?<<

Hätten Sie noch eine Idee, was der Grund für dies sein könnte? Ich köntne mir das, wie oben erwähnt, erklären, wenn der Manipulationscheck sehr schwach signifikant gewesen wäre. Aber vorliegend scheint die Manipulation der Neuartigkeit ja bestens funktioniert zu haben. Trotzdem zeigen die t-Tests nahezu keine Unterschiede in den Gruppen  - die Korrelationen hingegen sind alle von mittlerer- bis großer Stärke und durchweg signifikant mit (p = .001 oder p < .001).

---

Vielleicht liegt es nur an der Fallzahl. Sie schreiben ja weiter oben für Ihre Hypothese:

> Cohens d entspräche hier einem Wert von 0.131.

Es kann einfach sein, dass der Wert ein Stückchen zu tief liegt, als dass die vorhandene Stichprobe für ein signifikantes Ergebnis ausreicht.

Die "Hintereinanderreihung" zweier mittelstarker Effekte A->B und B->C mit einer Effektstärke von z.B. r=0,4 resultiert in einer Korrelation A->C von 0,16, wenn es keinen direkten Effekt von A auf C gibt. Und Sie sehen schon: Das r² ist hier gleich auf einem ganz anderen Niveau: 16% bei den einzelnen Korrelationen, aber nur noch 2,5% bei der Gesamtkorrelation.

Generell ist es aber nicht ganz einfach, t-Tests mit Korrelationen zu vergleichen. Rechnen Sie ruhig einmal den Regression-/Korrelationskoeffizient Ihrer Dummy-Variable auf den Manipulation Check und die AV aus. Vielleicht wird es dann klarer. Eine einfache Antwort "daran liegt es" wird es nur geben, wenn Sie doch noch einen dramatischen Fehler in der Analyse aufdecken... Aber damit würde ich nicht rechnen.

---

Die Fallzahl ist relativ groß mit N = 180.
Also die Dummyvariable zur Neuartigkeit korreliert mit der Skala zur mepfundenen Neuartigkeit mit r = .577 und p < .001.

Ich hoffe auch, dass ich keine dramatischen Fehler übersehen habe. Ich denke aber, dass ich im Diskussionsteil nicht drumherum komme, zu erklären, weshalb meine t-Tests mehr oder minder keine Ergebnisse bringen, die Korrelationen aber durchweg schon. Momentan müsste ich da kreativ werden, was denke ich unangebracht wäre. Können Sie, falls es keine typischen Ursachenmöglichkeiten gibt, evtl Literatur o.Ä. dazu e,pfehlen, sodass meine Begründung zumindest auf einer bekannten Theorie mündet?

---

> Also die Dummyvariable zur Neuartigkeit korreliert mit der Skala zur mepfundenen Neuartigkeit mit r = .577

Und mit der AV? Und wie groß war gleich wieder die Korrelation zwischen Neuartigkeit und AV?

---

Ich bin jetzt ziemlich durcheinander. Bei den Korrelationen schaut man sich doch die Korrelation der Skalen an, oder? Und nicht der Dummy mit den Skalen?

Die Neuartigkeit kommt bei 3 Hypothesen als UV vor. Die AV und Korrelationen ihrer Skalen mit der Skala der Neuartigkeit sind dabei
1. Unsicherheit (r = -.228, p = .003)
2. Kaufbereitschaft (r = .447, p < .001)
3. Persönliche Bedeutung (r = .457, p < .001)

---

> Und nicht der Dummy mit den Skalen?

Wenn man die Effektstärken als Korrelationskeoffzienten haben will, dann schon ;)

Wie sieht denn die Korrelation Dummy -> Kaufbereitschaft/pers. Bedeutung aus? Ich denke, die getrennte Betrachtung der 3 Teilskalen lässt sich durch solch gegenläufige Effekte, wie Sie hier gerade dargestellt haben, durchaus begründen. Allerdings sollten Sie nochmal prüfen, dass die Items der Skala "Unsicherheit" auch wirklich alle korrekt kodiert wurden (höherer Wert = mehr Unsicherheit).

Aber posten Sie gerne unabhängig davon nochmal die 3 Korrelationskoeffizienten Dummy -> AV.

---

Die sind:
1. Unsicherheit (r = .068, p = .384)
2. Kaufbereitschaft (r = .187, p < .015)
3. Persönliche Bedeutung (r = .150, p < .053)

Die Codierung habe ich geprüft. Und zu den Teilskalen - die bringen leider ungefähr die gleichen Zusammenhänge - das ist also quasi überflüssig noch aufzusplitten.
Ich verstehe nur einfach nicht, was der Grund ist, weshalb die t-Tests minimale Effekte zeigen und von denen keiner in die Nähe einer Signifikanz kommt, aber die Korrelationen durchweg schon.

---

> weshalb die t-Tests minimale Effekte zeigen und von denen keiner in die Nähe einer Signifikanz kommt, aber die Korrelationen durchweg schon.

Aber bei der Korrelation ist doch auch nur die mittlere signifikant - die anderen beiden nicht (ein davon freilich nur knapp). Es sind natürlich auch unterschiedliche Verfahren, das darf man nicht ganz außer Acht lassen. Extremere Antworten fließen bei der Korrelation quadratisch ein, beim t-Test nur linear.

Es könnte also durchaus sein, dass Sie eine Subpopulation haben, welche einen deutlichen Effekt zeigt - diese aber mit anderen Teilnehmern überlagert ist, die quasi keinen oder sogar einen schwach negativen Effekt zeigen (manchmal sieht man das, wenn man sich die Histogramme der AV getrennt nach Experimental- und Kontrollgruppe ansieht). Die Offenheit für Innovationen könnte da durchaus ein wichtiger Einflussfaktor sein.

Dass die Korrelation r(AC) so deutlich schwächer ist als r(AB) x r(BC) ist zugegeben unerwartet. Ich bin nicht ganz sicher, wie das statistisch zu interpretieren ist. Womöglich gibt es einen zweiten Faktor neben der Neuartigkeit, der genau in entgegengesetzter Richtung wirkt - und ihren Effekt überlagert. Etwa "Fremdheit". Aber das sind natürlich alles nur Spekulationen für den Ausblick...

Ich denke, solche Spekulation und eine ausführliche Darlegung der Resultate und deren Unstimmigkeit (Sie sollten auf jeden Fall zeigen, dass Sie darüber nachgedacht haben) ist auch das einzige was Sie am Ende noch machen können.

Wenn Sie denken, es liegt an der Verteilung, dann prüfen Sie auch nochmal, ob die Voraussetzungen für den t-Test erfüllt sind (Tipp: sind sie meistens nicht). Das wäre noch ein Argument, einen u-Test anstatt des t-Tests zu rechnen.

---

Die Korrelationen mit der Dummy-Variable sind auch nicht oder nur knapp signifikant. Aber die betrachtet man doch auch nicht, oder?

Beim t-Test hatte ich mir nur die Gruppen angeschaut (Dummy-Variable), die entweder das neuartig-manipulierte oder das als alt-herkömmlich manipulierte Produkt erhalten haben und diese dann hinsichtlich ihrer Bewertungen der  (Skalen) Unsicherheit, Kaufbereitschaft und Pers. Bedeutung verglichen. Ergebnis war kein Unterschied.

Ich beziehe mich aber auf die Korrelationen der Skala zur empfundenen Neuartigkeit (das habe ich ja als Skala, auf der die Probanden angeben, wie neuartig das Produkt ihrer Meinung nach ist) mit den Skalen zur Unsicherheit, Kaufbereitschaft und Pers. Bedeutung. Mit der Korrelation möchte ich ja sehen, ob, wenn ein Proband die empfundene Neuartigkeit hoch bewertet, seine Einschätzung zur Unsicherheit etc. hoch oder niedrig ausfällt.
Damit sieht es dann nämlich wie folgt aus:

1. Unsicherheit (r = -.228, p = .003)
2. Kaufbereitschaft (r = .477, p < .001)
3. Persönliche Bedeutung (r = .457, p < .001)

Die für den t-Test vorausgesetzte Normalverteilungsannahme ist in fast jedem Fall verletzt. Aber bei so großen Stichproben dürfte das doch erstens "egal" sein und zweitens nicht erklären, weshalb keiner der t-Tests signifikant ist, aber alle Korrelationen signifikant mit mittlerer bis hoher Stärke.

Was genau bedeutet das hier "Dass die Korrelation r(AC) so deutlich schwächer ist als r(AB) x r(BC)".

Viele Grüße!

---

A = Ihre Experimentalbedingung / UV (Dummy)
B = Empfundene Neuartigkeit
C = Ihre AV (also eigentlich C1, C2, C3)

> Aber bei so großen Stichproben dürfte das doch erstens "egal" sein und zweitens nicht erklären, weshalb keiner der t-Tests signifikant ist

Sicher? Der t-Test arbeitet mit Mittelwerten und die sind eigentlich unr für Normalverteilungen ein aussagekräftiges Lagemaß. Ein u-Test sollte ja recht schnell auszuprobieren sein. Und wenn die Ergebnisse dort plötzlich alle signifikant sein sollten, hätten Sie eine statistische Erklärung für Ihr Problem. Wenn nicht, müssen Sie sich mit inhaltlichen Spekulationen begnügen.

---

Der U-Test liefert leider ähnliche Ergebnisse. Die Richtung ist immer die selbe und die p-Werte sind auch alle im einstelligen Nachkommabereich.
Ich hätte abschließend noch folgende Fragen:

1. Muss die Stichprobe nicht sehr klein sein, damit man den U-Test rechtfertigen kann? Wenn nicht, würde ich nämlich gerne in meiner Arbeit schreiben, dass ich diesen auch durchgeführt habe um auszuschließen, dass die nicht-signifikanten Ergebnisse durch die Verletzung der Normalverteilungsannahme bedingt werden.
2. Ist dieser Vergleich von r(AC) mit r(AB) x r(BC) gängig bzw. hat er einen Namen? Dann könnte ich noch etwas dazu lesen und auch anbringen, dass ich ihn durchgeführt habe.
3. Ist das überhaupt üblich, dass man auf der Suche nach signifikanten Ergebnissen verschiedene Tests durchläuft und diesen Prozess auch in seiner Arbeit schildert?
4. Momentan käme meine Diskussion der unterschiedlichen Ergebnisse zwischen t-Test/U-Test und der Korrelationsanalyse zu dem Fazit, dass ich keine Begründung habe. Die Möglichkeit zu spekulieren, dass es wie im Falle des Primes (der ja nur knapp-signifikant war) an dessen geringen Wirkung liegen könnte, entfällt leider bei der Neuartigkeits-Manipulation (p < .001, d = 1.40).
Es müsste eigentlich eine Begründung geben. Ausschließen kann ich die evtl. Nicht-Wirksamkeit der Manipulation, die Verletzung der Testvoraussetzungen und eine evtl. zu kleine Stichprobe. Ich kann ja schlecht am Ende sagen, dass ich nicht weiß warum da so ein gravierender Unterschied herrscht. :)

---

> 1. Muss die Stichprobe nicht sehr klein sein, damit man den U-Test rechtfertigen kann?

http://www.methodenberatung.uzh.ch/de/datenanalyse/unterschiede/zentral/mann.html#7

Verwenden darf (!) man ihn eigentlich immer - und wenn man davon ausgehen muss, dass die Voraussetzungen frü den t-Test verletzt sind, dann erst recht.

> 2. Ist dieser Vergleich von r(AC) mit r(AB) x r(BC) gängig bzw. hat er einen Namen? Dann könnte ich noch etwas dazu lesen und auch anbringen, dass ich ihn durchgeführt habe.

Dazu müssten Sie im Kontext von Pfadanalysen etwas finden.

> 3. Ist das überhaupt üblich, dass man auf der Suche nach signifikanten Ergebnissen verschiedene Tests durchläuft und diesen Prozess auch in seiner Arbeit schildert?

Nein, die Hypothese wird nur so getestet, wie ursprünglich vorgesehen. Aber wenn der Befund berechtigte Zweifel weckt, dass etwas nicht stimmt, ist es natürlich sinnvoll, dass man diese Zweifel mithilfe weiterer Analysen ausräumt. Sonst fragt sich natürlich auch der Korrektor/Reviewer: "Hat der Schreiberling da in der Analyse Mist gebaut?"

> 4. Momentan käme meine Diskussion der unterschiedlichen Ergebnisse zwischen t-Test/U-Test und der Korrelationsanalyse zu dem Fazit, dass ich keine Begründung habe.

Beim u-Test würde ich  keine Signifikanz mehr angeben. Aber Sie können damit ausschließen, dass der t-Test aufgrund der Verletzung der Voraussetzungen (Normalverteilung) grob fehlerhafte Ergebnisse liefert.

> Die Möglichkeit zu spekulieren, dass es wie im Falle des Primes (der ja nur knapp-signifikant war) an dessen geringen Wirkung liegen könnte, entfällt leider bei der Neuartigkeits-Manipulation (p < .001, d = 1.40).

Es wäre schlimm, wenn der Manipulation Check nicht funktioniert hätte. Dann wäre es ihre schuld. So ist die Theorie schuld :)

> Es müsste eigentlich eine Begründung geben.

Ja. Schreiben Sie, woran es nicht liegt und was es denn sein könnte. Dafür ist der Diskussionsteil einer empirischen Arbeit da.

> Ich kann ja schlecht am Ende sagen, dass ich nicht weiß warum da so ein gravierender Unterschied herrscht. :)

Sehen Sie mal in ein paar peer-reviewed paper. Da werden Sie am Ende seeeeehr oft lesen, dass weitere Forschung auf dem Gebiet notwendig ist. Leider sind die Kollegen manchmal ein wenig schlampig und schreiben nicht, weshalb und was genau. Genau das können Sie angeben.

---

Nun gut, vielen Dank!
Momentan schildere ich meine Prüfung so, dass ich zunächst wie geplant die t-Tests absolviert habe. Da diese "nichts" liefern, würde ich dann kurz einbauen, dass mithilfe des U-Tests Zweifel ausgeräumt wurden, dass es wmgl. an der verletzten Normalverteilungsannahme lag (also ohne explizite Werte). Und dann, mit Begründung des so schwachen Primes, die Korrelationen anführe.

Das wäre also so vertretbar? Wenn ich das alles streichen müsste und mich statdessen mit t-Test --> keine Ergebnisse zufriedengeben muss, fehlen mir nämlich einige Seiten :)

---

>  Da diese "nichts" liefern

So würde ich das nicht schreiben. Eher: Da die Ergebnisse in sich inkonsistent wirken, sollen mögliche Fehlerquellen ausgeschlossen und die Zusammenhänge genauer beleuchtet werden.

Ob die Korrelationen in die Argumentation passen, müssen Sie schauen. Die waren für mich vor allem deshalb interessant, um zu sehen, ob das Ergebnis wirklich überraschend ist oder im Rahmen der "normalen" Verlustes von Effekten liegt, wenn man die Absolge zweier Effekte betrachtet.

---

Bisher verläuft die Schilderung der Prüfung meiner Hypothesen so, dass ich H1a,b,c prüfe, dort nichts finde und dann sage, dass aufgrund der Indizien erst mittels U-Test die erste mögliche Ursache (NV) untersucht wurde und dann die Korrelationen betrachtet wurden, um die zweite mögliche Ursache (Prime) auszuschließen (hier ist schon fraglich, ob das üblich ist sich dann Korrelatioen anzuschauen). Dann schildere ich die dortigen Auffälligkeiten etc.

H2a,b,c baut auf der Manipulation der Neuartigkeit auf. Die hat ja gut gewirkt, deshalb mache ich erneut die t-Tests - wieder mit keinem Ergebnis und dann argumentiere ich in die Richtung, dass ich aufgrund der aus den Korrelationen gewonnenen Erkenntnisse bei H1 mir auch hier die Korrelationen anschaue.

Ist das eigentlich noch "sauber" bzw. wird das einer wissenschaftlichen Arbeit noch gerecht? Oder wäre es womöglich angebrachter, dass ich meine t-Tests ohne jegliiche Ergebnisse durchlaufe und dann ein Kapitel "Post Hoc Analyse" anfüge?
Was dafür sprechen würde ist, dass man evtl den Einruck bekommen könnte, ich hätte auf Biegen und Brechen nach Ergebnissen gesucht. Ich habe ja zwar ein gutes Indiz mit der verletzten NV, dass der t-Test unangebracht sei, aber dann müsste doch spätestens beim U-Test Schluss sein, oder? Wenn der nichts liefert, ist fraglich, warum ich dann noch die Korrelationen betrachte.
Was dagegen sprechen würde ist zum einen, dass ich dann meinen Methodenteil wirklich schnell abgehandelt habe und, dass es sich wmgl etwas schwer liest.

---

> Oder wäre es womöglich angebrachter, dass ich meine t-Tests ohne jegliiche Ergebnisse durchlaufe und dann ein Kapitel "Post Hoc Analyse" anfüge?

Das wäre von der Argumentation her vermutlich schlüssiger, ja.

> Wenn der nichts liefert, ist fraglich, warum ich dann noch die Korrelationen betrachte.

Können Sie aus den Korrelationen noch etwas ableiten? Wenn ja (z.B. die Effektstärken nochmal mit einem einheitlichen Maß gegenüberstellen), dann macht es m.E. Sinn. Sonst können Sie das natürlich auch weglassen.

---

Verwenden würde ich sie schon gerne, denn die Korrelationen bestätigen alle meine Hypothesen und liefern in einem Fall sogar ein sehr interessantes/kontroverses Ergebnis, dass zwar gegenteilig zu meiner Hypothese ist, aber mit einigen kürzlich durchgeführten Studien übereinstimmt.

Vielleicht belasse ich es einfach bei der Begründung dafür, wie ich darauf komme die Korrelationen zu betrachten, dass der Prime so schwach war.

---

Ich empfehle, die Signifikanzwerte der Korrelation nicht überzubewerten. Einmal ist es ja eine post-hoc-Analyse, also kann Ihre Hypothese hier nicht mehr bestätigt werden. Wir sprechen nur von "Futter" für Ihre Interpretation.

Zum zweiten ist die Produkt-Moment-Korrelation (Pearson) anfällig für Ausreißer. Das Pendant zum robusteren u-Test wäre eher eine Rangkorrelation (Spearman). Aber auch da: Diskutieren Sie die Effektstärken, aber interpretieren Sie nicht die Signifikanz im Sinne von "meine Hypothese stimmt doch". Ausweisen können Sie die Sternchen natürlich trotzdem.

---

Vielen Dank für den Hinweis.
Wie würde man denn mit den Effektstärken argumentieren bzw. was ist denn eine sinnvolle Schlussfolgerung?

Bisher hätte ich für jede Hypothese die zugehörigen Korrelationen herangezogen, dann aufgezeigt, dass der Zusammenhang signifikant und jeweils von mittlerer oder großer Stärke ist, und hätte das dann abgeschlossen mit sowas wie "...was folglich bestätigende Indizien für die zunächst im Rahmen der t-Tests verworfenen Hypothesen liefert" oder ".. womit anzunehmen ist, dass doch ein Zusammenhang zwischen ... besteht".
Im Diskussionsteil würde ich das wahrscheinlich so behandeln, als hätte ich meine Hypothesen bestätigt.
Sind solche Shlussfolgerungen "falsch"?
Wenn ich es vorsichtig formulieren würde, könnte ich sagen, dass in meinem Experiment irgendetwas flasch gelaufen ist, weshalb die Tests keine statistisch-signifikanten Unterschiede geliefert haben. Dem könnte ich dann hinzufügen, dass nach Betrachtung der Korrelationen aber Grund zur Annahme besteht, dass womöglich unter verbesserten Rahmenbedingungen "bessere" Ergebnisse generiert werden können.

Während man bei ersterer Handhabung negativ anmerken könnte, dass ich eine Post-Hoc-Analyse und meine eigentlichen Tests vermischt habe und etwas naiv die Ergebnisse dieser Post-Hoc-Analyse als Bestätigung meiner Hypothesen verwende, lasse ich dem Prüfer im zweiten Fall ja eigentlich gar keine andere Wahl, als deutliche Abstriche bei der Bewertung zu machen. Schließlich kann ich es nur mit einem schlecht konstruierten Experiment begründen.
Und abgesehen davon, dass das ohne weiteres einen Faktor darstellen kann, muss der Grund ein anderer sein.

Nochmal ganz knapp zusammengefasst:

H1:
>Die t-Tests lieferten nichts.
>Die U-Tests auch nicht (womit die verletzte NV-Annahme nicht der Grund sein wird).
>Die Korrelationen liefern aber allesamt Zusammenhänge mit mittlerer bis hoher Stärke.
--> Meine Schlussfolgerung: Es wird am schwachen Prime gelegen haben.

H2:
>siehe oben
>siehe oben
>siehe oben
--->hier kann ich nicht mit der Manipulation argumentieren, da diese hochsignifikant mit d = 1.4 war. Das ist insofern problematisch, weil das auch meine obige Schlussfolgerung nichtig macht.
Es muss folglich eine andere Ursache sein.


PS: Interpretiert man die Spearman Rangkorrelation großartig anders, oder war das nur ein Hinweis, damit ich auch die richtige Variante wähle. Ich habe mir die gerade auch einmal angeschaut. Ist eigentlich alles gleich - teilweise sind die Werte hinsichtlich der zweiten Nachkommastelle einen Punkt niedriger.

---

> Sind solche Shlussfolgerungen "falsch"?

Ja, denn Sie haben sich bei der Hypothese für einen t-Test entschieden. Einfach nach anderen Analysen zu suchen, bis etwas passt, it nicht gerade die feine Art.

> Wie würde man denn mit den Effektstärken argumentieren bzw. was ist denn eine sinnvolle Schlussfolgerung?

Dass die beiden Teil-Effekte A-B und B-C eigentlich einen stärkeren Zusammenhang A-C erwarten lassen würden und dass es viele Fragen aufwirft, warum A-C so schwach ist. Und dann kann man über direkte Effekte A-C spekulieren, welche das erklären könnten.

>  lasse ich dem Prüfer im zweiten Fall ja eigentlich gar keine andere Wahl, als deutliche Abstriche bei der Bewertung zu machen.

Es ist eine Frage der Darstellung: Sich selbst und die eigenen Befunde in Zweifel zu ziehen, von weiteren Seiten zu beleuchten und festzustellen, dass die ursprünglich für die Hypothesentests gewählten Verfahren womöglich nicht die ganze Wahrheit erzählen können, ist eine Stärke. Es muss ja kein Fehler sein, dass der t-Test "fehlschlägt" - womöglich liefert die Korrelation ein false positive.

> Die Korrelationen liefern aber allesamt Zusammenhänge mit mittlerer bis hoher Stärke.
> PS: Interpretiert man die Spearman Rangkorrelation großartig anders, oder war das nur ein Hinweis, damit ich auch die richtige Variante wähle.

Der Unterschied ist ungefähr der gleiche wie zwischen t- und u-Test. Die Korrelation nach Pearson hat strengere Anforderungen an die Variablen. Die Rangkorrelation benötigt "nur" ordinal skalierte Variablen.

Und nochmal: Es geht hier nicht darum, dass Sie Fehler gemacht haben. Es geht darum, dass Sie mit Ihren Befunden verantwortlich umgehen (d.h. erstmal dem konservativen Ergebnis folgen, dass die Hypothesen potenziell falsch sind) und dann - im Sinne des wissenschaftlichen Fortschritts - genauer untersuchen, weshalb die theoretisch plausiblen Hypothesen von der Empirie nicht gestützt werden.

Wenn Sie sich noch genauer über mögliche Ursachen informieren möchten, warum bei denselben Daten ein u-Test nicht signifikant ist, eine Rangkorrelation aber schon, dann können Sie einmal bei Cross Validated nachhaken  https://stats.stackexchange.com/ - dort finden Sie Leute, die sich mit solchen Spezialfällen auskennen.

---

Eine stringente Argumentation mittels Pfandanalyse traue ich mir nicht zu. Besonders im Hinblick auf die näherrückende Abgabefrist :)

Ich werde noch ein paar Tage versuchen zu einer Erklärung zu kommen, warum sich erst bei den Korrelationen Effekte zeigen. Wenn das klappt, dann führe ich die Korrelationen im Rahmen einer Post-Hoc Analyse an, begründe die Auffälligkeiten mit meiner bis dahin gefundenen Erklärung und beende das mit einem "call for future research".
Finde ich nichts, werde ich es denke ich entweder weglassen, oder in die Tests mischen, denn sonst müsste ich die Post-Hoc Analyse so gestalten, dass ich die Korrelationen anführe und, egal wie ich es verpacke, eine zugehörige Begründung offen lassen muss. Das wäre einfach zu inhaltslos, da ich ja auch im Rahmen der Diskussion wieder an diesen Punkt komme und es dort wieder erwähnen, aber offen lassen muss.

Dennoch vielen Dank für die Diskussion hier. Das hat mir wirklich sehr geholfen!

---

Entschuldigen Sie, wenn ich das hier nochmal zum Leben erwecke, aber eine Sache habe ich ganz vergessen zu fragen.
Eine meiner Hypothesen beinhaltet auch eine Mediatorenanalyse. Während ich ja im t-Test keinen signifikanten Unterschied hinsichtlich des Einflusses hohe Neuartigkeit-->Unsicherheit finden konnte, wird dieser Effekt im Regressionsmodell der Mediatorenanalyse signifikant negativ geschätzt. Also eher kontrovers, da umso neuer-->umso weniger Unsicherheit. Diese Richtung zeigte sich im übrigen auch bei meiner erwähnten Korrelationsanalyse.
Können Sie mit der Info irgendwas angfangen? :)
Oder ist da nichts besonderes dran, dass der t-Test nichts zeigt, aber die Regression schon?

---

Eine Korrelation mit 2 Variablen ist rechnerisch äquivalent zu einer Regression mit 2 Variablen. Und wenn Sie mehr Variablen verwenden, ändert sich zumindest nicht viel. Kurzum: Die Regression und die Korrelation (Pearson) liefern i.d.R. ziemlich gleiche Ergebnisse. Da verwundert es nicht, dass Sie zwischen t-Test und Regression dieselben Unstimmigkeiten finden wie schon zwischen t-Test und Korrelation.

Meine Vermutung ist, dass die Unstimmigkeiten irgendwo auf eine deutlich von der Normalverteilung abweichende Verteilung der Daten zurückzuführen sind - aber das ist wirklich nur Spekulation. Und es sagt auch nichts darüber aus, was denn nun "richtiger" ist. Aber man muss (wenn man konservativ an die Befunde herangeht) zumindest die Möglichkeit in Betracht ziehen, dass die Signifikanz im Regressionsmodell nur ein Artefakt ist. Story of your thesis ;)

---

Haben Sie das denn in irgend einem wissenschaftlichen Zusammenhang schonmal gesehen, dass man sich die Korrelationen anschaut um zu sehen, wie sich hohe Bewertung der Skala A mit Bewertungen der Skala B verhalten? Die Signifikanz mal außen vor.
Die Annahme war ja, dass der Prime wohl nicht so gut funktioniert hat und ich dadurch, wenn ich die Gruppen nur anhand "Prime erhalten" vs "Prime nicht erhalten" vergleiche, wahrscheinlich nichts finde. Da wäre es aber halt, zumindes für einen Laien :), interessant zu sehen, wie Personen die die Skala für den empfundenen Innovationsgrad mit hohen Scores bewerten z.B. die Skala zu empfundenen Unsicherheit bewerten. Und wenn ich dann sehe, dass diese in den meisten Fällen (sehr vereinfacht ausgedrückt) dann auch eine hohe Unsicherheit angeben, dann müsste das doch zumindest irgendeine Aussagekraft haben, oder?

Falls das irgendwas aussagt, könnte ich halt so untermauern, dass es wmgl an meinem experimentellen Aufbau gelegen hat und man unter verbesserten Umständen weiter forschen sollte.

---

> Haben Sie das denn in irgend einem wissenschaftlichen Zusammenhang schonmal gesehen, dass man sich die Korrelationen anschaut um zu sehen, wie sich hohe Bewertung der Skala A mit Bewertungen der Skala B verhalten

Ich bin nicht sicher, ob ich die Frage richtig verstehe ... aber Korrelationen und Regressionen sind doch das Standard-Werkzeug, um Zusammenhänge zwischen intervallskalierten Variablen zu beschreiben?! Vermutlich war Ihre Frage anders gemeint....

Wenn Sie noch ein paar Seiten Platz in der Arbeit haben, dann können Sie sich das natürlich ansehen. Achten Sie nur darauf, dass Sie immer den Bezug zur ursprünglichen Studie herstellen (explizit!) und man nicht den Eindruck gewinnt, Sie würden zum Ende hin komplett vergessen, worum es in der Studie eigentlich ging. Denken Sie auch daran, Ihre Gedankengänge nachvollziehbar (!) darzulegen. Wenn man sich in neue Bereiche vortastet ist das Risiko besonders hoch, dass man vom Leser zu viel Vorwissen erwartet. Deshalb müssen Sie kristallklar darlegen, welche mögliche Erklärung Sie in Betracht ziehen und warum Sie denken, man könnte das anhand der vorliegenden Daten prüfen/falsifizieren. Und ich empfehle, dass Sie nicht mehr allzu viel auswerten, sondern den Schwerpunkt auf einen schönen Diskussionsteil legen. Dort muss nicht alles mit Korrelationskoeffizienten belegt sein, sondern es sind auch begründete Spekulationen erlaubt. Mal ehrlich: Der Leser will nach der Auswertung endlich zum Ende der Arbeit gelangen. Wenn es dann nochmal mit einer Auswertung losgeht, kann das schnell ermüdend werden.

---

>Ich bin nicht sicher, ob ich die Frage richtig verstehe

Ich meinte diese Vorgehensweise. Ich teile ja beim t-Test meine Gruppen nach z.B. "Kaufentscheidung zu neuem Produkt getroffen" vs "Kaufentscheidung zu altem Produkt getroffen" und hatte in meinr zugehörigen Hypothese postuliert, dass Konsumenten, die ihre Kaufentscheidung zum neuen Produkt treffen, eine höhere Unsicherheit berichten würden. Dort finde ich nichts.
Im Mediatorenmodell sehe ich dann aber u.a. einen signifikanten Effekt von neu auf unsicher. Und nachdem ich meine Prüfung abgeschlossen habe, erhebe ich im Diskussionsteil oder ggf. einer knappen Post Hoc Analyse die Annahme, dass der vermutete Zusammenhang, den ich ja auch anhand vergangener Forschung in meinem Literaturteil hergeleitet habe, womöglich doch bestehen könnte und ich nur nichts bei meiner Einteilung nach Gruppen (t-Tests) finde, weil mein Experiment zu schwach war.
Damit rechtfertige ich dann, dass ich mir anschaue, wie die Bewertungen der Skalen sich zueinander verhalten. Hier finde durchweg Zusammenhänge, die nicht nur gut zu meiner Literaturrecherche passen, sondern auch zu meinen Hypothesen. Und damit schließe ich ab und sage, dass "womöglich" doch Zusammenhänge bestehen, mein Experiment zu schwach war, als dass sich diese abzeichnen könnten, wenn man nur nach meinen Gruppen unterscheidet. Dann empfehle ich, dass der Zusammenhang im Rahmen zukünftiger Studien evtl. erneut untersucht werden sollte.

>immer den Bezug zur ursprünglichen Studie herstellen
Das würde halt ideal passen, zumal sich erst bei den Korrelationen ein paar kontroverse Zusammenhänge zeigen, die so auch in vergangenen Studien beobachtet wurden.

>Wenn Sie noch ein paar Seiten Platz in der Arbeit haben
Das ist, um ehrlich zu seinn, ein wenig die Quelle allen Übels. Ich muss ja eine gewisse Seitenzahl füllen und ein Methodenteil ohne Ergebnisse und ohne wirkliche Analyse, woran es gelegen haben könnte (meine Post Hoc Analyse), führt ja ebenfalls zu einem überschaubaren Diskussionsteil. Da köntne ich ja sonst nur ein Paar Zeilen spekulieren. Und falls mein oben beschriebener Vorgang nicht ganz untypisch/abwegig ist (daher die Frage " Haben Sie das denn in irgend einem wissenschaftlichen Zusammenhang schonmal gesehen"), dann wäre das halt eine willkommene Gelegenheit, die Arbeit ein wenig zu füllen. Sowohl vom Umfang, als auch inhaltlich.

---

> und ich nur nichts bei meiner Einteilung nach Gruppen (t-Tests) finde, weil mein Experiment zu schwach war.

Dies haben Sie ja bereits im Manipulation Check überprüft - die experimentelle Manipulation hatte demnach ja funktioniert. Ebenso könnte die Messung der Unsicherheit nicht funktioniert haben, weil sie vielleicht den falschen Aspekt der Unsicherheit gemessen hat oder weil sie von sozialer Erwünschtheit verzerrt war. Aber die konservative Schlussfolgerung müsste sein, dass es keinen Effekt gibt.

>  mein Experiment zu schwach war, als dass sich diese abzeichnen könnten, wenn man nur nach meinen Gruppen unterscheidet.

Aber in der Regression/Korrelation haben Sie für die UV ja auch nur 2 Gruppen/Ausprägungen. Diese Argumentation über "Gruppen" halte ich daher für nicht nachvollziehbar.

>> immer den Bezug zur ursprünglichen Studie herstellen
> Das würde halt ideal passen

Perfekt - dann stellen Sie sicher, dass Sie diesen Bezug auch deutlich und klar nachvollziehbar herausstellen.

> Und falls mein oben beschriebener Vorgang nicht ganz untypisch/abwegig ist

Keine Sorge ;) Wie gesagt: Lassen Sie es nur nicht so aussehen, als wollten Sie die Hypothesen nachträglich retten, sondern so, dass Sie "post-hoc" die unerwarteten Ergebnisse genauer untersuchen möchten. Dass ist alles gut ;)

---

Gut, die Argumentation mit den Gruppen sollte ich dann besser weglassen :). Danke für den Hinweis.

Aber wenn ich dann so beschreibe, dass ich aus Interesse die unerwarteten Ergebnisse genauer untersuchen möchte und finde dann durchweg die erwähnten Korrelationen. Wie könnte man das denn kommentieren? Ich will das nicht von neu aufrollen, aber hätten Sie einen Wink in die richtige Richtung, wie man begründen "könnte", dass sich erst/nur bei der Korrelation Zusammenhänge zeigen. Es ist ja schonmal hilfreich, wenn ich einiges auflisten kann, woran es nicht gelegen haben wird (Manipulation etc). Aber ich brauche zumindest eine nachvollziehbare Spekulation für den Sachverhalt "t-Test führt zu nix, aber Korrelation durchweg schon". Was wird denn, vereinfacht gesagt, im t-Test "blockiert", was sich bei einer Korrelation zeigt?

---

> Wie könnte man das denn kommentieren?

Eines der Dinge, die man als Forscher lernt ist, dass man nicht alles wissen kann. Es ist auch nicht Ihr Job in der Abschlussarbeit, dass Sie alles erklären können. Sie können einige Möglichkeiten in den Raum werfen (abweichung von der Normalverteilung, Verletzung der Voraussetzungen, unterschiedliche Funktionsweise der Signifikanztests - damit womöglich ein statistisches Artefakt), aber damit haben Sie Ihre Schuldigkeit getan. Ich bezweifle, dass Sie in Ihrem Studium das nötige statistische Werkzeug an die Hand bekommen haben, um den Fall bis ins letzte zu analysieren.

Natürlich schreiben Sie nicht "ich weiß es nicht", aber man kann es ja auch dezenter ausdrücken, z.B.: "Die Aufklärung dieses Widerspruchs erfordert eine tiefergehende Analyse der vorliegenden Daten und würde den Rahmen der Arbeit sprengen."

---

Das hört sich gut an :)

---

Wäre es eigentlich taktisch unklug, nebst den anderen o.g. Vermutungen, zu dem Fazit zu kommen, dass man sich womöglich für ein falsches Produkt entschieden hat (plakativ: man hat versucht mit einem Stuhl ein besonders innovatives Produkt zu simulieren, anstatt sich eher für eine technologische Variante zu entscheiden).

Nach Ihrer Anmerkung "Ebenso könnte die Messung der Unsicherheit nicht funktioniert haben, weil sie vielleicht den falschen Aspekt der Unsicherheit gemessen" wird mir nämlich bewusst, dass ich wmgl durch die Art, wie ich mein Produkt manipuliert habe, wenn überhaupt, eine andere Dimension (z.B. soziale Unsicherheit, statt funktioneller) provoziert habe.

Beweist man mit sowas Konsequenz, oder fördert man damit zu sehr die Gegenfrage "wieso war das denn nicht der Durchführung klar"?


EDIT: Ich muss mich entschuldigen, dass das hier immer weiter zu gehen scheint, aber vielleicht habe ich was gefunden. Ich habe ja erwähnt, dass ich auch eine Mediatorenanalyse gemacht habe. Messen wollte ich, ob in dern Beziehung Innovationsgrad auf Kaufbereitschaft, die Unsicherheit ein Mediator ist.
Ich finde dabei
1. Für den Pfad A (Innovationsgrad auf Unsicherheit) einen negativen Effekt(b = -0.18).
2. Für den Pfad B (Unsicherheit auf Kaufbereitschaft) einen negativen Effekt (b = -0.59).
3. Für den Pfad C (Innovationsgrad auf Kaufbereitschaft) einen positiven(!) Effekt (b = 0.40).
4. Für den totalen Effekt C' (b = 0.51)
5. Und den indirekten Effekt A*B (b = 0.11)

Ich konnte das bisher nicht wirklich interpretieren. Habe mir nur sagen lassen, dass ich herausgefunden habe, dass "ein Teil des totalen Effekts des empfundenen Innovationsgrads auf die Kaufbereitschaft über die empfundene Unsicherheit vermittlet wird."

Sind eventuell die gegenläufigen Effekte ein Grund, weshalb ich bei den anderen Tests nichts finde? Quasi so, als dass der eine den anderen aufhebt?

---

> Wäre es eigentlich taktisch unklug, nebst den anderen o.g. Vermutungen, zu dem Fazit zu kommen, dass man sich womöglich für ein falsches Produkt entschieden hat

Ich würde es nicht wortwörtlich so schreiben, aber ja ... wenn es sich der Leser selbst schon denken kann, dann sollte man vielleicht knapp darlegen, dass die Produktklasse des Stimulus womöglich einen Einfluss auf die Mechnismen hat, die man untersucht. Und dann die Forschung hier evtl. differenzierter werden müsste.

> Beweist man mit sowas Konsequenz, oder fördert man damit zu sehr die Gegenfrage

Als Forscher hat man immer das Risiko, Fehler zu machen. Das nennt sich dann wissenschaftlicher und methodischer Fortschritt. Nobody's perfect. Aber es gibt Menschen, die aus Fehlern lernen - und welche, die sie heimlich still und leise verschwinden lassen. Das ist eine persönliche Präferenz und es gibt sicher nicht für jede Situation und jedes Gegenüber die perfekte Lösung.

> Für den Pfad C (Innovationsgrad auf Kaufbereitschaft) einen positiven(!) Effekt (b = 0.40).

Mir scheint ds logisch: Mehr Innovation -> weniger Unsicherheit (warum auch immer) -> mehr Kaufbereitschaft. Minus mal minus ergibt plus.

Und dass der direkte Effekt mehr ausmacht als die indirekte Effekt, ist ohnehin schlüssig. Immerhin sollte Innovation über andere Wege auf die Kaufabsicht wirken als nur über die Unsicherheit. Sonst würden sich Innovationen ja überhaupt nicht durchsetzen.

Weshalb Sie bei einem Gesamteffekt von r=.51 für dieselben Daten im t-Test nichts finden, ist mir unerklärlich. Hier vermute ich (wie oben geschrieben) entweder einen Fehler (fallen Ihnen in der Regression vielleicht Fälle aufgrund fehlender Daten "raus", die im t-Test enthalten sind?) oder eine statistische Schieflage. Und wenn's der Fehler nicht ist, dann müsste sich das wohl einfach mal ein Statistiker im Detail ansehen. Das geht, wie schon geschrieben, über eine Abschlussarbeit ein Stückchen hinaus.

---

>Aber in der Regression/Korrelation haben Sie für die UV ja auch nur 2 Gruppen/Ausprägungen. Diese Argumentation über "Gruppen" halte ich daher für nicht nachvollziehbar.

Ich werde es wahrscheinlich so lassen, wie es jetzt ist, aber mir ist was aufgefallen, was ich womöglich falsch gemacht habe und was begründet, warum ich im Rahmen der Mediatorenanalyse etwas finde, was sich zwar bei den Korrelationen zeigt, aber nicht im t-Test.

Im t-Test waren meine UV ja dummykodiert (Prime = 0/1 [z.B. schlechte Laune vs. gute Laune]) und (Manipulation = 0/1 [Innovationsgrad]) und meine AV jeweils die Skalen (Unsicherheit, Kaufbereitschaft, etc.)
In den Korrelationen hingegen habe ich die Zusammenhänge zwischen den Skalen, mit denen ich die Wirksamkeit des Primes und der Manipulation gemessen habe (z.B. empfundene gute Laune und empfundene Innovation) mit den anderen Skalen (Unsicherheit, Kaufbereitschaft, etc.) betrachtet.
Da ich bei den t-Tests nichts finden konnte, bin ich schließlich bei der Mediatorenanalyse auch so vorgegangen, wie bei den Korrelationen.

Das ist ein Fehler, oder?

---

Ich hatte es oben so verstanden, dass Sie auch in den Korrelationen die Dummy-Variablen als UVs verwendet hätten? Wenn sie andere Skalen (den Manipulation Check) als "UVs" verwenden, ist es natürlich möglich, dass Sie dabei auch andere Zusammenhänge finden.

Wenn man eine Kette von Zusammenhängen hat, z.B. ...

(A) Dummy -> (B) Manipulation Check -> (C) AV

... dann ist es vollkommen normal, dass die Korrelationen A-B und B-C stärker sind als A-C. Wobei ich nicht sicher bin, ob ich Ihren vorigen Kommentar wirklich richtig verstanden habe (also ob Sie das meinen) oder nicht.

Äpfel mit Birnen sollten Sie freilich nicht vergleichen und sich dann darüber wundern, wenn sie unterschiedlich schmecken. Aber abgesehen davon habe ich nicht das Gefühl, dass das Ihre Argumentation in den Grundfesten erschüttert.

---

Mir hat eine vermeintlich erfahrene Person gesagt gehabt, dass man bei Korrelationen in meinem Fall die Skalen vergleicht, weil man ja nicht nur sehen will, wie Gruppe A gegenüber Gruppe B bewertet (das hat man ja mit den t-Tests bereits gesehen - oder auch nicht), sondern sehen möchte, wie sich bspw. hohe/niedrige Bewertungen des Innovationsgrads gegenüber Bewertungen der Unsicherheit verhalten. Da sah man dann, dass hohe Bewertungen des Innovationsgrads mit hohen Bewertungen der Unsicherheit korrelieren und kam zu dem Schluss, dass wmgl doch ein Zusammenhang besteht, der sich halt vorher nur nicht gezeigt hat, weil man strikt nach Gruppen unterschieden hat.

D.h. ich kann meinen gesamten Methoden-, Diskussions- und Limitationsteil neu verfassen - bis Freitag :(

EDIT: Meine gesamte Prüfung macht dann keinen Sinn mehr :). Ich merke in H1, dass zB der Innovationsgrad keinen Einfluss auf die Unsicherheit hat. Dann brauche ich in H2 auch keine Mediation über die Unsicherheit machen und in H3 auch nicht mehr gucken, ob fröhlich sein die Unsicherheit midnert. Mal im ernst, was macht man denn in so Fällen?

---

> D.h. ich kann meinen gesamten Methoden-, Diskussions- und Limitationsteil neu verfassen - bis Freitag :(

Wer lang gräbt, hat nachher einen Muskelkater. Das ist die Strafe für Perfektionismus ;)

> Ich merke in H1, dass zB der Innovationsgrad keinen Einfluss auf die Unsicherheit hat. Dann brauche ich in H2 auch keine Mediation über die Unsicherheit machen ...

Ich glaube, es würde helfen, wenn Sie Ihr komplettes Modell (mit allen Variablen/Konstrukten) einmal aufzeichnen (auch und speziell als Abbildung für die Arbeit). Mit Pfeilen zwischen den Variablen ("Manipulation Innovation", "Wahrnehmung Innovationsgrad", "Unsicherheit", "Kaufabsicht", ...). Denn offenbar haben Sie da doch eine erkleckliche Anzahl Pfeile und Wirkungspfade, für die Sie sich interessieren.

Und wenn die Wirkungspfade an irgend einer Stelle unterbrochen sind (weil dort halt keine Korrelation ist), dann können Sie bei den anderen Pfeilen immer noch Koeffizenten hinschreiben. Dass die Mediation dort dann weniger interessant ist, liegt auf der Hand. Formal geprüft und "wie zu erwarten abzulehnen" wird dann natürlich trotzdem. Also alles wie gehabt.

Abgesehen davon: Sie haben gleich zwei Dinge erreicht. (1) Sie haben das Problem noch vor der Abgabe gefunden und müssen sich nicht Ihr Leben lang ärgern, dass Sie in der Arbeit (post-hoc betrachtet) Blödsinn geschrieben haben und (2) Sie haben bei der ganzen Sache definitiv viel gelernt. Und auch wenn Sie das jetzt nicht gerne hören, weil die nächsten 3 Tage stressig werden: Dafür ist ein Studium da. Und das wird dann auch nach dem Studium nicht besser ;)

---

Entfällt Ihrer Meinung damit auch die Post Hoc Analyse? Die Mediatorenanalyse liefert jetzt statt

1. Für den Pfad A (Innovationsgrad auf Unsicherheit) einen negativen Effekt(b = -0.18).
2. Für den Pfad B (Unsicherheit auf Kaufbereitschaft) einen negativen Effekt (b = -0.59).
3. Für den Pfad C (Innovationsgrad auf Kaufbereitschaft) einen positiven(!) Effekt (b = 0.40).
4. Für den totalen Effekt C' (b = 0.51)
5. Und den indirekten Effekt A*B (b = 0.11)

Folgendes:

1. Für den Pfad A (Innovationsgrad auf Unsicherheit) einen positivenEffekt(b = 0.17).
2. Für den Pfad B (Unsicherheit auf Kaufbereitschaft) einen negativen Effekt (b = -0.72).
3. Für den Pfad C (Innovationsgrad auf Kaufbereitschaft) einen positiven(!) Effekt (b = 0.74).
4. Für den totalen Effekt C' (b = 0.62)
5. Und den indirekten Effekt A*B (b = -0.12)

Das heißt:
-->A wechselt das Vorzeichen UND ist jetzt nicht mehr signifikant
-->B wird größer (negativer)
-->C wird größer
-->A*B wechselt das Vorzeichen UND ist jetzt nicht mehr signifikant
-->C' wird zwar größer, aber dürfte, wenn C' = A*B+C ist und A*B nicht signifikant ist, auch nicht mehr signifikant sein.

Kann ich zumindest die Post Hoc Analyse nach wie vor rechtfertigen?

---

Wenn die Ergebnisse unerwartet sind, dann sind post-hoc-Analysen immer gerechtfertigt. Versuchen Sie nur bitte, bei den Begrifflichkeiten dem Leser ein wenig entgegen zu kommen: Wenn "Innovationsgrad" für unterschiedliche Variablen und offenbar (aufgrund der anderen Zusammenhänge) auch für unterschiedliche Konstrukte verwendet wird, dann ist das höchst verwirrend. Sollte es (ich bin nicht sicher) einmal um den manipulierten Innovationsgrad gehen und einmal um den wahrgenommenen Innovationsgrad, dann schreiben Sie das besser auch so.

Ist es am Ende nicht schön, wenn sich die ganzen seltsamen Widersprüche doch noch auflösen :)

> A wechselt das Vorzeichen UND ist jetzt nicht mehr signifikant

Wie gesagt: Geben Sie in der post-hoc-Analyse nicht zu viel auf Signifikanzen. Wenn wenn der Unterschied von .18 und .17 die Signifikanz ändert, dann heißt das im Gegenzug: Sie liegen mit Ihrem Sample bei Effekten bis .2 im Bereich des statistischen Rauschens. Das geänderte Vorzeichen ist zwar nicht bedeutungslos (weil beide Analysen ja demselben Rauschen unterworfen sind), aber Sie sollten es auch nicht über-interpretieren.

---

>Ist es am Ende nicht schön, wenn sich die ganzen seltsamen Widersprüche doch noch auflösen :)

Bedingt. Ich hätte vielleicht etwas intensiver mein Vorgehen untersuchen sollen, anstelle mir Gedankenn zu machen, wie ich die Ergebnisse interpretiere. Was ich denke ich am meisten mitnehme aus der ganzen Angelegenheit ist, dass ich mir demnächst zunächst skizziere/zerlege, was ich machen will und speziell warum. Das habe ich, wenn ich ehrlich bin, bei der ganzen Studie versäumt. Das Drauflosarbeiten macht mir immer Probleme und ich habe den Eindruck, dass es zudem deutlich anstrengender ist.

Zu Ihrer Anmerkung bzgl. des Rauschens. Kann man bei nicht-sigifikanten Ergebnissen trotzdem erwähnen, wie der Wert verläuft? Also bspw, dass ein Effekt entgegen der Annahme verläuft, ABER nicht-signifikant ist. Oder belässt man es schlicht bei der Anmerkung, dass man die Hypothese nicht belegen kann?

---

>  Das Drauflosarbeiten macht mir immer Probleme und ich habe den Eindruck, dass es zudem deutlich anstrengender ist.

Ich habe langsam das Gefühl, das muss jeder für sich lernen :) In meinen Seminaren zur Methode der Befragung predige ich das immer wieder. Aber wenn man dann seine Studie macht, ist man mit dem Kopf doch wieder ganz wo anders.

> Zu Ihrer Anmerkung bzgl. des Rauschens. Kann man bei nicht-sigifikanten Ergebnissen trotzdem erwähnen, wie der Wert verläuft?

Ja, man kann Effektstärken angeben. Beim Hypothesentest direkt würde ich schreiben, dass man in der Stichprobe einen widersprüchlichen Effekt beobachtet (damit ist die Hypothese abzulehnen). Bei weiteren Analysen würde ich notieren, dass man sich in einem Bereich befindet, der auch durch zufällige Fehler bei der Zuweisung der Experimentalgruppen zustande gekommen sein kann. Das können Sie so darstellen, wie am besten in die Argumentation passt.