Umgang mit großer Stichprobe

Question

Hallo,

ich hoffe das Problem ist nicht ganz neu und es gibt schon ein paar Erfahrungen dazu.

Wir haben mit unserer Umfrage ein recht großes N (>10.000) generieren können, was uns zunächst ziemlich gefreut hat, da dies für die geplante Clusteranalyse günstig ist.
Nun stehen wir allerdings bei der Auswertung genau aus diesem Grund vor einem Problem.
Bei der Berechnung der F-Werte über ANOVAs (die gefundenen Cluster sollen ja nun auch verglichen werden), werden alle Ergebnisse aufgrund der Stichprobengröße signifikant.
Aus diesem Grund haben wir eine Zufallsstichprobe (gesamt 1200, also 300 p. Cluster) aus der Gesamtstichprobe gezogen und erneut gerechnet. Im Ergebnis sind erwartungsgemäß nicht mehr alle Unterschiede sign. geworden.
Nun habe ich schon das Netz durchsucht, ob das intuitive Vorgehen mit unserer Zufallsstichprobe so legitim wäre. Leider finde ich kaum paper dazu.
Dazu kommt die Größe der Zufallsstichprobe (sub-sample). Wie bekomme ich raus, ob diese angemessen ist?
Oder sollte man vielleicht einen ganz anderen Ansatz verfolgen und über Effektgrößen und alpha nachdenken, um die Gesamtstichprobe doch im Ganzen betrachten zu können?

Über Antworten und Kritik würde ich mich freuen!
Vielen Dank im Voraus!

Answer 1

Glückwunsch zur Größe der Stichprobe - und ja, dieses Problem ist in der Tat ein schönes Beispiel, dass p-Werte (Signifikanzen) nur bedingt aussagekräftig sind. Zur Kritik an p-Werten sollten Sie hinreichend Paper finden...

Eine Rückführung auf eine Teilstichprobe hat zwei Vorteile: (1) Sie senken den p-Wert künstlich und (2) Sie haben eine echte Zufallsstichprobe erzeugt.

(1) Der erste Vorteil ist eher Makulatur - denn Sie hätten ebenso das Signifikanzniveau auf 0,001 (oder weiter) absenken können. Womit wir bei dem Punkt wären, dass a=0,05 einfach nur ein mehr oder weniger willkürlicher Wert ist.

(2) Der zweite Vorteil hilft leider auch nicht weiter, denn Ihre Grundgesamtheit ist die Original-"Stichprobe". Und diese ist vermutlich nicht repräsentativ für die Grundgesamtheit, die Sie eigentlich untersuche wollten. Ihr p-Wert verrät damit nur, ob ein Zusammehang auch in Ihrem Gesamt-Sample vermutlich von 0 verschieden wäre. Aber das könnten Sie auch einfach nachrechnen - und dann hätten Sie nicht einmal die Unsicherheit Ihrer Teilstichprobe (Samplingfehler).

Meiner Ansicht nach, haben Sie also leider mit der Teilstichprobe nichts gewonnen.

Damit stoßen Sie auf das eigentliche Problem, das die meisten Studien haben: Wenn wir nicht gerade Experimente durchführen, dann haben wir fast nie echte Zufallsstichproben. Wir können also die Signifikanztests, die auf echten Zufallsstichproben und deren Verteilungen basieren, eigentlich gar nicht korrekt anwenden.

Was bleibt?

• Sie können die Effektstärken in Ihrem (evtl. ggü. der theoretischen Grundgesamtheit verzerrten) Sample ziemlich sicher angeben.
• Und Sie können argumentieren, dass es sehr unwahrscheinlich wäre, dass Sie Effekte beobachten, wenn es in der theoretischen Grundgesamtheit keine gäbe. Dann müssten die von Ihnen nicht beobachteten Fälle nämlich systematisch einen Zusammehang in die andere Richtung zeigen.
• Sie können auch weitere Maße für die Relevanz eines Zusammenhangs heranziehen - ich erinnere mich im Kontext von Korrelationen an eine (ebenfalls willkürliche) Regel, nachdem eine Effektstärke unter 0,1 (entsprechend < 1% erklärte Varianz) "kein Zusammenhang" sei.
• Was Sie nicht schaffen werden ist, mit statistischen Methoden die grundsätzlichen Sampling-Probleme der Sozialwissenschaft zu lösen.

Und zuletzt bleibt die schale Erkenntnis, dass Sie deutlich mehr Daten erhoben haben, als für die Prüfung Ihrer Hypothesen notwendig gewesen wäre - und dass Sie damit (negativ ausgelegt) unnötig die Zeit der Teilnehmer verschwendet haben. Wenn Sie Argumente suchen, um sich in dieser Hinsicht ein wenig schlechter zu fühlen, dann können Sie Paper zu Power-Analysen heranziehen...

Oder vielleicht kommen Sie zu dem Schluss, dass Sie mit Ihrer "Stichprobe" tatsächlich eine Mehrheit der Grundgesamtheit (z.B. Nutzer eines best. Dienstes) abgebildet haben. Das wäre dann wieder ein gewichtiges Argument, dass Ihre Daten eine gewisse Repräsentativität haben.