Ab wann macht Nachjustierung Sinn?

Question

Hallo :)

Ich hab meine Umfrage gestern hochgeladen und schon relativ viele Teilnehmer zusammen.

Ich hab es probeweise mal bereinigt und es ergeben sich für die Experimentalgruppen folgende Zahlen:

28 / 25 / 18 / 22 / 20 / 31

Nun frage ich mich, ab wann eine Nachjustierung sinnvoll ist, da am Ende das Problem der Konfundierung ist. Macht es jetzt schon Sinn oder sollte ich noch warten?

Und welche Abweichungen kann man später vertreten? Bis zu 10 oder weniger?

Außerdem wundere ich mich, wenn ich die Zahlen im Zufallsgenerator (Ziehen ohne Zurücklegen) anpasse und es weniger gültige Fälle sind, als mir in der Rücklauf-Statistik ausgespuckt wird, führt das zu Problemen? Oder kann ich das unbesorgt anpassen? Mir ist nämlich nicht ganz klar, wie ich die ungültigen Fälle für den Manipulationscheck (also wenn Variable XY = 4 ist) bei den Auswahlkriterien einstellen kann.

Vielen Dank

Answer 1

Und welche Abweichungen kann man später vertreten? Bis zu 10 oder weniger?

Das kommt ein wenig darauf an, woher die Abweichungen kommen ... sind es statistisch zufällige Abweichungen? Oder sorgt eine der Versuchsbedingungen einfach systematisch für mehr Abbrecher?

Generell können Sie so oft nachjustieren, wie Sie möchten. Wenn Sie es häufiger machen, dann ist das Risiko geringer, dass Sie sich dadurch systematische Verzerrungen einhandeln. Denn nächste Woche könnte ja etwas systematisch anders sein als diese Woche. Und Montags könnte etwas anders sein als am Wochenende. U.s.w.

Im Prinzip ist es auch kein Problem, wenn die Abweichungen groß sind ... Sie brauchen am Ende nur genug Befragte pro Versuchsgruppe, damit Ihre statistische Power ausreicht. Je nach untersuchtem Zusammenhang reichen vielleicht schon 25 Leute oder Sie benötigen 500 pro Versuchsgruppe. Das verrät Ihnen eine Power-Analyse.

Comments

Ah okay super, vielen Dank, das hilft schon mal!
Und zum Thema Rücklauf-Statistik? Wenn ich die Zahlen bei "bereits gezogen" anpasse, passiert in der Rücklauf Statistik nichts mit den bereits erhobenen Daten bzw. gültigen Fällen?

---

Nein, die Rücklaufstatistik und die erhobenen Daten sind vom Zufallsgenerator komplett unabhängig.

---

Vielen lieben Dank!!