Bachelorarbeit: Zwei-Gruppen-Design zur Wahrnehmung von KI-Inhalten – gleiche Stimuli, aber unterschiedliche Bewertungsaufgaben

Question

Hallo zusammen

ich schreibe gerade meine Bachelorarbeit im Bereich Medienpsychologie und stehe kurz vor der Umsetzung meiner Online-Umfrage.

Ich untersuche, wie Menschen verschiedene Medieninhalte (Text, Bild, Video, Audio, Musik) wahrnehmen, wenn sie wissen oder nicht wissen, dass einige davon KI-generiert sind.

Mein Design sieht folgendermaßen aus:

Gruppe 1: bewertet die Inhalte ohne Hinweis auf KI (sie denken, es geht allgemein um Fragen zur Medienwahrnehmung).

Gruppe 2: bekommt den Hinweis, dass einige Inhalte KI-basiert sein könnten, und soll zusätzlich bei jedem Stimulus angeben, ob sie ihn für echt oder KI halten und wie sicher sie sich sind.

Wichtig: Beide Gruppen sollen exakt die gleichen Stimuli (also dieselben Texte, Bilder, Videos usw.) sehen.
Der Unterschied liegt nur in den Antwortoptionen bzw. Instruktionen beim ersten Teil.

Danach (im zweiten Teil) bekommen beide Gruppen wieder identische Fragen, z. B. zur Reflexion nach dem Debriefing, zu Medienvertrauen, KI-Erfahrung und demografischen Angaben.

Ich frage mich aktuell:

Macht es methodisch Sinn, zwei separate Umfragen (jeweils mit eigenem Link) zu erstellen, anstatt die Gruppen per Randomisierung innerhalb einer SoSci-Umfrage zu steuern?

Wenn ich zwei getrennte Datensätze habe (Gruppe A / Gruppe B): Reicht es, in der Auswertung einfach eine Variable „Gruppe“ (0 = kein Hinweis, 1 = KI-Hinweis) anzulegen und dann zusammenzuführen?

Hat jemand Erfahrung, wie man in SoSci unterschiedliche Fragetypen (z. B. Likert-Skala vs. KI-Erkennungsfrage) für die gleiche Stimulusliste am besten handhabt? Ich habe mich vorab schon ausführlich mit den Anleitungen zum Thema Randomisierung und Zufallsgenerator beschäftigt, bin aber immer noch sehr unsicher, was die genaue Umsetzung betrifft.

Kurzinfos zur Studie:

Stimuli: 20 Medieninhalte (Text, Bild, Video, Audio, Musik)= 10 KI generiert, 10 echte Inhalte.

Ziel: Erkennungsfähigkeit und Einfluss von Biases (Authority, Negativity, Empathy)

Dauer: ca. 15–20 Minuten

Ich würde mich sehr über eine Rückmeldung freuen!

Answer 1

Macht es methodisch Sinn, zwei separate Umfragen (jeweils mit eigenem Link) zu erstellen

Nein, das hätte m.E. nur Nachteile gegenüber einer Randomisierung, wie sie in der Anleitung empfohlen wird.

Ich habe mich vorab schon ausführlich mit den Anleitungen zum Thema Randomisierung und Zufallsgenerator beschäftigt, bin aber immer noch sehr unsicher, was die genaue Umsetzung betrifft.

Normalerweise variieren Sie einfach per Zufallsgenerator den Stimulus (in dem Fall ist das die Instruktion) und verwenden ansonsten denselben Fragebogen. Sie haben dann mit dem Zufallsgenerator Ihre UV und mit allen anderen Variablen Ihre AVs.

Comments

Danke für die Rückmeldung!

Ich glaube, ich verstehe das Prinzip – also, dass die Randomisierung über den Zufallsgenerator laufen soll und die Variable dann einfach die Gruppenzugehörigkeit (UV) steuert.

Mein Problem ist im Moment eher die praktische Umsetzung in SoSci. Ich habe die Rubrik „Zufall“ schon angelegt und den Zufallsgenerator bei Zettel (Inhalte) mit

1 = Gruppe 1  
2 = Gruppe 2  

definiert.

Was mir aber noch unklar ist:

Wo genau im Fragebogen muss diese Zufallsseite eingefügt werden (ganz am Anfang, oder direkt vor den Instruktionen)?

Und wie formuliere ich die Anzeigebedingung korrekt, damit z. B. nur Gruppe 1 Instruktion A und Gruppe 2 Instruktion B sieht?
(Ich habe es mit gruppe == 1 versucht, bin aber unsicher, ob die Variable so erkannt wird.)

Mein Ziel ist:

Beide Gruppen sollen dieselben Stimuli sehen,

aber Gruppe 2 bekommt zusätzlich eine andere Instruktion und zwei Extra-Fragen („echt oder KI?“ und „Wie sicher?“).

Ich würde mich freuen, wenn jemand das einmal konkret mit SoSci-Schritten erklären könnte – also z. B. wo man den Zufall im Fragebogenbaum platziert und wie genau die Bedingung eingetragen wird.

Danke schon mal!