Probleme mit Durchführung der Studie

Question

Hallo, wir haben unsere Studie erfolgreich programmiert und auch schon mit der Datenerhebung begonnen. Leider berichten teilweise Teilnehmer (nicht alle!), dass sie, wenn sie den Link zur Studie öffnen, sie gleich auf der letzten Seite der Studie landen, ohne den Fragebogen bearbeitet haben. Wir haben eigentlich keine besonderen Zugriffseinstellungen vorgenommen, die Umfrage ist öffentlich. Haben Sie eine Idee, woran das liegen könnte?

Liebe Grüße und vielen Dank!

Answer 1

Ich habe einige Vermutungen, soweit es die vorliegenden Informationen erlauben:

1. Womöglich haben Sie unter Fragebogen zusammenstellen nicht nur einen Fragebogen, sondern zwei. Und einer davon ist womöglich leer. Und im Karteireiter "Fragebögen verwalten" ist vielleicht nicht festgelegt, dass nur der "richtige" Fragebogen gestartet werden soll.
2. Möglich auch, dass Sie in den "Einstellungen" zum Fragebogen angegeben haben, dass auf Mobilgeräten ein anderer Fragebogen (s. 1) verwendet werden soll.
3. Ebenso denkbar ist, dass Sie auf der ersten Seite PHP-Code verwenden und dieser unter bestimmten Bedingungen ans Ende springt.
4. Last but not least könnte es sein, dass Sie mit personalisierten Links oder Seriennummern arbeiten - und dass mehrere Teilnehmer denselben Link bekommen haben. Dann könnte nur der erste Teilnehmer den Fragebogen ausfüllen - alle anderen würden nur noch das Ende sehen.

Comments

Erstmal vielen Dank für Ihre schnelle Antwort!

Ich habe einmal alle ihre Möglichkeiten durchgecheckt, hier sind meine Ergebnisse:

zu 1.
-    Kann ich ausschließen, da wir zwei randomisierte Fragebögen verwenden und bei Fragebögen verwalten beide Fragebögen ausgewählt sind und auch ausgewählt ist, dass diese randomisiert präsentiert werden sollen
zu 2.
-    Es ist eingestellt, dass Probanden von Mobilgeräten und PCs den gleichen Fragebogen angezeigt bekommen, also keine unterschiedlichen Fragebögen präsentiert bekommen sollen.
zu 3.
-    PHP-Codes habe ich keine auf den ersten Seiten der beiden Fragebögen gefunden
zu 4.     
-    Die Umfrage (beide Versionen des Fragebogens) ist als öffentlich eingestellt und nicht mit personalisierten Links oder Seriennummern versehen.

Ich kann da leider keinen Anhaltspunkt aktuell finden, woran es liegen könnte, da ich das alles in beiden Fragebögen überprüft habe.

Haben Sie vielleicht noch eine andere Idee?

Dennoch vielen lieben Dank!

---

ad 1) Die Randomisierung wäre eine sehr plausbile Erklärung für das Problem. Haben sich geprüft, dass beide Fragebögen korrekt funktionieren? Sind im Datensatz auch Daten für beide Fragebögen vorhanden?

> Haben Sie vielleicht noch eine andere Idee?

Könnten Sie einen der betroffenen Teilnehmer bitten, Ihnen den Link zu schicken, mit welchem er/sie den Fragebogen aufgerufen hat?

---

Vor Start der Studie habe ich getestet, ob beide Versionen des Fragebogens funktionieren, dem ist auch so. Es sind pro Fragebögen etwa 10-15 komplette Datensätze vorhanden, also scheint die Randomisierung der Fragebögen auch so zu funktionieren, dass die Fragebögen bis zum Ende beantwortet werden können. Leider sind etliche Fragebögen abgebrochen, ohne dass da eine Systematik (zumindest für mich) hinter steckt.

Da wir die Teilnehmer über ein Panel, und nicht persönlich, angeworben haben, kenne ich keinen der Teilnehmer, sodass ich diese nicht kontaktieren kann. Der Link wurde daher auch nur einmal zentral verbreitet und nicht an unterschiedlichen Stellen verbreitet. Aber zwei weitere Personen und ich haben den Fragebogen nun schon des öfteren (auch von unterschiedlichen Geräten aus) ohne Probleme durchführen können, er ist noch nie bei uns abgebrochen.

Vielen Dank!

---

Ohne weitere Informationen von den betroffenen Teilnehmern und wenn sich die zugehörigen Fälle im Datensatz auch nicht identifizieren lassen, dann wird es schwierig, das Problem einzugrenzen...

Zumal mir auch keine Informationen vorliegen, wie das Panel zum Fragebogen verlinkt. Da wird es ja vermutlich auch ein Token geben, um die Teilnahmen zu zählen... Da SoSci-Fragebogen häufig über Panels verbreitet werden (kommerzielle wie nicht-kommerzielle), würde ich ein systematisches Problem bei der Panel-Verbreitung weitgehend ausschließen.

Ich könnte noch ein halbes Dutzend Möglichkeiten erdenken - von Cookies (kann man in den Projekt-Einstellungen aktivieren) über einen dritten Fragebogen im Projekt, über weitergeleitete Mails bis hin zu ungültigen Links des Panels ... aber die vorliegenden Informationen sind leider zu spärlich, um das Problem wirklich aufzuklären.

---

Wir überlegen mal bzw. schauen, ob wir irgendwie an einen Link der Teilnehmer kommen können und diesen auch im Datensatz zuordnen können. Cookies haben wir nicht aktiviert und es sind wirklich nur zwei Fragebögen im Projekt erstellt.

Ich danken Ihnen herzlich für Ihre Hilfe. Können wir Ihnen denn noch irgendwelche Informationen geben, mit denen Sie das Problem weiter ergründen können? Und glauben Sie, dass es Sinn macht, die Studie mit den bestehenden Fragen erneut aufzusetzen, also praktisch zwei Fragebögen neu mit den Fragen zu füllen und zusammenzufügen und dann das Projekt erneut unter einem anderen Link zu starten?

---

Nein, ich denke nicht, dass eine Kopie des Projekts sich anders verhalten würde als das laufende Projekt. SoSci Survey ist da ein wenig anders als Word ... ;)

> Können wir Ihnen denn noch irgendwelche Informationen geben, mit denen Sie das Problem weiter ergründen können?

Wenn Sie zufällig den (möglichst genauen) Zeitpunkt hätten, wann der Aufruf erfolgte? Dann könnte ich einen Blick in die Server-Logs werfen, was da an Aufrufen hereinkam...

Von wie vielen Aufrufen gesamt und von wie vielen (bekannten) Fehlern sprechen wir denn eigentlich?

Bei Panels ist es üblicherweise so, dass die Teilnehmer nicht direkt einen Link um Fragebogen bekommen, sondern zur Panel-Website. Es wäre also auch denkbar, dass der Panel-Anbieter sie gar nicht erst zum Fragebogen leitete, sondern direkt zur "danke, hier ist Ihre Belohnung" o.ä. Seite des Panel-Anbieters. Auch hier wäre ein Screenshot seitens der Teilnehmer sehr hilfreich, was sie denn überhaupt auf dem Bildschirm sehen...

---

Ich danke Ihnen herzlich für Ihre Hilfe, es hat sich herausgestellt, dass über das Panel ein falscher Link verteilt wurde, den wir so nicht angegeben hatten und der schon vor einigen Tagen hätte verändert werden sollen, aber dennoch falsch im System verblieben ist. Mittlerweile haben wir auch, binnen weniger Stunden und ohne weitere Probleme, all unsere Teilnehmer zusammen. Es lag also weder an uns, noch an Sosci Survey. Vielen Dank für Ihre Geduld & Ausdauer!