Fehler in laufender Befragung: Datenverlust und Fehlermeldung

Question

Hallo!
Ich habe vor einigen Tagen einen Fragebogen an die Teilnehmer:innen meiner Studie ausgesendet. Bei den meisten hat alles problemlos funktioniert, allerdings haben mehrere Teilnehmer:innen meines Fragebogens von einem wiederkehrenden Problem berichtet. Nachdem sie eine Seite ausgefüllt haben, können sie nicht auf die nächste Seite wechseln, stattdessen werden die Eingabefelder geleert, und sie müssen erneut beginnen. Dieses Problem tritt offenbar mehrfach hintereinander auf, was den Fortschritt erheblich behindert oder unmöglich macht.
Eine Teilnehmerin hat mir einen Screenshot zugesandt, auf dem die Fehlermeldung zu sehen ist, der „Zurück“-Button solle nicht genutzt werden – obwohl sie diesen nicht betätigt hat. Einige Teilnehmerinnen berichteten, dass ein Wechsel des Browsers oder die Nutzung eines anderen Geräts möglicherweise Abhilfe schafft. Allerdings konnte ich bislang keine klare Ursache oder ein einheitliches Muster feststellen, warum das Problem bei manchen Personen auftritt und bei anderen nicht. Der Fragebogen wurde mit dem Server meiner Universität erstellt. Bei der Konzeption und Programmierung konnte ich keine offensichtlichen Fehler finden, ich kann den Fehler selbst leider auch nicht reproduzieren.
Ich bitte Sie daher um Ihre Unterstützung bei der Untersuchung und Behebung dieses Problems, da es die Teilnahme erheblich beeinträchtigt. Da ich für das Stellen dieser Frage einen neuen Account erstellen musste, ist das Befragungsprojekt nicht auf diesem Account. Vielen Dank im Voraus für Eure Hilfe!

Hier ist der Link zu Befragung: Befragung

Answer 1

Nach aktuellem Kenntnisstand hängt das Problem mit spezifischen Browser-Versionen oder -Plugins zusammen, bei welchen die Fragebogen-Seite mehrfach vom Server abgerufen wird. Deshalb geht SoSci Survey davon aus, dass die Antworten eine falschen Seite übermittelt werden.

Wir arbeiten bereits an einer Optimierung, damit das beschriebene Browser-Verhalten keine Probleme mehr verursacht.

Answer 2

Wir haben mittlerweile einen Mechanismus auf www.soscisurvey.de installiert, welcher zusätzliche Daten zur Eingrenzung des Problems protokolliert. Sollte Ihnen das Problem erneut berichtet werden, fragen Sie bitte nach dem (möglichst) genauen Zeitpunkt, wann es aufgetreten ist, und teilen Sie uns diesen hier als Kommentar mit. Danke.

Comments

Vielen Dank für die rasche Antwort! Ich habe das Gefühl, dass weniger Personen mit dem geschilderten Problem konfrontiert waren, seitdem ich die Fragen nicht mehr als Pflichtfragen gewählt habe, sondern nur mit Einstellung "nachhaken" gewählt habe. Sollte ich nochmal Feedback zu diesem Problem bekommen, werde ich den Zeitpunkt in die Kommentare schreiben.

---

Hallo zusammen,

ich habe tatsächlich gerade das gleiche Problem erlebt – und zwar im Rahmen meines Pre-Tests für meinen Fragebogen. Der Fragebogen wurde über Google Chrome auf einem Android geöffnet, und es kam genau dieselbe Fehlermeldung wie oben im Bild. Das war um 14.10 Uhr bei diesem Fragebogen https://sosci.zdv.uni-mainz.de/fernsehen/?act=NEfS8DyEUKEBwKPEk7oGdPw7.

Auf dem iPhone über Safari funktioniert es allerdings einwandfrei, und auch über Chrome auf dem PC gibt es keine Probleme.

Viele Grüße

---

Wir können nur Probleme genauer verfolgen, die auf www.soscisurvey.de auftauchen. Auf den Server der Uni Mainz haben wir keinen Zugriff.

Aber vielleicht könnten Sie uns noch mitteilen, ob das Problem replizierbar ist (tritt es mit Chrome auf Android in dem Befragungsprojekt wiederholt auf?) und ob Sie den Fragebogen zwischenzeitlich verlassen haben, z.B. indem Sie zu einer anderen App gewechselt sind?

---

Hallo,

in unserem technischen Pretest unserer ESM-Studie wurde leider das identische Problem mit dem Warnhinweis bzgl. des Zurückbuttons von einem Pretester gemeldet. Die Fragebögen wurden ebenfalls mit Google Chrome auf einem Android-Smartphone geöffnet. Laut Pretester kam es wiederholt zu dieser Fehlermeldung, sowohl bei der Vorher- und Abschlussbefragung als auch mindestens 1-2 mal täglich in den täglichen Kurzfragebögen - oftmals auch mehrfach in einem Kurzfragebogen.
Wir nutzen die SoSci-Version unserer Universität (Programm-Version 3.8.08), daher haben Sie vermutlich leider keinen direkten Zugriff. Aber basierend auf den bisherigen Kommentaren scheint das Problem eine Kombination aus Browser/ Betriebssystem zu sein (?) Auch bei uns funktionierten die Pretests mit iPhone problemlos.
Unsere Frage wäre daher, ob von Seiten SoSci Surveys Schritt unternommen werden könnten, um die Wahrscheinlichkeit des Problems zu reduzieren und ob unser Projektteam bestimmte Vorkehrungen treffen könnte, um das Problem möglichst zu vermeiden, z.B. bestimmte Einstellungen im Fragebogen? Ist ferner bekannt, ob die Kombination bestimmter Versionen von Android und Chrome das Problem bedingt? Wenn dies der Fall wäre, könnte man evtl. die Proband:innen zu Beginn der Studien dahingehend briefen.
Wir hoffen zwar, dass das Problem nicht allzu häufig auftritt, jedoch ist die Proband:innen-Rekrutierung für ESM-Designs über mehrere Wochen grundsätzlich herausfordernd. Folglich wäre bereits eine geringe Anzahl an Studienabbrüchen aufgrund dieses Problems - das scheinbar wenn es auftritt, sehr hartnäckig auftritt - ein potenzieller Risikofaktor für die Erreichung unserer benötigten Samplegröße.
Wir würden uns daher ungemein über Ihre Unterstützung freuen!

Viele Grüße

---

> basierend auf den bisherigen Kommentaren scheint das Problem eine Kombination aus Browser/ Betriebssystem zu sein (?)

Die letzte Hypothese war, dass einige Android-Geräte (evtl. abhängig von Browser, Einstellungen oder Plugins) die fragebogen-Seite mehrfach übermitteln. Und zwar mit unterschiedlichen Inhalten. Womöglich, um eine Vorschau für die nächste Seite zu erhalten oder den Inhalt vorab auf Malware zu scannen ... aber wie gesagt, das ist alles rein hypothetisch.

Wir hatten in der Vergangenheit auch schon mehrere Anpassungen vorgenommen, sodass das Problem eine Weile lang quasi verschwunden war - zumindest hatten uns lange keine entsprechenden Problemberichte mehr erreicht. Sie sehen, der letzte Kommentar hier im Thread war von 01/2025.

Wir haben noch eine weitere Änderung auf der Roadmap, welche das Problem unter Randbedingungen nochmal eingrenzen könnte. Aber das dafür sind noch größere Änderungen tief im Code von SoSci Survey erforderlich. Das ist leider nichts, was wir kurzfristig umsetzen können (vor allem nicht ohne ein erhebliches Risiko von unerwünschten Nebenwirkungen).

Ein Problem bei dem geschilderten Problem ist, dass es bisher nicht zuverlässig repliziert werden konnte. Auf manchen Android-Geräten trat es auf, auf anderen nicht. In einigen Studien trat es auf, in den meisten nicht. Wir können auch keine Schätzung abgeben, wie die Prävenlenz in Ihrer Studie sein wird. Womöglich betrifft es nur genau das eine Android-Gerät aus dem Pretest, weil dort eine veraltete Version z.B. von Browser oder Betriebssystem installiert ist. Womöglich betrifft es alle Befragten. Womöglich hat die betroffene Person auch einfach öfter nach rechts gewischt und tatsächlich die Zurück-Funktion im Browser genutzt.

Was wir kurzfristig machen können ist, dass wir auf www.soscisurvey.de ein Logging aktivieren, um die Häufigkeit des Auftretens zu triangulieren. Sie wiederum können kurzfristig testen, ob die betroffene Person das Problem reproduzieren (evtl. sogar aktiv auslösen) kann und ob es auf 2-3 anderen Android-Geräten mit Ihrem Fragebogen ebenfalls auftritt.

---

Vielen Dank für die schnelle Rückmeldung!
Um einen etwas besseren Einblick in die Häufigkeit dieses Problems zu erhalten, haben wir den Fragebogen unter Kolleg:innen geteilt. Das vorläufige Ergebnis ist, dass bei 4 von 10 Tester:innen mit Android (1x Version 15, 3x Version 16), die den Fragebogen in Chrome öffenen, besagtes Problem auftritt. Und dies leider auch auf mehreren Fragebogenseiten. Es kann in allen Fällen ausgeschlossen werden, dass es sich um einen Anwendungsfehler handelt, da wir den Tester:innen exakt beschrieben haben, was zu tun ist und es sich, wie gesagt, bei allem um Wissenschaftler:innen handelt, die mit SoSci vertraut sind.
Das vergleichsweise häufige Auftreten dieses Fehlers stellt leider ein großes Problem im Hinblick auf unsere baldige Datenerhebung (Ende August/ Anfang September) dar.
Wir wollten daher nochmals fragen, ob es evt. doch irgendeine Möglichkeit gäbe, wie Sie uns bei diesem Problem unterstützen könnten, um dieses zumindest bestmöglich zu reduzieren?
Vielen lieben Dank im Voraus!

---

Danke für die Rückmeldung. Wir haben das Logging implementiert und haben auch erste Daten. Demnach trat das Problem in einem Zeitraum von 84 Stunden 177-mal in 81 Projekten auf. In diesem Zeitraum liefen ca. 50.000 Interviews.

Von den 177 Vorfällen war ein guter Teil ein offensichter Sprung auf eine ganz andere Seite, bleiben 84 Fälle in 47 Befragungsprojekten. Meist nur einmal pro Projekt, in einzelnen Projekten 5-mal. Ihr Projekt läuft ja auf dem Uniserver, wenn ich es korrekt verstanden habe, das taucht hier in der Statistik also nicht auf.

Gesamt wäre das für www.soscisurvey.de eine Prävalenz <2 Promille, was wahrscheinlich einfach nicht auffällt. Zumal ein Teil davon wahrschienlich weiterhin durch die Verwendung des Zurück-Knopfes verursacht wurde.

Die Auswertung zeigt darüber hinaus, dass das Problem nicht mit bestimmten Browsern oder Geräten zusammenhängt. Ich beobachte es auf www.soscisurvey.de gleichermaßen auf Android, iOS und Windows.

Konnten Sie bei Ihren Tests irgend eine Regelmäßigkeit erkennen, wann das Problem auftrat? Irgend eine Systematik auf welcher Seite oder nach welchem Antwortverhalten (z.B. wenn man ein Item nicht beantwortet hatte oder wenn man besonders schnell auf "Weiter" geklickt hat)?

Hatten Sie vor Start des Tests zufällig überprüft, welche Version von SoSci Survey auf Ihrem Server lief? Das ist in der Navigation links unten ersichtlich. Die aktuelle Version ist 3.8.08, es ist aber denkbar, dass erst nach Ihrem Test aktualisiert wurde.