Teilnehmer melden Absturz der Befragung

Question

Hallo,

mir wurde von einigen Teilnehmern meiner Studie gemeldet, dass bei ihnen die Umfrage auch bei mehrmaligem Start immer wieder abbricht. Ich bin gerade dabei mehr Details zu den konkreten Fällen zu erfragen.

Kann es ganz allgemein sein, dass über Vimeo eingebundene Videos oder euer Tool zur Aufzeichnung von Fensterwechseln die Studie anfälliger für technische Probleme machen? Und wie können diese verringert werden?

Ich habe euch mal einen Screenshot meiner Ausstiegsstatistik gemacht.

Auf Seite 3 wird ein Zufallsgenerator gestartet, der unter anderem die Auswahl eines Textbausteins mit über Vimeo eingebundenem Video auf Seite 7 beeinflusst. Auf Seite 7 wird zudem gemessen, ob der Teilnehmer das Fenster wechselt, um herauszufinden, ob er das Video im Vollbildmodus anschaut. Ausgerechnet auf Seite 6 & 7 finden die meisten Ausstiege statt. Könnte das ein Indiz dafür sein, dass es hier häufiger zu technischen Problemen kommt?

Liebe Grüße

Comments

Sie sollten vorab einmal testen, ob die Video-Einbindung in allen gängigen Browsern (auch im alten Internet Explorer) funktioniert.

Die Abbrecher-Statistik sieht auf den ersten Blick nicht verdächtig aus. Hat der Teilnehmer denn weitere Informationen geschickt, wie sich der Abbruch äußert?

---

Einer der betreffenden Teilnehmer hat die Umfrage auf einem Samsung Smartphone über einen per WhatsApp verschickten Link mit dem Standardbrowser geöffnet. Nachdem der das über Vimeo eingebundene Video auf Seite 7 angeschaut hatte, hat er auf „Weiter“ gedrückt. Anschließend war nur noch ein weißer Bildschirm und sonst nichts zu sehen. Durch erneutes Laden der Seite, landete er wieder auf Seite 7 und konnte nun mit „Weiter“ fortfahren. Beim zweiten Video auf Seite 16 passierte dasselbe, nur dass er beim erneuten Laden dieses Mal zurück zum Anfang der Umfrage geworfen wurde.

---

Das klingt in der Tat danach, dass die Vimeo-Einbindung nicht 100% sauber läuft. Wird das Video über ein <iframe> eingebunden oder anderweitig?

Der weiße Bildschirm könnte im Prinzip auch auf ein Problem auf SoSci Survey hindeuten. Allerdings bräuchte ich einen möglichst genauen Zeitpunkt, um dahingehend weitere Anhaltspunkte zu finden.

Es wäre auch denkbar, dass ein Klick auf das Video selbst womöglich unerwünschte Effekte hat. Eventuell leitet Vimeo da auf eigene/andere Seiten?!

Wenn Sie möchten, posten Sie einen Pretest-Link direkt zur Seite mit dem Video. Dann kann ich einen Blick darauf werfen.

---

Ja, mit <iframe>. Ich habe für jedes der vier unterschiedlichen Videos einen eigenen Textbaustein erstellt und in diesen dann den von Vimeo erzeugten Code (Darstellung: HTML-Code) eingefügt:

<div style="padding:56.25% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/ <! -- Link zum entsprechenden Video --> &amp;badge=0&amp;autopause=0&amp;player_id=0&amp;app_id=58479" frameborder="0" allow="autoplay; fullscreen; picture-in-picture" allowfullscreen style="position:absolute;top:0;left:0;width:100%;height:100%;" title="<! – Titel des entsprechenden Videos --> "></iframe></div><script src="https://player.vimeo.com/api/player.js"></script>

Über diesen PHP-Code wird dann mit Hilfe der zuvor gezogenen Zufallszahl einer der vier Textbausteine auf der Seite 6 der Umfrage eingebunden:

if (value('RD01') == 1) {
  text('AA13');
} elseif (value('RD01') == 2) {
  text('AA14');
} elseif (value('RD01') == 3) {
  text('AA15');
} elseif (value('RD01') == 4) {
  text('AA16');
}

Umfragen bei denen es bisher gesichert zu Problemen dieser Art kam, fanden in den folgenden Zeiträumen statt: 27.03.2022 (20:53-21:21), 03.04.2022 (08:25-08:41), 03.04.2022 (15:58-16:35) und 04.04.2022 (21:40-22:05)

Wäre sehr lieb, wenn Sie sich die Stelle im Fragebogen mal anschauen könnten. Der Pretest-Link lässt sich leider nicht für Seite 6 mit dem eingebundenen Video erstellen. Ich schätze, das liegt daran, dass der Zufallsgenerator schon auf Seite 3 auslöst. Deshalb hier ab Seite 3:
Pretest:
https://www.soscisurvey.de/medienstudie22/?act=bYQZtvCarfUTLzs9xF8o5EQO
Debug-Vorschau:
https://www.soscisurvey.de/medienstudie22/?act=ex1ODJ6nwGcgbVNU5EqQ9WUX

In der Zwischenzeit haben mir zwei weitere Teilnehmer von Problemen beim Laden der Seiten berichtet. Einer meinte, dass er nach dem Verlassen des Video-Vollbildmodus in der Umfrage zurück geworfen wurde. Könnte der Vollbildmodus des Videos vielleicht das Problem darstellen?

---

Das <iframe> selbst sollte kein Problem sein, das grenzt der Browser ordentlich ab. Aber das Script, welches vermutlich zusätzliche Funktionen wie den Vollbildmodus ermöglicht, könnte durchaus einiges so durcheinander bringen, dass die beschriebenen Probleme entstehen.

Es wäre eine Überlegung wert, das Video testweise mal ohne das zusätzliche Script anzubieten. Falls die Einschränkungen in der Funktionalität vertretbar sind und dann keine Probleme mehr auftreten, wäre das ein gangbarer Weg.

Im Pretest-Link (danke) sehe ich keine systematischen Fehler.

Ich sehe mir derweilen mal die Logfiles in den besagten Zeiträumen an und melde mich, ob ich dort genaueres finde.

---

Habe jetzt das Skript

<!--<script src="https://player.vimeo.com/api/player.js"></script>-->

bei allen Videos entfernt und im Test mit unterschiedlichen Browsern keinerlei Beeinträchtigung feststellen können. Auch der Vollbildmodus lässt sich weiterhin nutzen. Soll ich diesen trotzdem auch noch deaktivieren?

---

Das ist doch schonmal gut.

Der Volbildmodus wir im Idealfall vom Browser gesteuert und sollte keine Probleme machen.

---

Mittlerweile habe ich auch die Fehlerlogs zu den genannten Zeitpunkten überprüft. Nachdem die Zeitfenster recht groß sind (30 Min. sind 1/48stel des Tages) bleibt eine gewisse Unsicherheit, weil sich das Ereignis mit anderen Einträgen überschneidet. Aber ich finde zumindest keinen konkreten Hinweis, welcher auf einen Absturz des Fragebogens hinweisen würde.

---

Vielen Dank! Dann werde ich erst mal mit dem angepassten Fragebogen ohne das Vimeo-Skript weiter machen und beobachten, ob es erneut zu Problemen kommt.