Teilnahmestatus arbeitet unzuverlässig - Einträge trotz Teilnahme "rot" markiert

Question

Sehr geehrter SoSci-Support,

um die Reichweite zu erhöhen und hoffentlich treffenderes Feedback zu erhalten, stelle ich die Frage nun auch hier. Gespräche vor Ort konnten das Problem bislang nicht lösen.
Meine Suche auf Hilfe/Manual- sowie Support-Seiten brachten bisher leider keine Hilfe oder neue Erkenntnisse zu unserem Problem.

Umfrageprojekt:
- mehrere Umfragen über gewissen Zeitraum für dieselben Teilnehmer
- genauer, 6 Umfragen über 6 Wochen, jeweils EIN Fragebogen pro Woche -> FB_week1, FB_week2, … usw.
- Zugangskontrolle mittels Passwort („globales“ PW für alle Teilnehmer und jeden wöchentlichen FB)
- Teilnehmer über Adressliste organisiert, via Kennung „pseudonym“
- Autom. Einladungsmails -> Serienmails mit Scheduling -> individueller Link pro Teilnehmer via Mail an alle in Adressliste
- 1x Einladung freitags zum aktuellen wöchentlichen FB, dann Reminder1 sowie Reminder2 an darauffolgenden Tagen (falls noch nicht ausgefüllt)
- Teilnehmerliste und -Mailings sind also getrennt von den Daten -> keine Rückverfolgung eines Teilnehmers in den erhobenen Daten möglich (weil Adressliste mit Mailkontakten und erhobene Daten mit zufälliger SERIAL)
- Rücklauf wird über Teilnahmestatus in der Adressliste überprüft -> rot, gelb, grüne Ampel für erfolgtes oder nicht erfolgtes Ausfüllen

Problem:
- Teilnahmestatus in Adressliste arbeitet unzuverlässig, zeigt weiterhin ein rot oder gelb, obwohl nachweislich vollständig teilgenommen wurde
- Mittels Email- sowie Telefon-Kontakt versuchen wir den „roten“ Teilnehmern hinterher zu sein und an Teilnahme zu Erinnern bzw. Unterstützung beim Ausfüllen zu geben (bei technischen oder sprachlichen Schwierigkeiten)
- Dabei ist schon mehrfach aufgefallen, dass Teilnehmer berichten Sie hätten bereits bis zur letzten Seite („Vielen Dank für ihre Teilnahme. Sie können diese Seite nun schließen…“) ausgefüllt
- Aus Gesprächen und Emailkontakt sind schätzungsweise 20% aller Teilnehmer betroffen
- Es sind pro Woche (also pro Einladung zu einem FB) NICHT immer dieselben Teilnehmer betroffen

Lösungssuche und Erkenntnisse bisher:
- Angelegte Serienmails auf korrektes Datum sowie angebundenen/triggernden FB geprüft
- Limit für „als ausgefüllt betrachteten Fragebogen“ bei allen wöchentlichen FBs auf 10% gesenkt -> Vermutung war, dass ein nicht gesetzter Haken in einem Element der Umfrage diese als weiterhin „nicht teilgenommen/rot“ anzeigen lässt
- Es sind nicht immer dieselben Teilnehmer betroffen
- Im Selbstversuch (Studienmitarbeiter selbst in Adressliste registriert für Test und Kontrolle) konnte das Verhalten teilweise nachgestellt werden, jedoch nicht zuverlässig
o Mal funktioniert es auf Anhieb, dass der zugehörige Adresseintrag für diesen FB auf „grün“ springt, ein anderes Mal kam es zu besagtem Fehler, dass trotz vollständigem Ausfüllen der Teilnahmestatus „rot“ blieb
- Teilnahme via iPhone mit iOS Browser sowie via Android Smartphone mit Firefox sowie via PC mit Firefox oder MS Edge zeigten keinen systematischen Fehler eines bestimmten Geräts oder Browsers
o Alle Gerätekombinationen zeigten mal den Fehler und mal reibungslose Funktion
- Mittels exaktem Zeitpunkt der Teilnahme konnte ich meine eigene sowie eine weitere Teilnahme einer anderen Person die zugehörigen Daten in den erhobenen Daten zurückverfolgen (obwohl hier nur SERIAL und nicht konkreter Emailkontakt angegeben)
o Dabei zeigte sich, dass trotz Fehlers im Teilnahmestatus für uns beide, dennoch die eingegebenen Daten im Datensatz vorhanden waren
o Dies konnte später bei einer dritten Person ebenfalls so nachvollzogen werden
- Scheinbar kommen tatsächlich die eingegebenen Daten aus den Umfragen an und liegen im Datensatz vor (good news!)
- Stattdessen scheint es einen „internen“ (?) Fehler für die Rückmeldung an den Teilnahmestatus in der Adressliste zu geben (bad news!)
o Wir wissen somit nicht zuverlässig, wer bereits teilgenommen hat und wer nicht
o Schlechte Übersicht über Rücklaufquote
o Störendes „Hinterher“ Telefonieren oder Anschreiben der Teilnehmer für Erinnerung zur Umfrage bzw. Hilfestellung, obwohl dieser womöglich bereits vorbildlich teilgenommen hat
- Ähnliche Projekte sowie ein gleiches Projekt (erste Studienwelle) liefen in der Vergangenheit problemlos und zuverlässig
o Auch mit autom. Serienmails, verschiedenen FB zu mehreren Zeiten, Einladung via individualisierten Links mittels Email, verwaltet in Adressliste, usw.

FRAGEN:
Ist Ihnen dieser Fehler bereits bekannt und gab es dazu eine Lösung? Was können wir generell noch prüfen oder versuchen zu ändern (während der Laufzeit)? Können Sie Einblick in den Server für survey.charite.de nehmen und Hinweise oder Unterstützung geben?
Das Projekt heißt „Kneipp Kita Projekt 2“ und läuft noch bis 31.03. Allerdings ist die letzte wöchentliche Umfrage nur bis zum 26.02. eingetragen. Das Projekt läuft länger in SoSci für etwaiges Nachtragen von Antworten.

Wir sind für jede Hilfe oder Hinweise dankbar!

Mit besten Grüßen.

Answer 1

• mehrere Umfragen über gewissen Zeitraum für dieselben Teilnehmer

Hier bin ich nicht sicher: Meinen Sie mehrere Fragebögen innerhalb desselben Befragungsprojekts oder mehrere separate Befragugsprojekte?

• Zugangskontrolle mittels Passwort („globales“ PW für alle Teilnehmer und jeden wöchentlichen FB)

Das globale Passwort ist für das Tracking des Teilnahmestatus nicht geeignet. der Teinahmestatus kann - so sollte es auch in der Anleitung stehen - nur dann ermittelt werden, wenn jede Person via Serienmail einen personalisierten Link bekommt. Sonst kann SoSci Survey nicht wissen, wer da gerade teilnimmt.

Entsprechend muss dann im Fragebogen natürlich auch der Zugriffmodus "Serienmail" ausgewählt werden.

Ist Ihnen dieser Fehler bereits bekannt

Bei Nutzung der Serienmail-Funktion in Verbindung mit dem Zugriffmodus "Serienmail" sind keine derartigen Probleme bekannt. Wichtig ist aber noch, dass man in der Adressliste rechts oben noch die korrekte Serienmail auswählt.

Außerdem muss man mit Erinnerungsmails ein wenig aufpassen: Hier wird (absichtlich) derselbe Link in der Erinnerung verschickt, sodass post-hoc nicht zu unterscheiden ist, ob der Link in der EInladung oder in der Erinnerung angeklickt wurde.

Comments

Danke für die schnelle Antwort.

Es handelt sich um mehrere FB im selben Projekt. Pro Woche ein anderer FB, für insgesamt 6 Wochen.

Einladungen und Teilnahme erfolgen ausschließlich mittels Serienmails und darin enthaltenem personalisiertem Link. Die Fragebögen selbst sind jedoch mit Zugriff "Passwort" eingestellt. Somit scheint das hier in unserem Falle eine Vermischung dieser Varianten zu sein - was zuletzt im vorherigen Projekt auch geklappt hatte. Zudem sind schließlich auch dieses Mal die Mehrheit der Teilnahmerückmeldungen korrekt im Ampelsystem der Adressliste aufgeführt - nur leider eben nicht mehr alle wie zuletzt. Die Auswahl des jeweiligen FB in der Adressliste oben drüber ist uns bekannt. Dass der Reminder denselben person. Link nutzt wie die Einladung ist uns auch bekannt - gut zu sehen in der Einzelansicht jedes Teilnehmers in der Adressliste.

weiterführende Fragen:
1) Also scheint das Problem im vermischten Nutzen von Serienmails für unsere Einladungen und dem gesetzten Zugriff als "Passwort" unter unseren FBs zu liegen? Hier sollte also konsequent " Serienmail / Teilnahme-URL" genutzt werden? (Warum funktioniert es dann teilweise?) Viel wichtiger aber...
2) Können wir dies in laufender Studie noch umstellen? Sprich, ich stelle ab dem nächsten wöchentlichen Fragebogen diesen Freitag auf die Zugriffsbeschränkung " Serienmail / Teilnahme-URL" und das sollte direkt funktionieren - ohne Projekt zu beenden oder Serienmails neu anzulegen oder Teilnehmer neu zu importieren...?
3) Können wir auch rückwirkend die vergangenen Wochen umstellen? -> Ich setze diese Fragebögen auch auf " Serienmail / Teilnahme-URL" und schalte dann manuell alle Teilnehmer zur erneuten Teilnahme an diese FBs nochmals frei (über Adressliste) und lade manuell mittels Serienmail nochmals zum Ausfüllen ein?

Vielen Dank und beste Grüße.

---

> Die Fragebögen selbst sind jedoch mit Zugriff "Passwort" eingestellt. Somit scheint das hier in unserem Falle eine Vermischung dieser Varianten zu sein - was zuletzt im vorherigen Projekt auch geklappt hatte.

Vermutlich ließe sich klären, unter welchen Umständen so eine Konstellation möglich ist - aber de facto ist diese Konstellation (wie Sie ja festgestellt haben) nicht geeignet, den Teilnahmestatus zuerlässig zu erfassen. Meine Vermutung wäre, dass auch die Variable SERIAL nicht immer vorhanden ist und/oder dass das Fortsetzen unterbrochener Interviews nicht funktioniert.

> Warum funktioniert es dann teilweise?

Womöglich funktioniert es dann nicht, wenn man das Passwort einmal falsch (oder gar keines) eingibt. Dann wird die Passwortabfrage erneut angezeigt, aber der personalisierte Link ist in dem Moment verloren.

> 2) Können wir dies in laufender Studie noch umstellen?

Ja.

> 3) Können wir auch rückwirkend die vergangenen Wochen umstellen?

Die Serienmail wird an jeden Adressaten nur einmal verschickt. Und vermutlich verursachen Sie eine Menge Verwirrung mit dem Vorgehen. Aber abgesehen davon (Sie müssten also auch den Versandstatus für die Adressen manuell zurücksetzen - oder Sie kopieren die Teilnahmelinks aus den Adresseinträgen, jeweils ganz unten und verschicken diese manuell) könnte man über so eine Option nachdenken.

---

Ich habe nun alle weiteren FB auf "Serienmail/URL" umgestellt und bin gespannt wie das ab morgen läuft.

Die Spalte SERIAL in den Daten ist komplett und ohne Leerzellen.

Der Wiedereinstieg in einen bereits begonnenen FB hatte bis dato geklappt und auch die bisher eingegebenen Daten waren noch in den Feldern eingetragen.

Ein konkretes und konfiguriertes Unterbrechen eines FB und Fortsetzen nach erneuter Einladung (nächste Welle) zu Zeitpunkt X wurde nicht implementiert oder genutzt.

Da wir bereits viele Teilnahmen per Nachfrage nachvollziehen und teilweise durch erneutes Eingeben/Fortsetzen nachtragen konnten, werden wir nochmal überlegen, ob und wie wir für die vergangenen FB etwas umstellen und neu einladen.

Ab morgen wird sich zeigen, ob die Umstellung des Zugriffs das Problem gelöst hat, aber ich bin zuversichtlich.

Vielen Dank für die Hilfe!