unverhältnismäßig viele und schnelle Teilnehmer innerhalb kurzer Zeit

Question

Hallo,

ich habe meinen Fragebogen vor 3 Tagen online gestellt, den innerhalb meines sozialen Umfelds auf einigen Social Media Plattformen geteilt, sodass ich bis gestern Abend 118 Teilnehmende erreicht hatte. Jetzt habe ich allerdings innerhalb der letzten 24h über 300 Teilnehmer, sodass aktuell 437 Personen an meiner Umfrage teilgenommen haben. Beim näheren Betrachten der Daten habe ich festgestellt, dass der Fragebogen größtenteils innerhalb von weniger als 2 Minuten ausgefüllt wurde, obwohl ich eine Bearbeitungszeit von ca. 10 Minuten angesetzt hatte. Außerdem wurde der Fragebogen im Minutentakt ausgefüllt. Dass ich innerhalb von so kurzer Zeit so viele "echte" Teilnehmer bekommen habe, erhalte ich für ziemlich unrealistisch. Daher frage ich mich: Liegt innerhalb meines Datensatzes ein Bug vor? Ist es schonmal aufgetreten, dass unerwartet viele Teilnehmer innerhalb kürzester Zeit dazukamen? Gibt es nun eine Möglichkeit, meine Daten zu "bereinigen"?

Ich freue mich über eine hilfreiche Rückmeldung :)

Vielen Dank im Voraus für die Unterstützung.

Answer 1

Von einem Programmfehler würde ich nicht ausgehen - eher davon, dass Sie einen heimlichen Verehrer haben, die/der Ihre Studie sabotieren will. Wir hatten in der Vergangenheit z.B. in sozialen Netzwerken explizite Aufrufe beobachtet, Studien (zu Themen die nicht jeder gerne liest) mit Datenmüll auszufüllen. Und dann gibt es natürlich hin und wieder Leute, denen selbst so ein Aufruf noch zu viele andere Menschen involviert, und die lieber einen kleinen Bot schreiben, der einen Online-Fragebogen mit Zufallsantworten füllt. Eine gewisse Regelmäßigkeit ("Minutentakt") spricht eher für einen Bot.

Sie können, wenn Sie das genauer beleuchten möchten, ja mal ein Captcha in den Fragebogen einbauen. Echte Störenfriede werden dies beantworten, ein Bot wird zumindest erstmal blockiert werden.

Aber wirklich Sorgen machen müssen Sie sich um die 20 Antworten, die während der Spam-Welle mit "normalen" Antwortzeiten teilgenommen haben. Von denen wissen Sie nämlich nicht, ob es sorgfältige Störenfriede oder sinnvolle Teilnehmer:innen waren.

Gibt es nun eine Möglichkeit, meine Daten zu "bereinigen"?

Löschen Sie alles mit TIME_SUM < 300.

Ich würde außerdem überlegen, noch zwei instructed response Items in zwei Skalen zu verstecken, z.B.: Bitte markieren Sie hier die Option "trifft voll und ganz zu". Dies kann Personen, die sorgfälig ausfüllen, sehr gut von solchen trennen, die schlampig ausfüllen.