IAT hängt sich regelmäßig auf

Question

Hallo zusammen,

ich habe zwei IATs in meinen Fragebogen eingebaut. Ich befinde mich seit einigen Tagen in der Erhebungsphase. Nun erhalte ich immer wieder von Probanden die Rückmeldung, dass sich immer einer der IATs (ich habe hier eine Rotation von Blöcken, daher ist es nicht immer derselbe) nach dem letzten Durchlauf aufhängt, also bevor eine Weiterleitung zur nächsten Seite mit Fragebogen erfolgen soll.

Dort steht dann "Gleich geht's weiter..." aber es passiert (auch nach minutenlangen Warten) nichts mehr. Wenn die Probanden die Seite daraufhin neu laden beginnt der IAT von vorne und oft hängt er sich dann wieder am Ende auf.

Das ist natürlich sehr ärgerlich. Ich habe einen extra Fragebogen für Smartphone verknüpft (hier habe ich alles genau für die Touchbedienung des IAT beschrieben). Aber der Fehler tritt unabhängig vom verwendeten Gerät auf. Also sowohl bei Laptop- als auch Smartphone-Nutzung.

Woran könnte das liegen und wie kann das Problem behoben werden?

Da ich mich ja bereits in der Erhebungsphase befinde, wäre ich für eine zeitnahe Rückmeldung sehr dankbar.

Vielen Dank im Voraus und freundliche Grüße

Comments

Puh ... schwierig zu beantworten. Ich könnte mir Probleme an unterschiedliche Stellen vorstellen.

Wie weisen Sie den Teilnehmer denn zu einem der beiden IAT-Varianten zu?

Worin unterscheiden sich die beiden Varianten?

Verwenden Sie auf einer der Fragebogen-Seite PHP-, HTML- oder JavaScript-Code?

Kürzlich hatten wir solch einen Fall. Damals hatte der Projektleiter die IATs auf zwei unterschiedliche Seiten im Fragebogen gesetzt und war mittels goToPage() zu einer der Seiten gesprungen. Er hatte leider nicht bedacht, dass danach noch die andere Seite (sprich der andere IAT) geladen wird, sodass der IAT scheinbar von vorne startete. In wieder einem anderen Fall war für eine andere Frage (eine Auswahlabfolge, glaube ich) durch mehrfache Änderung des Fragetyps eine Antwortpflicht aktiviert worden, welche es so gar nicht geben sollte - hier wurde das "es geht gleich weiter" deshalb immer wieder neu geladen...

Im Funktionstest war das Problem noch nicht aufgetreten?

---

Danke für die Antwort. Ich habe weder den Befehl "gotoPage()" eingebaut, noch eine Antwortpflicht für den IAT aktiviert.  Ich habe lediglich einen PHP-Code auf der Seite VOR dem ersten IAT und der dient eben der Rotation von B2 Blöcken (in diesem sind jeweils 1 IAT und 2 Seiten mit Fragebögen enthalten). Dabei handelt es sich um folgenden Code:

if (!isset($blocks2)) {
  $blocks2 = array('B7Start-B7End','B8Start-B8End');
  shuffle($blocks2);
  $blocks2[] = 'SD';
  registerVariable($blocks2);
}
setPageOrder($blocks2);


Das seltsame ich ja, dass es bei vielen funktioniert und sich nur gelegentlich aufhängt. Demnach kann es ja eigentlich kein Programmierfehler sein oder? (Ich bin hier aber ziemlich ahnungslos). Könnte es eine Art Überlastung des Systems bei der Datenverarbeitung sein, wenn z.B. gleichzeitig mehrere Probanden teilnehmen?
Was könnte man noch überprüfen/ tun?

---

>  Könnte es eine Art Überlastung des Systems bei der Datenverarbeitung sein, wenn z.B. gleichzeitig mehrere Probanden teilnehmen?

Sehr unwahrscheinlich ... da müssten Sie schon mehrere tausend Teilnehmer gleichzeitig haben. Was aber möglich ist, dass die Leute auf dem Mobilgerät teilnehmen und beim Absenden der im IAT gesammelten Daten kein Netz haben.

Wie viele Teilnehmer von wie vielen hat es denn bisher betroffen?

---

Ingesamt sind es mittlerweile von 200 Teilnehmern ca. 20, die dieses Problem hatten. Und es kommt sowohl bei der Teilnahme vom Laptop als auch Smartphone vor (häufiger jedoch Smartphone).

Das mit dem Netz ist eigentlich auch auszuschließen. Ich habe zum Teil Screenshots zugeschickt bekommen, bei denen zu sehen ist, dass volles Netz ist.

Gibt es irgendeine Möglichkeit, das Problem von ihrer Seite genauer zu untersuchen? Es ist wirklich super ärgerlich, da mir so jede Menge Daten verloren gehen.

---

10% ist ein tatsächlich sehr großer Anteil. Tritt es nur bei einer der beiden Varianten auf? Oder bei beiden? Anhand der (fehlenden) Daten sollte sich dies ganz gut nachvollziehen lassen. NUr zur Sicherheit: Die IAT-Daten fehlen auch tatsächlich im Datensatz?

---

Könnten Sie (in Ergänzung zu meiner obigen Frage) bitte noch spezifizieren, welchen IAT Sie verwenden? IAT, BIAT oder SC-IAT?

---

Ja, es handelt sich um den Standard-IAT und die Daten von dem IAT, bei dem es sich aufhängt fehlen im Datensatz.

---

Dann bleibt nur noch meine Frage, ob das Problem nur bei einer der beiden Varianten auftrat oder bei beiden?

---

Die Fälle, bei denen es rückgemeldet wurde, und die ich im Datensatz nachverfolgen kann, hängen sich immer bei einer der beiden Versionen des IAT auf.
Da diese aber ja rotieren, ist manchmal der andere bereits bereits bearbeitet wurden und manchmal noch nicht.
Was gibt es denn nun für Möglichkeiten der Fehlerbehebung?

---

> Was gibt es denn nun für Möglichkeiten der Fehlerbehebung?

Eine Fehlerbehebung erfordert zunächst, dass wir die Ursache herausfinden. Daher meine vielen Fragen. Außerdem verwundert es mich, dass ich die Rückmeldung ausschließlich von Ihrem Projekt bekomme - das deutet auf ein mögliches Problem mit den Stimuli hin. Haben Sie in der Frage HTML-Code verwendet?

Wir haben das Browser-Modul des IAT derweilen nochmal ein wenig überarbeitet und dafür gesorgt, dass ein eventueller Fehler bei der Berechnung der Ergebnisse (hier vermute ich die Ursache des Problems) die Weiterleitung zur nächsten Seite nicht mehr verhindert. Womöglich wird das Problem dadurch gelöst.

---

Okay, alles klar, vielen Dank dafür! Ich weiß nichts von einem HTML-Code. Ich habe nur die Stimuli (Bilder hochgeladen) sowie die Wörter-Stimuli in die dafür vorgesehen Felder eingefügt. Lediglich die Erklärungen zu den einzelnen Blöcken wurden im Wortlaut angepasst. Bei der Fragebogen-Zusammenstellung wurde nur der oben stehende PHP-Code auf der Seite vor dem ersten IAT eingefügt, damit es zu der Rotation kommt.

Aber liege ich denn falsch mit der Annahme, dass es sich in dem Falle eines Problems mit den Stimuli auf alle Teilnehmer beziehen müsste? Wie kann es denn sein, dass bei einem Großteil der Probanden, der Ablauf ohne weiteres funktioniert?

Wenn sie sagen, es gab einen Fehler bei der Berechnung der Ergebnisse, den sie nun korrigiert haben, heißt das dann auch, dass alle bisherigen Ergebnisse fehlerbehaftet sind?

Vielen Dank für ihre Rückmeldung.

Answer 1

Aber liege ich denn falsch mit der Annahme, dass es sich in dem Falle eines Problems mit den Stimuli auf alle Teilnehmer beziehen müsste?

Schwer zu sagen ... eigentlich würde man das von jedem Fehler erwarten :) Aber meine Vermutung liegt darin, dass eine bestimmte Konstellation von ungültigen Antworten das Problem verursacht haben könnte.

Wenn sie sagen, es gab einen Fehler bei der Berechnung der Ergebnisse, den sie nun korrigiert haben, heißt das dann auch, dass alle bisherigen Ergebnisse fehlerbehaftet sind?

Keine Sorge, es geht nicht um einen inhaltlichen Fehler. Nicht einmal einen, welcher sich im Datensatz bemerkbar gemacht hätte: Die Berechnung der D-Scores wird doppelt ausgeführt: Einmal direkt während der Beantwortung im Browser (damit man theoretisch direkt darauf zugreifen könnte). Und einmal nach Übermittlung der Daten auf dem Server. Bei der Browser-seitigen Berechnung konnte es (so die Vermutung) in bestimmten Konstellationen zu einem Abbruch kommen - welcher wiederum das "hängen" zur Folge gehabt hätte.

Comments

Alles klar, das wäre ja super, wenn es dadurch jetzt klappt. Vielen Dank schonmal!