Zeitmessung je Seite fehlerhaft?

Question

Sehr geehrte Damen und Herren,

die Betreuung meiner Masterarbeit hält stark daran fest, dass ein Zeitmessfehler vorliegt. Ich habe je Seite eine Folie einer Präsentation als Bild eingefügt. Als Zeitmessung dient das Weiterklicken zu zur nächsten Folie bzw. nächstem Bild.

Kann die Zeitmessung fehlerhaft sein?

Mit freundlichen Grüßen
Lawitzke Daniel

Comments

Könnten Sie bitte kurz schildern, von welcher Zeitmessung Sie sprechen (time00x oder eine genauere Messung mittels JavaScript?) und inwiefern ein Fehler vorliegen soll?

Grundsätzlich enthält die "einfache" Zeitmessung (time00x-Variablen) auch die Übermittlungszeiten der Seite und rundet auf ganze Sekunden. Eine Messungenauigkeit von einigen Sek. kann hier durchaus anfallen.

---

Sehr geehrte Damen und Herren,

vielen Dank für die Nachfrage. Es betrifft die Verweildauern des Fragebogens der Masterarbeit auf meinen Account <snip>. Meine Betreuung der Arbeit geht von einem Messfehler aus.

Ich würde dies nun abschließend klären wollen, da ich u.a. hierdurch die Arbeit nicht bestanden habe und einen Messfehler ausschließe. Ich habe selbst mehrere Jahre programmiert und kann mir nicht vorstellen, das die Zeitmessung vom Aufrufen bis zum Schließen der Seite fehlerhaft ist.

---

Nun, wie oben schon geschrieben, gibt es durchaus einige Sekunden Messungenauigkeit. Ob das problematisch ist oder nicht, hängt vom konkreten Setting ab.

Was genau haben Sie in Ihrer Studie untersucht, inwiefern wurden die Zeiten (Verweildauer) ausgewertet und warum geht die Betreuerin von einer fehlerhaften Messung aus?

---

Vielen Dank für die Nachfragen,

Ich habe jeweils zwei Folien hintereinander im fast identischen Stil präsentiert und im Anschluss eine Seite mit dazugehörigen Fragen gezeigt. Innerhalb einer solchen Folienpaarung wurden sparsam Stichpunkte leicht anders dargestellt. Also in einer anderen Schriftart oder einem anderen Schriftstil.

Die Verweildauer der Folien, sollte Aufschluss darauf geben, ob eine Folie länger als eine andere betrachtet wird. Rein hypothetisch wäre es jeweils die Folie mit der Variation, die als störend wahrgenommen wird. Im Schnitt wurden die ersten Folien einer solchen Paarung mit 20 Sekunden hoch signifikant länger betrachtet als die zweite Folie mit 12 Sekunden. Die Variation einzelner Stichpunkte mal auf der ersten und mal auf der zweiten Folie hatte demnach keinen Einfluss auf die Betrachtungsdauer. Dies widerspricht den aufgestellten Hypothesen und sei bisher nie in einer Arbeit aufgetaucht.

Nachdem ich nun durch das nachträgliche Interviewen von drei Versuchsteilnehmern meine Vermittlung aus der Arbeit bestätigen kann, gehe ich nicht von einem Messfehler aus. Mir wurde gesagt, dass man schlicht die erste Folie eher studieren und die zweite in das Kurzzeitgedächtnis rufen wollte. Auf der dritten Folie folgten schließlich die Fragen zu den beiden vorangehenden Folien. Meine Betreuer lehnen dies jedoch vehement ab, da dies noch nie aufgetaucht sei und halten an einem Messfehler fest. Da meine Hypothesen ohnehin wegen dieses "Effektes" überschattet werden, habe ich mich in der Arbeit auf diesen Effekt konzentriert und kritisch hinterfragt sowie kritisch den Versuchsaufbau diskutiert. Dies ist nun aber laut der Betreuung obsolet, da es eh nur ein Messfehler sei. Hieraus folgt ein "Durchgefallen"

Ich möchte hierzu nun wissen, ob dies wirklich in dem Rahmen ein Messfehler sein kein. Zudem müsste sich die minimale Fehlertoleranz der Zeitmessung doch gleichverteilen auf alle Folien und nicht die Differenz von 8 Sekunden ständig von der ersten zur zweiten Folie haben.

Letztendlich würde ich die Plattform auch nicht mehr nutzen und empfehlen, wenn solche Fehler existieren. Ich kann mir dies wie gesagt auch nicht vorstellen, da ich selbst aus der Programmierung komme und die Laufzeiten alleine nicht solche Differenzen aufzeigen. Insbesondere nicht bei zwölf Folienpaaren ständig nur gegenüber der ersten Folie.

Mit freundlichen Grüßen
Lawitzke Daniel

Answer 1

Danke für die Darstellung der Hypothesen und Effekte.

Es ist m.E. erstmal hochplausibel, dass bei zwei ähnlichen Seiten die erste (welche ja etwas neues liefert) länger betrachtet wird als die zweite. Mir scheint die wiederholte Anzeige auch ein untypisches Szenario, weil das "kenne ich schon" in der Messwiederholung den eigentlich zu untersuchenden Effekt deutlich überlagert - das ist in einem Experiment i.d.R. nachteilig. Ein typisches experimentelles Szenario wäre gewesen, dass randomisiert jeweils nur eine der beiden Seiten angezeigt wird. Vielleicht möchten Sie nochmal prüfen, ob es da vielleicht ein Missverständnis oder eine Fehlkommunikation gab?

Dass die Betrachtungszeit bei der Wiederholung kürzer ausfällt ist ohne Frage ein sehr starker Effekt. Für diesen starken Effekt beobachten wir eine zeitliche Differenz von 8 Sekunden. Die Irritation, die Ihre Manipulation auslöst, dürfte eine deutlich geringere Effektstärke aufweisen. Ich rate einmal, dass wir hier vielleicht 5-10% Unterschied, also 1-2 Sekunden beobachten könnten. Vielleicht auch nur 0,5 Sek - wenn wir z.B. die IAT-Messungen ansehen, sind kognitive Effekte meist im Bereich < 1 Sek. zu finden. Um solch einen geringen Unterschied zu messen, ist die auf ca. 1-3 Sekunden genaue Verweildauer aber nicht ausreichend (bzw. man müsste sehr viele Messwiederholungen pro Teilnehmer machen). Um solch kleine Effekte reliabel zu messen, wäre eine auf JavaScript basierende Erhebung erforderlich.

Mittels JavaScript kann man die Zeitpunkte bestimmen, wenn die Seite vollständig im Browser geladen ist und wann der Teilnehmer auf "Weiter" klickt - unabhängig von den Übermittlungszeiten zwischen Server und Browser. Wenn man noch den Seitenaufbau (heutzutage i.d.R. < 100 ms) im Browser in Betracht zieht, bekommt man damit eine Messung auf ca. 0,1 Sek. genau. Natürlich hat man auch hierbei noch Verzerrungen (z.B. ob jemand auf einem kleinen Bildschirm/Fenster erst noch zum "Weiter"-Knopf scrollen muss), aber zumindest eine wesentliche Quelle für Messartefakte (die Ladezeit) ist ausgeschlossen.

Wie gesagt halte ich das verwendete Design aber allgemein als nicht optimal. Verbunden mir der groben messung wundert es mich nicht, wenn sich keine den Hypothesen folgenden Unterschiede zeigen...

Comments

Vielen Dank für Ihre hilfreichen Ausführungen.

Ich habe die Folien nicht vollständig dargestellt: Nehmen Sie bitte an, dass je Folie  zwar der selbe Inhalt, aber unterschiedliche Werte präsentiert werden. z.B. auf der ersten Folie stehen Name: ab und Größe 123 etc. Auf der zweiten Folie Name cd und Größe 345 usw.. Auf eine der beiden Folie wurde jedoch eine einheitliche Formatierung gestört. Dies sollte zu mehr Aufmerksamkeit führen, womit mehr Zeit benötigt wird, aber auf der dritten Folie die zugehörigen Fragen öfter richtig beantwortet werden. Die Zeitmessung sollte lediglich messen, ob denn die Folie mit der uneinheitlichen Formatierung länger betrachtet wird. Hingegen wurde, wie bereits aufgeführt, stets die erste Folie im Mittel acht Sekunden länger betrachtet.  

Basiert die Zeitmessung nicht auf einem Javascript oder php script?

Mit freundlichen Grüßen
Lawitzke Daniel

---

Wie schon skizziert, würde ich für den von Ihnen untersuchten Effekt eher mit Unterschieden im Bereich 0,5 bis 2 Sekunden rechnen.

Die Zeitmessung für die Verweildauer basiert auf genazen Sekunden und misst (Server-basiert) die Zeit zwischem dem Abschicken einer Fragebogen-Seite Richtung Nutzer bis zum Erhalt der Antworten (auf dem Server).

Eine JavaScript-Messung erfolgt im Gegensatz dazu im Browser des Teilnehmers (Client-basiert). Solch eine Messung kann man für einzelne Seiten einbauen, allerdings manuell. Eine Messung mittels JavaScript ist i.d.R. genauer aber z.B. auch einfacher vom Teilnehmer manipulierbar.

---

Vielen Dank,

gehe ich nun damit recht davon aus, dass im Schnitt 20 Sekunden für die erste Folie und 12 Sekunden für die zweite Folie dennoch eine Genauigkeit von +- 0.5 Sekunden (also die von Ihnen skizzierte Genauigkeit von einer Sekunde) benötigt wurden? Also das prinzipiell ein Fehler von acht Sekunden ausgeschlossen ist und nach der Toleranz (12 + 1) Sekunde zu (20 - 1) Sekunde immer noch sechs Sekunden Differenz sicher sind?

Das der Versuchsaufbau, der mit den Betreuern abgestimmt wurde, nicht geeignet war, ist bekannt und wurde auch so diskutiert. Mir geht es nun lediglich um den Nebenbefund der acht bzw. nach Toleranz sechs Sekunden längeren Betrachtung der ersten zur zweiten Folie.

Mit freundlichen Grüßen
Lawitzke Daniel

---

Alleine die Tatsache, dass Sie zwischen den beiden Seiten eine (so vermute ich) statistisch signifikante Abweichung gefunden haben, spricht dafür, dass die Messung ausreichend genau war. Um ein Artefakt handelt es sich dabei mit an Sicherheit grenzender Wahrscheinlich hoher Wahrscheinlichkeit nicht. Mir wäre nichts bekannt, was einen solchen (v.a. systematischen) Fehler verursachen könnte - außer, wenn Sie auf der ersten Seite ungleich mehr Daten übertragen hätten (z.B. ein Bild mit mehreren MB Dateigröße). Bei Messungenauigkeiten sprechen wir ja explizit von unsystematischen Fehlern.

Auch wenn die Information ein wenig variierte, scheint der der Befund absolut plausibel, dann die erste von zwei ähnlichen Seiten länger betrachtet wird. Daraus auf eine fehlerhafte Messung zu schließen halte ich für unbegründet.