Bachelor - Projektgruppe - Status Quo. Wie wird Effektgröße in CHI-Papern berichtet?

Supervisor: Anna-Marie (ortloff@cs.uni-bonn.de)

Bei der Verwendung von quantitativen Methoden untersuchen Forscher den Zusammenhang zwischen ein oder mehreren Vorhersagevariablen und ein oder mehreren Ergebnisvariablen [1]. Effektgrößen messen die Stärke des Zusammenhangs zwischen den Vorhersagevariablen und den Ergebnisvariablen [1] oder in Vergleichen zwischen Gruppen, die Größe des Unterschieds zwischen den Gruppen [2]. Allerdings werden Effektgrößen in wissenschaftlichen Arbeiten häufig nicht, oder nicht ausreichend berichtet [3,4]. Diese Projektgruppe soll den Status Quo des Berichtens von Effektgrößen in CHI-Publikationen erfassen.

Eure Aufgabe

• Wählt eine Stichprobe an quantitativen CHI-Papern, d.h. Papern mit Hypothesentests, aus. Möglichkeiten wären zum Beispiel eine zufällige Stichprobe, oder nur Paper, die eine Auszeichnung erhalten haben.
• Betrachtet die Ergebnisse von allen Hypothesentests innerhalb des Papers
  • Wurde eine Effektgröße berichtet (Welche? Standardisiert/Unstandardisiert?)
  • Wurde eine Größenschätzung der Effektgröße berichtet?
  • Wurde eine Interpretation der Effektgröße berichtet?
• Identifiziert Strategien, wie Effektgrößen interpretiert werden

Diese Projektgruppe kann gut als Gruppe bearbeitet werden, wobei jedes Gruppenmitglied eigene Paper bewerten soll.

Literatur:

• [1] Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge university press.

• [2] Coe, R. (2002, September). It’s the effect size, stupid, https://f.hubspotusercontent30.net/hubfs/5191137/attachments/ebe/ESguide.pdf

• [3] Groß, T. (2021). Fidelity of statistical reporting in 10 years of cyber security user studies. In Socio-Technical Aspects in Security and Trust: 9th International Workshop, STAST 2019, https://arxiv.org/pdf/2004.06672.pdf

• [4] Ortloff, A. M., Tiefenau, C., & Smith, M. (2023). SoK: I Have the (Developer) Power! Sample Size Estimation for Fisher’s Exact,Chi-Squared,McNemar’s, Wilcoxon Rank-Sum, Wilcoxon Signed-Rank and t-tests in Developer-Centered Usable Security, https://www.usenix.org/system/files/soups2023-ortloff.pdf

Zu analysierende Paper:

• CHI ‘23 proceedings: https://dl.acm.org/doi/proceedings/10.1145/3544548 (not all may be available in open access)

Vorausetzungen:

Grundlegendes Wissen zu Nullhypothesentests im Umfang von Kenntnissen aus der Vorlesung Usable Security and Privacy, ist bei der Bearbeitung der PG hilfreich. Englische Folien und deutsche Videos zum Selbststudium werden ggf. zur Verfügung gestellt.