Teilen Sie einen Datensatz in Untergruppen nach Untergruppen auf, bis der Zufall Ihnen p < 0,05 liefert – und beobachten Sie dann, wie eine neue Stichprobe entscheidet, ob Ihr Ergebnis echt oder ein Zufall war.
Die Behandlung hat keine wirkliche Wirkung, daher ist jede Bedeutung, die Sie finden, ein Rauschen. Filtern Sie die Daten in Untergruppen und wiederholen Sie den Test so oft, bis ein p-Wert unter 0,05 erreicht wird. Anschließend übermitteln Sie Ihr „Ergebnis“ dem Schiedsrichter. Der Clou: Bei einer Replikationsprüfung wird eine neue unabhängige Stichprobe gezogen und Ihre exakte Aussage erneut überprüft. Echte Effekte bleiben bestehen; P-Hacks verschwinden – und diese Lücke ist die ganze Lektion.
Bei Cherry Picker geht es um P-Hacking, Mehrfachvergleiche und warum Replikation wichtig ist – die Integrität von Statistiken.
In Untergruppen zu filtern und den Test so lange zu wiederholen, bis etwas signifikant wird, ist Data Dredging – P-Hacking: viele Tests durchführen und nur die berichten, die signifikant ausfallen.
Das originelle Design ist, dass die Behandlung keine echte Wirkung hat, sodass jedes Ergebnis, das man findet, konstruktionsbedingt Rauschen ist.
Das ist die einzige ehrliche Art, dies zu lehren. Abstrakt erzählt klingt P-Hacking nach Betrug, den ein sorgfältiger Mensch nie begehen würde; es an Daten durchzuführen, die garantiert leer sind, zeigt, wie leicht Signifikanz entsteht, und das ist das Problem des multiplen Testens und keine Charakterschwäche.
Cherry Picker ist ein Statistikspiel über P-Hacking, Mehrfachvergleiche und warum Replikation wichtig ist. Es handelt sich um ein originales kostenloses Browserspiel, das für PlayPendium entwickelt wurde.