Pisa und die Statistik

Ausgerechnet beim ORF dem Sender mit dem Bildungsauftrag in Österreich musste ich folgendes lesen:

Keine Bewegung bei Mathematik Im Bereich Mathematik liegen die Ergebnisse der Österreicher mit 505 Punkten ebenfalls erstmals statistisch signifikant über dem OECD-Schnitt (498). ORF

Statistisch signifikant scheint bei unseren Medienvertretern eine beliebte Redewendung zu sein, ohne zu wissen was es bedeutet. Ausgerechnet im Zusammenhang mit Mathematik und Pisastudie ist es nicht angebracht und eine Recherche wäre sehr empfehlenswert.

Der Pisa-Wert ist grob gesagt ein standardisierter Mittelwert, d.h. alle Fragebögen werden zusammengefasst und zurückgerechnet auf einen Mittelwert der genau 500 mit einem Streuungsbereich von 100 ergibt. Den exakten Berechnungsvorgang kann konnte beim Arbeitspapier zur Pisastudie nachgelesen werden.

Fazit: Wenn 500 Punkte erreicht werden, dann liegt die Leistung des jeweiligen Landes in der Mitte. Ob jetzt 500 oder 505 Punkte erreicht werden, macht keinen Unterschied. Erst wenn 600 Punkte erreicht werden, ist der Wert über dem Durchschnitt. Ob der Wert dann statistisch Signifikant ist, muss mit einem passenden Test erst berechnet werden. (In der Statistik heißen Ergebnisse signifikant, wenn es unwahrscheinlich ist, dass sie durch Zufall zustande kamen.)

Literatur zur Signifikanz: Wikipedia Statistische Signifikanz Jenseits des Signifikanztest-Rituals: Ergänzungen und Alternativen Peter Sedlmeier
Wichtige Signifikanztests – Artikel Nr.11 www.thieme-connect.de der Statistik-Serie in der DMW – Was ist der p-Wert? Dr. Ralf Bender www.thieme-connect.de/ejournals