Nationafeiertage scheinen mediale Mikro-Saure-Gurken-Zeit zu sein: Ausgehend von einer APA-Meldung wurde von vielen Zeitungen Österreichs, wie DerStandard.at, „Österreich“ und Kleine Zeitung kurz vor dem Nationalfeiertag eine Studie des Zentrums für Zukunftsstudien an der Fachhochschule Salzburg zitiert, wonach jeder zweite Österreicher „stolz“ auf sein Heimatland ist. In allen Berichten wurde darauf hingewiesen, dass die Ergebnisse in den verschiedenen Bundesländern erheblich variieren.
Doch wie sicher können solche Daten sein, wenn eine Stichprobe von nur 1000 Personen für ganz Österreich auch noch auf die Bundesländer verteilt wird? Diese 1000 Personen können mathematisch auf zwei Arten auf die Bundesländer verteilt werden. Österreich teilt sich in neun Bundesländer auf, wenn man dies durchrechnet, dann sind das im Falle dieser Umfrage im Schnitt etwa 111 Befragte pro Bundesland.
Wurde die Stichprobengröße jedoch der Einwohnerzahl angeglichen, dann wurden in Wien 200 Personen befragt und im Burgenland nur noch 30. Auffallend ist zumindest, dass es in Burgenland und Vorarlberg, den kleinsten Bundesländern, der Ausschlag am höchsten ist. Liegt das vielleicht daran, dass nur eine Handvoll Menschen befragt wurde, die für ein beinahe zufälliges Ergebnis sorgen?
Über die richtige Größe der Stichproben für eine valide Aussage streiten sich die Geister, obwohl anzunehmen ist, dass hier beide Arten der Verteilung der 1000 Befragten zu keinem befriedigenden Ergebnis führen: Nach diesem Stichprobenkalkulator dürften 111 Personen für Wien (bei Methode A) oder 30 Personen für das Burgenland (bei Methode B) jedenfalls sehr deutlich zu wenig sein.
Die Medien, die solche APA-Meldungen drucken, scheinen die Angaben leider nicht zu hinterfragen.
3 Kommentar(e)
Wie die Repräsentativität einer Statistik vom Stichprobenumfang (und von der Interpretation!) abhängig ist, illustriert das fiktive Beispiel:
Ein Statistiker, ein Mathematiker und ein Analytiker fahren ins Burgenland,
sie sehen zwei Schafe: ein schwarzes und ein weißes.
Sagt der Statistiker: “Im Burgenland gibt es 50 Prozent schwarze Schafe.“
Sagt der Mathematiker: “Im Burgenland gibt es mindestens ein schwarzes Schaf.“
Sagt der Analytiker: “Im Burgenland gibt es mindestens ein Schaf, das auf
mindestens einer Seite schwarz ist.“
Genau der von Ihnen verlinkte Rechner gibt aber bei einer für z.B. Wahlbefragungen typischen Abweichung von 3% knapp über tausend zu Befragende an (ob 8 Mio. Österreicher oder 82 Mio. Deutsche macht bei der Größenordnung keinen Unterschied mehr). Das (plus eine gewisse Sicherheit) ist auch eine gängige Losgröße bei den Instituten.
Es kommt vielmehr darauf an, dass man seine Befragten nach den richtigen Kriterien auwählt. So kann man auch mit geringen Personenzahlen valide Ergebnisse erhalten. Zu bemängeln ist allerdings wie immer, dass der statistische Fehler nicht mit angegeben wird. 14-20% statt 17% klingt halt nicht so gut.
Auffallend ist eben auch, dass nicht das Burgenland alleine den höchsten Ausschlag hat, sondern auch Tirol – ich will nicht sagen, dass die Meldung von der APA 100% super ist, aber solch eine Kritik kommt heraus, wenn der Kritiker ebenso keine Ahnung von Statistik hat.