APA-Vertrauensindex: Was sagen Meinungsumfragen aus?

In den letzten Tagen haben unter anderem Kurier und profil von einer APA-Umfrage über das Vertrauen in die Landeshauptleute berichtet. In allen Medien war die Darstellung problematisch.

Im Kurier hat das so ausgesehen:

und im profil (nur Print) so:

Ausgangspunkt war eine Online-Umfrage von APA/OGM mit 500 Befragten.

Im OGM-Bericht (pdf) liest man, dass die maximale Schwankungsbreite 4,5% beträgt. Das ist so nicht richtig und gilt nur für einen Teil der Daten.

Denn im Bericht werden unter anderem Vertrauenswerte für die Landeshauptleute im jeweils eigenen Bundesland ausgewiesen. Wenn die Stichprobe „sauber“ ist, dann wurden in Vorarlberg und im Burgenland daher nur etwa 20 Personen befragt. Da kann man zwar noch die Formel für Schwankungsbreiten verwenden – allerdings wäre sie deutlich größer als die 4,5%. Generell sollte man aber Stichprobenergebnisse mit n=20 nicht mehr publizieren. Da noch auf die Gültigkeit der Näherungsformeln für Stichprobenschätzungen zu hoffen, ist ziemlich wagemutig. Genau das machen aber sowohl Kurier als auch profil: Sie publizieren die bundeslandspezifischen Werte. Auch im Bericht der APA finden sich diese Zahlen.

Für den Vertrauensindex (Anteil Vertrauen minus Anteil kein Vertrauen) stimmt die im OGM/APA Dokument angegebene maximale Schwankungsbreite ebenfalls nicht. Bei Differenzen von Anteilen aus derselben Stichprobe muss man andere Formeln verwenden, und die Schwankungsbreite wird dann größer. Genaueres dazu (inklusive eines interaktiven Rechenblattes) kann man in meinem Blog nachlesen. Die Schwankungsbreite beim bundesweiten Vertrauensindex von LH Pröll beträgt beispielsweise 8,0% und nicht maximal 4,5%.

Der Kurier publiziert bei den bundesweiten Ergebnissen lobenswerterer weise nicht nur die Differenz „Vertrauen – kein Vertrauen“, sondern auch „Vertrauen“, „kein Vertrauen“ und „weiß nicht“ getrennt. Allerdings gibt’s da Probleme mit der Darstellung. Man kann diese Daten nur getrennt und daher nicht gleichzeitig in einer Grafik sehen. Dabei wäre es sehr einfach, alle Daten in übersichtlicher und aufschlussreicher Form darzustellen, etwa so:

Daten aus dem Vertrauensindex – Darstellung von Erich Neuwirth

Diese Grafik zeigt auch, warum es statistisch nicht vertretbar ist, nur die Differenzen zwischen Vertrauen und keinem Vertrauen auszuweisen: beim Vergleich der Landeshauptleute weist der Anteil der Unentschiedenen (gelber Balken) die weitaus größten Unterschiede auf. Diese Information in der Grafik einfach auszublenden erweckt ein völlig falsches Bild. Es hat wohl auch wenig Sinn, das Vertrauen in einen LH eines kleinen Bundeslands, der erst kurz im Amt ist, mit einem langdienenden LH eines großen Bundeslandes zu vergleichen.

Und noch ein Problem gibt’s mit der Kuriergrafik. Bei den 3 verschiedenen Diagrammen ändert sich die Reihenfolge der Landeshauptleute weil die immer der Größe der verschiedenen Werte nach angeordnet werden. Das erschwert vergleichendes Lesen ungemein.

Insgesamt illustriert die Kommentierung und die grafische Darstellung recht deutlich, dass wir noch einen weiten Weg vor uns haben, bis Stichprobenerhebungen bezüglich ihrer Schwankungsbreiten sorgfältig kommentiert werden und grafische Darstellungen so gewählt werden, dass es dem Konsumenten möglichst leicht gemacht wird, Erkenntnisse aus den Grafiken abzuleiten.

Statistiker geben aber die Hoffnung nie auf, und außerdem war es früher noch wesentlich schlimmer.

* Erich Neuwirth ist außerordentlicher Professor (i.R.) an der Universität Wien und lehrt Informatik, Statistik und Mathematik.