Wie man in den Wald hineinfragt

Ein Baustein des ADL-Projektes ist das Demokratieradar, eine halbjährliche Bevölkerungsumfrage zur Demokratiezufriedenheit. Dabei stehen die Ergebnisse im Vordergrund, der Weg zu diesen Daten kann aber ebenso interessant sein. Ein etwas technisch-methodischer Blogbeitrag.

Es ist weder neu, noch überrascht es: Die Art und Weise, wie man Menschen etwas frägt, kann einen Einfluss auf deren Antworten haben. Das gilt für die konkrete Formulierung einer Frage ebenso wie für das Format der Befragung.

Mit „Format“ ist hier insbesondere die so genannte Erhebungsmethode gemeint, also die Technik, wie ein Interview mit einer Befragungsperson abläuft. In der empirischen Sozialforschung sind es vor allem persönliche, telefonische und schriftliche/online-Befragungen, die zum Einsatz kommen. Die Situation, in der man einen Fragebogen beantwortet, ist entsprechend unterschiedlich. Im Fall eines persönlichen Interviews reagiert man direkt auf die/den Fragensteller*in, online klickt man für sich allein die Antwortmöglichkeiten an. Im ersten Szenario gibt es einen zumindest gefühlten Zeitdruck (man will das Gegenüber ja nicht unnötig warten lassen), im zweiten kann man sich Ort, Zeit und Dauer selbst aussuchen. Persönlich spielt die/der Gesprächspartner*in vielleicht eine Rolle, schriftlich hat wiederum das Layout der Fragen mitunter einen Einfluss auf mich.

Vertritt jemand eine Meinung, von der sie/er glaubt, dass sie extrem ist und von einer vermeintlichen „Mehrheit“ abgelehnt wird, dann sagt sie/er diese in einem persönlichen Gespräch vielleicht weniger offen, als wenn sie/er gleichsam unbeobachtet einen Haken in einem Online-Fragebogen setzen kann. Viel Raum für verzerrende Effekte, die man im Sinne möglichst aussagekräftiger Ergebnisse gerne ausschalten möchte. Das funktioniert freilich nicht, man kann nur bewusst mit derartigen Einflüssen umgehen und die gewonnenen Daten immer auch unter dem Aspekt der Erhebungsmethode betrachten.

Das führt uns zum Demokratieradar, das zwei verschiedene Befragungsmethoden verwendet: Ein Teil der Stichprobe wird telefonisch kontaktiert, ein Teil wird gebeten, einen Online-Fragebogen auszufüllen. Die Überlegung dahinter ist, dass die spezifischen Einflüsse der einzelnen Befragungsmethoden einander in der Kombination wieder etwas ausgleichen. Gleichzeitig gibt es so die Möglichkeit zu testen, inwieweit die unterschiedlichen Methoden auch zu unterschiedlichen Ergebnissen führen – da abgesehen von der Art der Befragung alle weiteren Umstände weitgehend gleich sind.

Das soll am Beispiel der Frage nach der Demokratiezufriedenheit überprüft werden. Die Frage selbst ist ebenso einfach wie viel erprobt und lautet: „Funktioniert die Demokratie in Österreich aus Ihrer Sicht alles in allem … sehr gut, eher gut, eher schlecht oder sehr schlecht?“ Damit soll die Zufriedenheit mit der konkreten Gestaltung der Demokratie – quasi im Alltag – gemessen werden, im Gegensatz zu einer generellen Beurteilung des politischen Systems Demokratie an sich.

In der jüngsten Welle aus dem Frühjahr 2021 waren rund zehn Prozent sehr und knapp 60 Prozent eher zufrieden, 22 Prozent bewerteten das Funktionieren der Demokratie mit eher schlecht und sieben Prozent mit sehr schlecht. Der Rest machte keine Angabe. Die Zufriedenheit ist damit gegenüber früheren Wellen leicht gesunken.

Um einen möglichen Unterschied zwischen dem telefonischen und dem Online-Teil der Befragung zu finden, reicht es nicht, die beiden Gruppen einander einfach gegenüberzustellen. Deren Profil ist nur teilweise deckungsgleich, in vielerlei Hinsicht unterscheiden sie sich etwas voneinander. So werden online z.B. mehr jüngere Menschen befragt, weil diese so besser erreicht werden, telefonisch bezieht man hingegen mehr ältere Menschen mit ein.

Für einen Ausgleich dieser Unterschiede kann man eine so genannte matching-Methode verwenden (konkret wird an dieser Stelle ein propensity score matching vorgenommen). Dabei wird – vereinfacht gesagt – versucht, möglichst ähnliche Fälle in der Online- und der Telefongruppe zu identifizieren und die beiden Teile einander mathematisch anzugleichen – um quasi Äpfeln auch Äpfel gegenüberzustellen und keine Birnen.

Wendet man dieses Vorgehen an, dann zeigt sich tatsächlich ein messbarer (signifikanter) Unterschied zwischen den dann ansonsten ähnlichen Gruppen: Die online Befragten äußern sich etwas weniger zufrieden als die telefonisch Kontaktierten, der Abstand beträgt insgesamt rund zehn Prozentpunkte. Das heißt, das Gesamtbild ist nicht völlig ein anderes, aber im Detail scheint die Befragungsmethode hier zu Abweichungen zu führen.

Die Analyse hat Einschränkungen, so muss man etwa vorab festlegen, welche Variablen denn für das matching herangezogen werden sollen – und diese Auswahl ist nicht immer eindeutig. Auch ist die Angleichung nicht perfekt, kleinere Schwankungen bleiben bestehen. Dennoch lässt sich damit beispielhaft das illustrieren, was eingangs schon erwähnt wurde: Wie man in den Wald hineinfrägt, so schallt es auch heraus.