Sinnlose und wenig aussagekräftige Umfragen und Statistiken sind ja nichts Neues und leider auch keine Seltenheit. Diese sind mit geringem Aufwand schnell erstellt und “belegen” scheinbar eindeutig die ein oder andere Aussage. Boulevard-Blättern verzeiht man solche Vorgehensweisen, wenn aber auch seriöse Zeitschriften zu solchen Mitteln greifen ist das schon ein wenig bedenklich. Ein aktuelles Beispiel birgt eine Umfrage der FAZ.NET:

Aus aktuellem Anlass, der bevorstehenden Bundestagswahl, stellte die FAZ folgende Frage an ihre Leser:

Wie gut ist Steinmeiers Deutschland-Plan? (siehe: FAZ.NET Umfrage)

• Das ist Spitze. Bis 2020 gibt es 4 Millionen neue Jobs.
• Die Idee gefällt mir. Aber Steinmeier ist zu optimistisch.
• Er sagt, wo es Jobs geben kann. Aber sein Weg ist falsch.
• Vollbeschäftigung werden wir 2020 nicht haben.
• Ein reines Wahlkampfversprechen. Das klappt nie.

Ziel dieser Befragung ist es wohl, die subjektive Einschätzung des Deutschland-Plans der Leser herauszufinden. Grob betrachtet wurde hier eine 5er Skala aufgestellt mit einem tendenziellen Beurteilungsgefälle von gut bis schlecht. Es handelt sich um eine monopolare Skala mit verbalen Umschreibungen.

Allerdings sind genau diese Umschreibungen der Knackpunkt. Diese sind in sich überhaupt nicht konsistent und bilden den Bewertungsraum (eigentlich von “sehr gut” bis “sehr schlecht”) überhaupt nicht vollständig ab. Eine ungerade Skala ist beispielsweise durch ein neutrales mittleres Item gekennzeichnet, aber Item drei: “Er sagt, wo es Jobs geben kann. Aber sein Weg ist falsch” enthält eine Wertung (“Weg ist falsch”) und kann damit nicht als neutrale oder unentschiedene Bewertung angesehen werden.

Zudem soll die Bewertung des Deutschland-Plans anhand von Items erfolgen, welche einander widersprechen, bzw. welche aus inhaltlich logischen Gründen nicht gegeneinander abzuwägen sind. Zum Beispiel kann ich ja der Meinung sein, dass Item drei zutrifft (“Er sagt, wo es Jobs geben kann. Aber sein Weg ist falsch.”), genau so aber Item vier (“Vollbeschäftigung werden wir 2020 nicht haben.”). Beide Aussagen lassen sich aber nicht gleichzeitig ankreuzen, da es sich im eine einfache Auswahlskala handelt.

So kann man also, wenn 8,23% Item vier angekreuzt haben nicht davon ausgegangen werden, dass auch 8,23% der Befragten der Meinung sind, dass Item vier auch zutrifft (höchstens vielleicht, dass mindestens 8,23% der Meinung sind, dass Item vier zutrifft).

Die Aussagekraft ist damit stark eingeschränkt. Eine einfache Lösung wäre das Gestalten einer Mehrfachauswahl, d.h. der Befragte kann mehrere Antworten ankreuzen. Die elegantere Möglichkeit ist jedoch, aus jedem bisherigen Item eine einzelne Frage zu gestalten und diese anhand einer metrischen 5er Skala (von stimme voll zu, bis stimme überhaupt nicht zu) abzufragen. Denn letztlich wurden hier mehrere Fragestellungen (die Items und die Einschätzung insgesamt) zulasten der Aussagekraft und Interpretierbarkeit miteinander vermischt.

Zudem erfolgt im Zuge einer Bilderserie und den dazugehörenden Texten vor der eigentlichen Umfrage eine Beeinflussung des subjektiven Werturteils durch die Redaktion. Beispielsweise wird der Punkt Klima- und Umwelttechnologie aus Steinmeiers Plan aufgegriffen und analysiert, indem die Argumente dafür und dagegen gegeneinander abgewägt werden. Darunter wird die Bewertung der Redaktion aufgeführt:

Unser Urteil: Voll befriedigend. Eine Zukunftsbranche, doch wichtiger als Subventionen ist, dass Bildung und Ausbildung in Deutschland besser werden.

Damit wird aber der Leser im Vorhinein beeinflusst und dessen Bewertungsfähigkeit untergraben. Im Anschuss der Umfrage könnte man vielleicht die Wertung der Redaktion einblenden. So aber muss dies als unnötige Störvariable betrachtet werden.

Es ist schon klar, dass mit dieser Umfrage keine groß angelegte und möglichst repräsentative Erhebung erfolgen sollte, jedoch kann man mit den erhobenen Zahlen so gar nichts anfangen. Schon durch geringe Modifikation der Fragen lassen sich recht ordentliche Ergebnisse erzielen, welche wenigstens in gewisser, wenn auch beschränkter Hinsicht interpretierbar sind. Man müsste nur die Grundlagen der Marktforschung kennen und beachten. Sollte dies nicht möglich sein?

Tweet This Post