Umfragedaten auswerten – so geht's

Die Ergebnisse Ihrer Online-Umfragen sind eingegangen. Sie haben die statistischen Umfrageergebnisse erfasst und einen Datenanalyseplan aufgestellt. Jetzt heißt es, Berechnungen anhand der erhaltenen Ergebnisse durchzuführen. Zum Einstieg erfahren Sie, wie unsere Umfragespezialisten aussagekräftige Informationen aus quantitativen (statt qualitativen) Daten ziehen: Sie betrachten die Antworten, legen den Schwerpunkt auf ihre wichtigsten wissenschaftlichen Fragestellungen und Umfrageziele, rechnen die Zahlen durch und ziehen ihre Schlüsse.

Sehen wir uns zunächst an, wie Sie Ihre Ergebnisse anhand Ihrer wichtigsten Fragestellungen berechnen. Haben Sie in Ihrer Umfrage empirische Fragestellungen aufgenommen? Haben Sie Wahrscheinlichkeitsstichproben berücksichtigt? Zur Erinnerung: Beim Setzen des Umfrageziels müssten Sie Ihre wichtigsten Fragestellungen umrissen haben.

Ein Beispiel: Sie haben eine Bildungskonferenz abgehalten und nach dem Event eine Umfrage zur Veranstaltungsbewertung durchgeführt. Dann könnte eine Ihrer wichtigsten Fragestellung diese sein: Wie haben die Teilnehmer die Konferenz insgesamt bewertet? Schauen Sie sich jetzt die Antworten an, die Sie für eine bestimmte Frage in Ihrer Umfrage erfasst haben und die sich auf diese wichtige Fragestellung beziehen:

Haben Sie vor, diese Konferenz auch nächstes Jahr zu besuchen?

Beachten Sie, dass Sie in einigen Beantwortungen Prozentangaben (71 %, 18 %) und in anderen absolute Zahlen (852, 216) haben.

Die Prozentangaben sind eben dies: der prozentuale Anteil der Menschen, die eine bestimmte Antwort gegeben haben. Anders formuliert: Diese Werte geben die Anzahl der Befragten, die eine bestimmte Antwort gegeben haben, als Anteil derjenigen Personen an, die diese Frage insgesamt beantwortet haben. Insofern haben 71 % der Befragten (also 852 von 1.200 Befragten) angegeben, dass sie im nächsten Jahr gerne wiederkommen.

Ferner geht aus dieser Tabelle hervor, dass 18 % nicht mehr kommen werden und 11 % es nach eigenen Angaben noch nicht wissen.

Erinnern Sie sich daran, dass Sie sich beim Formulieren eines Ziels für Ihre Umfrage und bei der Entwicklung Ihres Analyseplans Gedanken darüber gemacht haben, welche Untergruppen Sie analysieren und vergleichen wollten? Jetzt zahlt sich diese Planung aus. Nehmen wir beispielsweise an, Sie möchten untersuchen, welche Unterschiede zwischen den Antworten von Lehrkräften, Studierenden und Verwaltungsangehörigen auf die Frage nach dem Besuch im nächsten Jahr bestehen. Um zum Ergebnis zu kommen, tauchen Sie jetzt über Kreuztabellen tief in die Beantwortungsquoten ein und können somit die Ergebnisse der Konferenzfrage nach Untergruppe darstellen:

In dieser Tabelle sehen Sie, dass die große Mehrheit der Studierenden (86 %) und der Lehrkräfte (80 %) planen, nächstes Jahr wiederzukommen. Bei den Teilnehmern aus dem Verwaltungsbereich hingegen sieht die Sache anders aus: Noch nicht einmal die Hälfte (46 %) hat vor, die Konferenz im nächsten Jahr zu besuchen. Hoffentlich gelingt es Ihnen mithilfe unserer anderen Fragen herauszufinden, a) warum das so ist und b) was Sie tun können, um die Konferenz auch für die Verwaltungsmitarbeiter interessanter zu gestalten, damit diese im nachfolgenden Jahr wiederkommen.

Filter sind ein weiteres sinnvolles Tool, um die Daten in Form zu bringen. Beim Filtern nehmen Sie eine bestimmte Untergruppe genauer ins Visier, während die übrigen herausgefiltert werden. Statt also die Untergruppen miteinander zu vergleichen, betrachten wir hier nur die Antworten einer bestimmten Untergruppe auf die Frage. Sie können etwa wahlweise männliche oder weibliche Befragte herausfiltern und dann erneut eine Kreuztabelle nach Rolle des Teilnehmers erstellen, um etwa die weiblichen Lehrkräfte, Studentinnen und weiblichen Verwaltungsangehörigen miteinander zu vergleichen. Wenn Sie Ihre Ergebnisse jedoch so aufschlüsseln, müssen Sie eine Sache beachten: Jedes Mal, wenn Sie einen Filter oder eine Kreuztabelle verwenden, verringert sich Ihre Stichprobengröße. Damit sichergestellt ist, dass Ihre Ergebnisse auch statistisch signifikant sind, kann die Verwendung eines Stichprobenrechners empfehlenswert sein.

Nehmen wir an, eine wichtige Frage in Ihrer Umfrage zum Konferenzfeedback lautet: „Wie zufrieden waren Sie insgesamt mit der Konferenz?“ Ihre Ergebnisse zeigen, dass 75 % der Befragten mit dem Ablauf der Konferenz zufrieden waren. Das klingt nicht schlecht. Aber bräuchten Sie nicht noch etwas Kontext? Ein paar Angaben, um diesen Wert in Relation zu setzen? Ist er besser oder schlechter als im Vorjahr? Wie ist er im Vergleich zu anderen Konferenzen einzuordnen?

Nehmen wir doch einmal an, Sie hätten diese Frage bei Ihrer Feedbackumfrage zur Konferenz nach Abschluss der Vorjahreskonferenz gestellt. Dann könnten Sie einen Trend ausmachen. Unter professionelle Demoskopen gilt schließlich die Devise „Der Trend ist dein Freund“.

Wenn etwa die Zufriedenheitsquote im Vorjahr nur bei 60 % lag, dann konnten Sie diesen Wert um satte 15 Prozent steigern! Wodurch wurde dieser Anstieg ermöglicht? Die Antwort auf diese Frage können Sie hoffentlich den Beantwortungen anderer Fragen in Ihrer Umfrage entnehmen.

Wenn Sie keine Daten zur Vorjahreskonferenz haben, dann sollten Sie nun beschließen, bei jeder künftigen Konferenz eine solche Erhebung durchzuführen und so Feedback zu erhalten. Dies bezeichnet man auch als Benchmarking. Hierbei erstellen Sie Benchmarks, d. h. eine Anzahl von Bezugswerten, mit denen Sie künftige Zahlen vergleichen können, um festzustellen, ob und inwieweit Veränderungen aufgetreten sind. Sie können Benchmarks nicht nur für die Zufriedenheit Ihrer Teilnehmer erstellen, sondern auch für andere Fragen. So können Sie Jahr für Jahr ermitteln, was die Teilnehmer von Ihrer Konferenz hielten. Dies bezeichnet man als Langzeitdatenanalyse.

Sie können auch Daten für unterschiedliche Teilgruppen unter die Lupe nehmen. Nehmen wir etwa einmal an, die Zufriedenheitsquote steigt bei Studierenden und Lehrkräften Jahr für Jahr, bei den Verwaltungsangehörigen aber nicht. In diesem Fall sollten Sie sich genau ansehen, wie letztere die verschiedenen Fragen beantwortet haben, denn so bekommen Sie möglicherweise heraus, warum diese Gruppe weniger zufrieden ist als die beiden anderen.

Sie wissen, wie viele Menschen gesagt haben, dass sie gerne wiederkommen werden. Aber woher wissen Sie, dass die Antworten in Ihrer Umfrage vertrauenswürdig sind – Antworten also, auf deren Grundlage Sie künftig belastbare Entscheidungen treffen können? Sie müssen folglich auch auf die Qualität Ihrer Daten achten und die Elemente der statistischen Signifikanz kennen.

„Signifikant“ bedeutet im allgemeinen Sprachgebrauch so viel wie „wichtig“ oder „aussagekräftig“. Bei der Umfrageanalyse und in der Statistik gestattet die Signifikanz eine Bewertung der Richtigkeit. An dieser Stelle kommt das unvermeidliche „plus oder minus“ ins Spiel. Vor allem besagt die statistische Signifikanz einer Umfrage, dass die Ergebnisse mit einer gewissen Sicherheit – und nicht nur aufgrund von Zufällen – richtig sind. Dies bezeichnet man als Konfidenzniveau. Ein Risiko besteht nämlich darin, ungenaue (also statistisch nicht signifikante) Ergebnisse für Rückschlüsse heranzuziehen. Der erste bei jeder Bewertung der statistischen Signifikanz zu berücksichtigende Faktor ist die Frage, ob Ihre Stichprobe repräsentativ ist, d. h., in welchem Maße die befragte Personengruppe der Gesamtpopulation ähnelt, zu der Sie Schlüsse ziehen möchten.

Wenn beispielsweise 90 % der Konferenzteilnehmer, die die Umfrage ausgefüllt haben, männlich waren, dasselbe gleichzeitig aber für nur 15 % der Teilnehmer überhaupt gilt, dann haben Sie ein Problem. Je mehr Sie über die Population, die Sie untersuchen möchten, bereits wissen, desto sicherer können Sie in Bezug auf Umfrageergebnisse sein, die dieser Population entsprechen. Im Optimalfall sind also bezogen auf das beschriebene Szenario 15 % der Befragten männlich.

Wenn die Stichprobe Ihrer Umfrage eine willkürlich gewählte Anzahl aus einer bekannten Population ist, dann lässt sich die statistische Signifikanz recht einfach berechnen. Eine wesentliche Rolle spielt dabei die Stichprobengröße. Angenommen, 50 der 1.000 Personen, die an Ihrer Konferenz teilgenommen haben, beteiligten sich auch an Ihrer Umfrage. Fünfzig (50) ist eine relativ kleine Stichprobengröße, die eine recht breite Fehlerspanne zur Folge hat. Kurz gesagt werden Ihre Ergebnisse nicht allzu viel Aussagekraft haben.

Nehmen wir an, Sie haben Ihre Umfrageteilnehmer gefragt, wie viele der zehn angebotenen Veranstaltungen sie im Verlauf der Konferenz besucht haben. Jetzt sehen Ihre Ergebnisse so aus:

Sie sollten hier den Durchschnitt analysieren. Wie Sie vielleicht noch wissen, gibt es drei verschiedene Arten des Durchschnitts: Mittelwert, Median und Modalwert.

In der obigen Tabelle beträgt die Durchschnittsanzahl der besuchten Veranstaltungen 6,1. Der hier berechnete Durchschnitt ist der Mittelwert – mit diesem sind Sie wahrscheinlich am besten vertraut. Um den Mittelwert festzustellen, addieren Sie die Datenwerte und dividieren die Summe dann durch die Anzahl der summierten Daten. In unserem Beispiel haben Sie 100 Leute, die angaben, eine Veranstaltung besucht zu haben, 50 Gäste haben vier Veranstaltungen besucht, 100 Teilnehmer fünf Veranstaltungen usw. Also multiplizieren Sie diese Paare miteinander, addieren die Ergebnisse und dividieren die Summe dann durch die Gesamtzahl der Teilnehmer.

Eine andere Art des Durchschnitts ist der Median. Hierbei handelt es sich um den „mittleren“ Wert, also die 50-%-Marke. In der obigen Tabelle müssten wir nun den Wert ermitteln, bei dem 500 Personen links von dieser Marke und 500 weitere rechts davon angeordnet würden. Unser Median liegt also bei sechs Veranstaltungen. Auf diese Weise können Sie den Einfluss von Ausreißern eliminieren, der ansonsten negativ auf Ihre Daten durchschlagen könnte.

Der letzte Durchschnittstyp ist der Modalwert. Dieser gibt die meistgenannte Beantwortung an. Auch in diesem Fall lautet die Antwort sechs. 260 Umfrageteilnehmer haben sechs Veranstaltungen besucht – also die meisten Teilnehmer haben diese Anzahl Veranstaltungen besucht.

Mittelwerte (und auch die anderen Durchschnittsarten) können auch verwendet werden, wenn Ihre Ergebnisse auf Likert-Skalen basieren.

Zweck der Analyse von Umfrageergebnissen ist es, hervorzuheben, was uns die Daten erzählen.

Angenommen, Ihre Konferenz hat insgesamt eher mittelmäßige Bewertungen erhalten. Weil Sie wissen möchten, warum das so ist, schauen Sie jetzt genauer hin. Dabei zeigen die Daten, dass die Befragten für praktisch alle Aspekte der Konferenz hohe Wertungen vergeben haben – die Veranstaltungen und Workshops, das Begleitprogramm und das Hotel. Aber sie konnten sich für die Stadt, in der die Konferenz stattfand, überhaupt nicht erwärmen. (Vielleicht haben Sie die Konferenz ja auf Sylt ausgerichtet, und das ist im Januar möglicherweise keine so gute Empfehlung.) Das ist also ein Teil der Geschichte unserer Daten: Die Konferenz war toll, aber bei dem Ort, den Sie zur Ausrichtung ausgewählt haben, haben Sie leider danebengegriffen. Möglicherweise wäre Garmisch-Partenkirchen für eine Konferenz im Winter eine bessere Entscheidung gewesen.

Ein Aspekt der Analyse und Berichterstellung Ihrer Daten, den Sie in Betracht ziehen müssen, ist der Unterschied zwischen Kausalität und Korrelation.

Bei der Erfassung von Umfragedaten werden Umfragen eingesetzt, um von bestimmten Befragten Informationen zu sammeln. Die Erfassung von Umfragedaten kann auch andere Arten der Datenerfassung ersetzen oder ergänzen, wie Interviews und Fokusgruppen. Die durch Umfragen erfassten Daten können für vielfältige Ziele eingesetzt werden: Stärkung des Mitarbeiterengagements, Verständnis des Käuferverhaltens und Verbesserung der Kundenerfahrung.

Zurück

Mit der Langzeitdatenanalyse (oft auch als „Trendanalyse“ bezeichnet) behalten Sie vor allem im Auge, wie sich die Ergebnisse für bestimmte Fragen im Laufe der Zeit ändern. Mit einem ermittelten Benchmark können Sie herausfinden, ob und wie sich die Werte ändern. Angenommen, die Zufriedenheitsquote lag für Ihre Konferenz vor drei Jahren bei 50 %, vor zwei Jahren bei 55 %, im letzten Jahr bei 65 % und in diesem Jahr bei 75 %. Da sollte man wohl gratulieren! Ihre Langzeitdatenanalyse zeigt bei der Zufriedenheit einen soliden, kontinuierlichen Anstieg.

Zurück

Unter Kausalität versteht man das Bedingen eines Faktors durch einen anderen, während die Korrelation einen Umstand bezeichnet, bei dem sich zwar zwei Variablen gemeinsam ändern, aber sie sich nicht gegenseitig beeinflussen oder bedingen. So korrelieren etwa die Häufigkeiten des Genusses heißer Schokolade und des Tragens warmer Winterhandschuhe – beide nehmen tendenziell gleichzeitig zu oder ab. Und doch bewirkt nicht das eine das andere. Vielmehr werden sie beide durch einen dritten Faktor verursacht: kaltes Wetter. Winterwetter beeinflusst also, wie häufig man heißen Kakao trinkt und wie wahrscheinlich man warme Handschuhe trägt. Es ist eine unabhängige Variable, während der Kakaogenuss und die Tragehäufigkeit von Winterhandschuhen abhängige Variablen sind. Im Falle unserer Feedbackumfrage zur Konferenz hat schlechtes Wetter wahrscheinlich zur Unzufriedenheit mit dem Austragungsort der Konferenz geführt und so die Gesamtbewertung der Konferenz negativ beeinflusst. Wenn Sie die Beziehungen zwischen Variablen in Ihrer Umfrage genauer unter die Lupe nehmen wollen, müssen Sie möglicherweise eine Regressionsanalyse durchführen.

Zurück

Bei der Regressionsanalyse handelt es sich um eine fortschrittliche Methode der Analyse und Visualisierung von Daten, bei der Sie die Beziehung zwischen zwei oder mehr Variablen betrachten. Die Regressionsanalyse gibt es in zahlreichen Varianten, und für welche sich der Demoskop entscheidet, hängt von den konkret zu untersuchenden Variablen ab. Was alle Arten der Regressionsanalyse gemeinsam haben, ist die Betrachtung des Einflusses mindestens einer unabhängigen Variable auf eine abhängige Variable. Bei der Analyse unserer Umfragedaten möchten wir vielleicht gerne wissen, welche Faktoren die stärksten Auswirkungen auf die Zufriedenheit der Konferenzteilnehmer hatten. War es die Anzahl der Präsentationen? Oder der Keynote Speaker? Das Rahmenprogramm? Der Veranstaltungsort? Mit der Regressionsanalyse kann ein Umfrageforscher feststellen, ob und in welchem Ausmaß sich die Zufriedenheit mit diesen verschiedenen Attributen der Konferenz auf die Gesamtzufriedenheit ausgewirkt hat.

Und so erkennen Sie auch, welche Aspekte Sie bei der nächsten Ausgabe der Konferenz möglicherweise ändern sollten. Angenommen, Sie haben viel Geld ausgegeben, um für die Eröffnungsrede einen Keynote Speaker der Spitzenklasse zu gewinnen. Die Teilnehmer haben diesem Redner und der Konferenz insgesamt sehr gute Bewertungen gegeben. Nun ziehen Sie aus diesen beiden Tatsachen den Schluss, dass die Einladung eines hervorragenden (und entsprechend teuren) Keynote Speakers der Schlüssel zu einer erfolgreichen Konferenz ist. Mit einer Regressionsanalyse können Sie diese Feststellung untermauern – oder auch widerlegen. Vielleicht finden Sie heraus, dass es vor allem die Popularität des Redners war, die für ein hohes Maß an Zufriedenheit mit der Konferenz gesorgt hat. Trifft das zu, dann sollten Sie sich auch im nächsten Jahr um einen exzellenten Keynote Speaker bemühen. Die Regression könnte allerdings auch ergeben, dass die Teilnehmer von diesem Redner zwar recht angetan waren, aber seine Präsenz nicht allzu viel zu ihrer Zufriedenheit mit der Konferenz beigetragen hat. In diesem Fall ist das viele Geld, das Sie in diesem Jahr für die Keynote ausgegeben haben, künftig möglicherweise an anderer Stelle besser eingesetzt. Wenn Sie sich die Zeit nehmen, die Stichhaltigkeit Ihrer Umfragedaten genau unter die Lupe zu nehmen, dann befinden Sie sich auf einem guten Weg und werden auf Grundlage der Antworten wirklich fundierte Entscheidungen treffen können.