Pretest-Fragebogen: Was er kann und warum er wichtig ist

Auch wenn Online-Fragebögen schnell und einfach erstellt sind, sollte die Qualität nicht leiden. Ein Pretest hilft bei der Qualitätssicherung.

Ob für wissenschaftliche Studien oder Umfragen im Bereich Marktforschung: Je besser ein Fragebogen konzipiert ist, umso zuverlässiger und aussagekräftiger sind die Ergebnisse am Ende. Doch wie lässt sich herausfinden, ob der eigene Fragebogen den Anforderungen entspricht oder ob es Probleme bei der Beantwortung (und damit auch bei der Auswertung) geben könnte? Eine Möglichkeit, um Fragebögen zu verbessern, ist der Einsatz eines Pretest-Fragebogens.

Was ist ein Pretest-Fragebogen?

Beim Pretest-Fragebogen handelt es sich um den ersten Entwurf des späteren Fragebogens, der an eine gewisse Anzahl an Testpersonen verschickt wird. Es handelt sich dabei also nicht um die spätere Gruppe der Teilnehmer, sondern um eine andere Auswahl an Personen. Der Pretest kann dabei mit dem kompletten Fragebogen oder mit einzelnen Fragen durchgeführt werden. Eine Durchführung mit dem gesamten Fragebogen ist jedoch ratsam, um ein besseres Gesamtbild und damit das maximale Verbesserungspotenzial zu erhalten.

Beim Pretest-Fragebogen selbst haben die Testteilnehmer dann nicht nur die Möglichkeit, die vorbereiteten Fragen zu beantworten. Zusätzlich gibt es zu jeder Frage ein Feld für Anmerkungen, das für Verständnisprobleme oder andere Hinweise genutzt werden kann und sollte.

Vor dem Versenden des Pretest-Fragebogens können Sie bereits auf eigene Faust Ihre Umfrage überprüfen. Nutzen Sie dafür zum Beispiel diese Checkliste, die Ihnen hilft, die gröbsten Schnitzer im Vorhinein zu beseitigen.

Warum sollte ich einen Pretest-Fragebogen nutzen?

Selbst der auf den ersten Blick einfachste Fragebogen kann versteckte Hürden und Tücken beinhalten. Vor allem folgende Probleme tauchen häufig auf:

  1. Verständnisprobleme: Haben die Testteilnehmer Probleme, die Fragen überhaupt erst richtig zu verstehen? Liegt es an zu komplizierter (Fach-)Sprache oder sind die Fragen zu umständlich formuliert?
  2. Logikprobleme: Müssen die Befragten Fragen beantworten, die sie gar nicht beantworten können? Gibt es eine Verzweigungslogik innerhalb Ihres Fragebogens, die überarbeitet werden muss?
  3. Motivationsprobleme: Ist die Umfrage zu umfangreich, sodass die Teilnehmer keine Lust haben, sie komplett zu absolvieren? Sind die Antwortoptionen bei quantitativen Fragen nicht zufriedenstellend? Gibt es vielleicht sogar Suggestiv- oder Fangfragen, die den Spaß an der Beantwortung verderben?
  4. Technikprobleme: Wird Ihre Umfrage auf den Endgeräten nicht korrekt angezeigt? Sind die Ladezeiten zu lang?

Bleiben diese Probleme unentdeckt, weil der Fragebogen vor dem Launch nicht getestet wurde, ist die Umfrage im schlimmsten Fall die reinste Geld- und Zeitverschwendung mit Ergebnissen, die Ihnen nichts bringen.

Tipp: Bei der Auswahl der Testpersonen sollten Sie darauf achten, dass diese ungefähr die Merkmale der späteren Umfrageteilnehmer aufweisen. Ein Fragebogen für eine akademische Zielgruppe kann beispielsweise für ein weniger gebildetes Publikum zu kompliziert und unverständlich sein, für die tatsächlichen Teilnehmer aber genau richtig.

Was kann ich aus der Auswertung des Pretest-Fragebogens lernen?

Der Pretest-Fragebogen zeigt Ihnen ganz deutlich auf, wo Sie Ihre Umfrage verbessern müssen, um valide Ergebnisse zu erhalten und den Teilnehmern die Befragung so einfach wie möglich zu machen. Bei der Auswertung der Anmerkungen aus dem Pretest sollte daher kein falscher Stolz der Überarbeitung im Weg stehen. Im Gegenteil: Die Tatsache, dass Sie sich die Mühe eines Pretest-Fragebogens machen, zeugt von Ihrer Professionalität. Der zeitliche Aufwand und eventuelle Kosten für die Vorabprüfung der Umfrage rentieren sich durch die besseren Ergebnisse bei der tatsächlichen Durchführung. Nehmen Sie die Hinweise der Testpersonen also ernst und überprüfen Sie Ihren Fragebogen mit SurveyMonkey-Genie, einem in unserem Produkt integrierten automatisierten Pretest, auf Herz und Nieren.

Pretest des Fragebogens mit SurveyMonkey-Genie
  • Wie lassen sich Fragen einfacher formulieren? Können sie kürzer sein oder mit einfacherem Vokabular verfasst werden?
  • Ist es sinnvoll, Fragen wegzulassen oder einzelne Fragen aufzusplitten?
  • Wo kann eine qualitative Frage eine quantitative ersetzen und umgekehrt?
  • Sollte die Reihenfolge der Fragen geändert werden?
  • Wie lassen sich Antwortoptionen anders aufbauen?
  • Ist eine weitere oder engere Skalierung sinnvoll?
  • Sind Anweisungen und andere Rahmentexte nötig?
  • Brauchen Sie Unterstützung bei der Rechtschreib- und Grammatikprüfung und/oder bei der Beseitigung technischer Probleme?

Die Möglichkeiten, einen Fragebogen zu verbessern, sind in den meisten Fällen also vielfältig. Umso wichtiger ist es, die richtigen Hebel zu finden. Sonst stehen Sie am Ende vor einer verschlimmbesserten Version Ihrer Umfrage. Daher ist es auch sinnvoll, nach der Überarbeitung einen weiteren Pretest durchzuführen. Dafür brauchen Sie natürlich eine neue Testgruppe, da die erste Gruppe voreingenommen ist. Wer das Pretesting sehr ernst nimmt, kann also durchaus mehrere Runden durchführen und Wochen damit verbringen. Gerade bei großen wissenschaftlichen Studien oder hochbudgetierten Marktforschungskampagnen lohnt sich diese Investition jedoch enorm.

Andererseits gilt: Sie werden nie alle Befragten zu 100 Prozent abholen können, kleinere Missverständnisse wird es immer geben. Daran soll Ihre Forschung aber nicht scheitern. Sobald der Fragebogen zu Ihrer Zufriedenheit funktioniert und die Validität der Ergebnisse garantiert ist, sollten Sie den Schritt wagen und die Umfrage an Ihre Zielgruppe versenden.

Starke Tools für Neugierige – SurveyMonkey