Der ultimative Leitfaden für Konzepttests

Welches Produktkonzept ist das beste?

Scrolling
eric-headshot-v3

Eric Van Susteren
Content Strategist

Sie erfahren alles Nötige, um Ihr eigenes Konzepttestprogramm auf die Beine zu stellen und dabei Methoden zu nutzen, die von Anzeigentests und Logotests bis zum Produkt- und Verpackungstest alles abdecken.

Inhalt
────

mp-conceptultiguide-TOC_section1_DE

mp-conceptultiguide-TOC_section2_DE

mp-conceptultiguide-TOC_section3_DE

mp-conceptultiguide-TOC_section4_DE

mp-conceptultiguide-TOC_section5_DE

mp-conceptultiguide-TOC_section6_DE

01 Übersicht

Alles, was Sie für den Einstieg brauchen

Übersicht


95 % der neu eingeführten Produkte schaffen niemals den Durchbruch.

Quelle: Harvard Business Review
(Nobel, Carmen, Clay Christensen’s Milkshake Marketing)

Lassen Sie diesen Wert kurz auf sich wirken. Denken Sie an all das Geld, das für Forschung, Entwicklung, Marketing, Verkauf, Werbeveranstaltungen und alles andere ausgegeben wurde, was Sie sich für ein Produkt vorstellen können, das die Verbraucher aber eigentlich nicht brauchten oder kaufen wollten. Sie haben all die Zeit und das Geld verschwendet, anstatt es in etwas zu investieren, das eine viel bessere Kapitalrendite erzielen würde.

Das ist ein beängstigender Gedanke, aber betrachten Sie ihn aus einer anderen Perspektive.

Denken Sie an all die Ideen, die Sie hatten und die nie umgesetzt wurden. Vielleicht hatten Sie nicht genug Vertrauen in sie, vielleicht mochte Ihr Chef sie nicht, oder vielleicht hatten Sie einfach nicht genug Belege für ihren Erfolg.

Hier kommt noch ein vielleicht unterhaltsamerer Datenpunkt, der meist Wayne Gretzky zugeschrieben wird, zum Teil aber auch Michael Jordan und in wenigen Fällen Michael Scott.

Die Schüsse, die du nicht machst, vergibst du zu 100 %.

Doch Waynes Schüsse waren keineswegs beliebig. Sobald der Puck geschossen war, wusste er schon ziemlich genau, ob er punkten würde oder nicht. Seine Schüsse waren nämlich präzise kalkuliert, genau abgestimmt und getestet.

In der Wirtschaft hat man unter Umständen nicht die Möglichkeiten (oder das Geld) für genügend Schüsse aufs Tor, um einen 6. Sinn wie dieser Eishockeyspieler zu entwickeln. Doch genau dafür sind Konzepttests da.

Was sind Konzepttests?

Durch Konzepttests wird ein Konzept (beispielsweise ein Produkt oder eine Werbekampagne) bewertet. Es wird analysiert, wie ein Produkt bei den Verbrauchern ankommt, bevor es auf den Markt gebracht wird. Es gibt zwar verschiedene Verfahren für Konzepttests, doch wir werden uns mit der gängigsten Methode befassen: dem Einsatz von Umfragen.

Warum sind Konzepttests wichtig?

Durch Konzepttests lassen sich beide oben dargelegten Probleme auf elegante Weise lösen. Sie erfüllen folgende Funktionen:

  • Sie vermeiden Investitionen in Ideen, die keinen Erfolg versprechen.
  • Sie erhalten Daten, die belegen, dass Ihre gute Idee sogar hervorragend ist.

Fazit ist, dass Sie mit einem professionellen, gut ausgearbeiteten System für Konzepttests Geld sparen werden.

Inhalt dieses Leitfadens

Wir erläutern Ihnen von A bis Z, wie Sie Ihr eigenes Konzepttestprogramm entwickeln und einsetzen. Außerdem stellen wir Ihnen Beispiele vor, an denen Sie sich orientieren können.

In diesem Leitfaden werden wir immer wieder Beispiele für Konzepttests zeigen, die wir für einen fiktionalen Tierfutterhersteller zur Auswahl eines Namens, eines Logos und von Anzeigen erstellt haben. Die Ergebnisse, die Sie sehen, sind hingegen echtes Feedback von einem globalen Panel von Umfrageteilnehmern auf SurveyMonkey Audience, unserer stets verfügbaren Lösung für die Marktforschung.

Die Methoden, die wir in diesem Leitfaden nutzen, können auf unzählige andere Anwendungsfälle übertragen werden, z. B. Produktentwicklung, Verpackungstests und Messaging. Doch in diesem Artikel geht es in erster Linie um drei zentrale Anwendungsfälle: Namenstests, Logotests und Anzeigentests.

Während Sie sich in diesem Leitfaden über die Vor- und Nachteile von Konzepttests informieren, können Sie die von uns erstellten Umfragen als Beispiele für die Durchführung Ihrer eigenen Umfragen verwenden. Doch zunächst ist noch zu erwähnen, dass SurveyMonkey über eine Reihe von Expertenlösungen verfügt, die den Prozess der Erstellung und Analyse einer Konzepttestumfrage erheblich erleichtern und Ihnen schnelle, zuverlässige Ergebnisse von Ihrer Zielgruppe liefern können, ohne dass Sie sich viel Arbeit machen müssen.

Namenstests

Es ist schwierig, einen Namen zu finden, der eingängig und relevant zugleich ist. Sorgen Sie dafür, dass er bei den Kunden so ankommt.

Lösung anzeigen

Logotests

Wählen Sie ein Logo, das Ihr Produkt aus der Masse hervorstechen lässt.

Lösung anzeigen

Anzeigentests

Sorgen Sie vor dem Start für eine optimale Zielgerichtetheit von Werbekampagnen.

Lösung anzeigen

02 Projektplanung

So legen Sie den Projektrahmen fest

Legen Sie ein Ziel fest, dann kommt der Rest von ganz allein

Das Besondere an den Konzepttest-Grundsätzen in diesem Leitfaden ist, dass Sie sie an praktisch jedem Punkt im Verlauf Ihres Projekts für zahlreiche Zwecke einsetzen können. Sie brauchen lediglich einen gewissen Fokus.

Bevor Sie überhaupt anfangen, über einen Umfrageentwurf nachzudenken, sollte Ihr erster Schritt immer darin bestehen, ein Ziel zu definieren. Dabei müssen Sie konkret werden. Ihr Ziel kann praktisch jeden Aspekt Ihres Tests verändern. Ein gutes Umfrageziel beantwortet drei wesentliche Fragen:

  1. Welche Art von Antworten wünsche ich mir?
  2. Welche Art von Daten erhoffe ich mir?
  3. Wie werde ich die gewonnenen Daten nutzen?

Werfen Sie einen Blick auf die nachstehenden Verpackungsdesigns für Tierfutter. Mit einem Konzepttest für diese Entwürfe wollen Sie nicht nur herausfinden, ob sie brauchbar sind. Sie brauchen handfeste Angaben, die die drei obigen Fragen beantworten.

zwei verschiedene Verpackungsdesigns für Hundefutter

Vage formuliertes Ziel

Ich möchte Feedback zu meinem Verpackungsdesign für das Hundefutter erhalten.

Konkret formuliertes Ziel

Ich möchte von Tierbesitzern wissen, ob meine Verpackungsdesigns sie zum Kauf meiner Tierfutterprodukte bewegen würden. Außerdem möchte ich wissen, ob die Entwürfe darauf hindeuten, dass mein Produkt von hoher Qualität ist. Mit den Ergebnissen kann ich entscheiden, ob der Entwurf brauchbar ist oder ich mir etwas Neues überlegen muss.

Viele Menschen haben eine grundlegende Vorstellung von dem, was sie testen möchten, aber sie leisten nicht die geistige Arbeit, um aus dieser Idee ein konkretes Ziel abzuleiten. Wenn Sie diesen zusätzlichen Schritt vollziehen, können Sie Ihren Test fokussieren, ihn viel leichter aufbauen und letztlich die Qualität Ihrer Ergebnisse verbessern.

Das haben wir mithilfe eines konkreten Ziels erfahren

Zielgruppe: Hundebesitzer

Wir haben diese Personengruppe ins Visier genommen, weil sie potenzielle Konsumenten unseres Produkts sein werden.

Anzahl der erforderlichen Beantwortungen: Mittelmäßig viele

Wir testen nur eine Verpackung, wünschen uns aber ein hohes Maß an Gewissheit, weil wir anhand dieser Daten entscheiden, ob der Entwurf überhaupt verwendet wird.

Zeit-/Arbeitsaufwand: Gering

Wir haben ein Konzept mit einem eng gesteckten Ziel, sodass die Umfrage relativ schnell und einfach erstellt und verbreitet werden kann.

Art des Feedbacks: Konkret

Wir wissen bereits, was wir fragen wollen: Fragen über die Kaufabsicht, die Qualität, die Attraktivität und den Wert des Produkts. Wenn wir die Zeit in das Formulieren eines Ziels investieren, sind unsere Fragen praktisch schon geschrieben!

Das Erarbeiten des genauen Zwecks für unseren Test hatte einen erstaunlichen Effekt: Der Arbeitsaufwand für die Planung und den grundlegenden Entwurf ist zum größten Teil bereits erledigt. Aus diesem Grund ist es so wichtig, zur Planung Ihres Konzepttests ein Ziel auszuarbeiten.

Der richtige Test zum richtigen Zeitpunkt

Nachdem Sie Ihr Ziel definiert haben, sollten Sie darüber nachdenken, wie Ihr Konzepttest aussehen sollte und wann Sie ihn durchführen möchten. Das Timing Ihres Tests hängt stark davon ab, was Sie testen und in welcher Phase des Produktlebenszyklus Sie sich befinden.

Wann ist ein Konzepttest sinnvoll?

Produktlebenszyklus

Die obige Grafik kann eine gute Orientierungshilfe sein, wenn Sie die Durchführung eines Tests in Erwägung ziehen. Das Tolle am Konzepttest ist jedoch, dass er flexibel ist.

Wenn Sie zu Beginn des Prozesses prüfen, ob Ihr Konzept auf dem richtigen Weg ist, kann Ihre Umfrage allgemeines, richtungsweisendes Feedback liefern. Alternativ können Sie ganz konkretes Feedback dazu nutzen, kleinere Änderungen an einem Konzept vorzunehmen, das schon fast fertig ist, wie z. B. das Vergleichen und Anpassen der Farben, Schriftarten, Designs einer Anzeige oder eines Logos. Wenn Sie ein Konzept, ein Logo oder eine Anzeige haben, sollten Sie im Idealfall mehrere Alternativen testen.

Viele Konzepttests fallen jedoch in den entscheidenden Bereich dazwischen, und Sie möchten wissen, ob ein Konzept durchführbar ist, oder entscheiden, welches Konzept das beste ist.

Jede dieser Testarten erfüllt bestimmte Funktionen, erfordert einen bestimmten Aufwand und eignet sich am besten für bestimmte Phasen des Projektverlaufs.

Werfen Sie einen Blick auf die Grafik unten. Sie sehen, dass Art und Zeitpunkt für die Durchführung eines Konzepttests eine enorme Wirkung auf den zeitlichen Verlauf Ihres Projekts haben können. Mit diesem Thema befassen wir uns später noch ausführlicher. Doch es ist sinnvoll, diese Grafik als Referenz zu verwenden, damit Sie auf jeden Fall genügend Zeit haben, um Ihr Projekt abzuschließen.

Zeitlicher Verlauf eines Projekts

03 Gestaltung der Umfrage

Einfache Schritte für die Gestaltung einer Konzepttestumfrage

Einrichten Ihrer Stimuli

Im Kern geht es bei einem Konzepttest um seine Stimuli. Doch was verstehen wir unter Stimuli? Das ist eigentlich nur ein hübscher Ausdruck aus der Marktforschung für die einzelnen Konzepte, Anzeigen, Namen oder Verpackungen, die Sie testen möchten. Wenn Sie Konzept A mit Konzept B vergleichen, sind beide Stimuli. Stimuli lassen sich gut in drei Kategorien einteilen:

  1. Text (Namen, Botschaften, Werbetexte usw.)
  2. Grafiken/GIFs (Logos, Anzeigen, Verpackung usw.)
  3. Video (Werbung im Internet, Fernsehen oder in sozialen Medien usw.)

Es ist wichtig, Ihre Stimuli immer klar und einheitlich zu präsentieren, und zwar nicht nur, weil es dann professioneller aussieht. Sie sollten unbedingt alle Vorsichtsmaßnahmen ergreifen, um eine Voreingenommenheit Ihrer Befragten zu vermeiden.

Hier finden Sie einige Tipps (und Beispiele), um jedes Stimuli-Format so zu präsentieren, wie die Profis es tun.

Text

Unsere Umfrage zu Namen von Tierfutterherstellern ist ein gutes Beispiel dafür, wie man Text-Stimuli in einer Umfrage präsentiert. Warum ist dies ein gutes Beispiel?

  1. Es gibt eine Vorschau, die den Befragten kurz den Kontext des Tests zeigt, einschließlich des Logos, das mit dem Text verwendet wird, und ihnen sagt, was sie von der Umfrage erwarten können.
  2. Es ist ganz klar, welchen Text wir genau testen. Er ist fettgedruckt, in einer größeren Schriftart, getrennt vom Rest des Fragentextes.
  3. Jede zugehörige Frage verweist erneut auf die Stimuli in der Frage selbst. Dies erinnert die Befragten daran, worum es geht, kann Ihnen aber auch später bei der Analyse der Umfrage helfen. Wenn Sie die gleichen Fragen für verschiedene Stimuli verwenden, lässt sich unter Umständen schwer unterscheiden, was sich worauf bezieht, es sei denn, Sie nehmen den Namen in die Frage auf.

Welche Aussage beschreibt am besten, wie Sie den Namen „GoodBoy“ insgesamt bewerten?

Diagramm mit den Umfrageergebnissen von SurveyMonkey

Im Beispiel oben ist klar, dass es um „GoodBoy“ geht. Ohne die Angabe „GoodBoy“ in der Frage wüssten wir nicht, auf welchen Namen sich die Frage bezieht.

Bilder

Sehen Sie sich unsere Umfrage für Anzeigentests für Tierfutter oder die Umfrage Logotests als Beispiel an.

  1. Klare, hochauflösende Grafiken sind immer am besten, insbesondere bei Grafiken, die Text enthalten.
  2. Überprüfen Sie stets, wie die Grafiken in Ihrer Umfrage auf mobilen Geräten dargestellt werden. Ein sehr textlastiges Anzeigen- oder Webseitendesign wirkt möglicherweise nicht so, wie Sie es gerne hätten. Sie sollten daher unbedingt eine Vorschau auf einem Mobilgerät sehen, bevor Sie es versenden.

Wichtig: In diesen Beispielen haben wir die Stimulus-Grafik oben auf der Umfrageseite eingebettet und dafür gesorgt, dass jede Frage darauf verweist. Wenn Sie unter Verwendung von SurveyMonkey diese Methode verwenden, sollten Sie die Funktion Eine Frage nach der anderen deaktivieren. Dann können die Befragten wesentlich leichter zwischen der Grafik und der jeweils zu beantwortenden Frage hin- und herwechseln.

Video

Im Gegensatz zu den anderen Stimulusarten müssen Sie einen Ort zum Hosten Ihres Videos finden, bevor Sie es in Ihre Umfrage einfügen. Glücklicherweise ist das Hosten von Videos auf Sites wie YouTube ganz einfach.

Falls Ihr Video noch nicht veröffentlicht wurde oder Sie sich Gedanken über den Datenschutz machen, sind unter Umständen Video-Hosting-Sites wie Vimeo aufgrund der umfassenderen Datenschutzoptionen besser für Sie geeignet.

Achtung: Überprüfen Sie jetzt, ob Ihr Projektplan und Ihre Stimuli übereinstimmen.

Die ganze Planungsarbeit soll nicht umsonst gewesen sein! Sobald Sie davon überzeugt sind, dass Sie die Stimuli haben, die Sie testen wollen, sollten Sie sich noch einmal den Plan ansehen, den Sie für sich selbst ausgearbeitet haben. Entsprechen die Stimuli, die Sie testen, tatsächlich Ihren Zielen?

Wird es ein fairer Test sein? Wenn Sie eine fertig gestaltete Anzeige mit einer Anzeige vergleichen, die noch nicht ausgereift ist, liegt auf der Hand, welche besser abschneiden wird.

Fragen für Konzepttests formulieren

Auswahl der richtigen Merkmale

Stimuli können die Grundbausteine eines Konzepttests sein. Doch die Fragen, die Sie zu den Stimuli stellen, sind nicht weniger wichtig. Beim Konzepttest werden die Fragen, die Sie stellen, von den Bewertungsmerkmalen bestimmt, also den Kriterien, nach denen die Befragten Ihre Stimuli beurteilen werden.

Wenn Sie den ersten Abschnitt gelesen haben, wissen Sie bereits, wie wichtig die Festlegung eines Ziels für die Planungsphase Ihres Konzepttests ist. Das zahlt sich an dieser Stelle aus. Die Merkmale für Ihren Konzepttest hängen ganz von Ihrem Ziel ab.

Wenn Sie ein klar definiertes Ziel haben, wird dieser Abschnitt einfach sein. Ist dies nicht der Fall, wird es eine Herausforderung sein. Sehen Sie sich Ihr Ziel noch einmal an, und vergleichen Sie es mit dieser Tabelle:

Tabelle der Merkmale

Welche dieser Merkmale entsprechen Ihrem Projektziel am ehesten? Notieren Sie sie. Es ist völlig in Ordnung, wenn es viele sind.

Wenn Ihr Ziel lautet, die Wirksamkeit von zwei Anzeigenkonzepten zu vergleichen, könnten Kaufabsicht, Relevanz, Unverwechselbarkeit und Stimmung sinnvolle Merkmale sein.

Möchten Sie hingegen wissen, ob Ihr Logo sich von der Masse abhebt, sollten Sie sich nach Sichtbarkeit, Ästhetik, Auffindbarkeit und Unverwechselbarkeit erkundigen.

Zu diesem Zeitpunkt kann es hilfreich sein, sich vorzustellen, dass Sie die Endergebnisse Ihren Chefs präsentieren möchten. Welche Nachweise würden sie davon überzeugen, dass das vorgestellte Konzept der besten und am intensivsten getesteten Version entspricht?

Aus Merkmalen Fragen ableiten

Wir haben bereits erläutert, wie wichtig es ist, jeden einzelnen Stimulus in der Umfrage einheitlich und fair darzustellen. Das gilt auch für Ihre Fragen!

Wir empfehlen Ihnen, zur Bewertung von Stimuli Fragen nach der Likert-Skala mit fünf Antwortoptionen zu verwenden. Dies erleichtert Ihnen die Arbeit, insbesondere dann, wenn Sie noch keine Erfahrungen mit Konzepttests gemacht haben. Fragen nach der Likert-Skala sind geschlossene Fragen mit einer Reihe von Antwortoptionen, die von einem Extrem zum anderen reichen, beispielsweise von „Stimme völlig zu“ bis „Stimme überhaupt nicht zu“.

Was sind die Vorteile der Likert-Skala? Sie ist einfach zu analysieren, bietet einheitliche Antworten, ist für die Befragten einfach und intuitiv.

Vor allem steckt hinter den Antwortoptionen der Likert-Skala ein und dieselbe Logik. Daher lässt sich mühelos ein Merkmal einsetzen, um dann eine wirkungsvolle Frage für den Konzepttest zu erhalten. Angenommen, Sie möchten das Merkmal „Unverwechselbarkeit“ testen.

Setzen Sie es einfach in eine solche Vorlage für Fragen nach der Likert-Skala ein:

Wie _____ ist der Stimulus?

A. Extrem _____
B. Sehr _____
C. Einigermaßen _____
D. Weniger _____
E. Überhaupt nicht _____

Das Ergebnis ist eine Frage mit entsprechenden Antworten:

Wie unverwechselbar ist das Logo?

A. Extrem unverwechselbar
B. Sehr unverwechselbar
C. Einigermaßen unverwechselbar
D. Eher nicht unverwechselbar
E. Überhaupt nicht unverwechselbar

Mit dieser Methode können Sie aus Ihren gewünschten Merkmalen im Handumdrehen sinnvolle Fragen für den Konzepttest formulieren. Wenn Sie es sich noch einfacher machen möchten, dann nutzen Sie die Fragen aus der Fragendatenbank von SurveyMonkey, die nahezu alle Merkmale aus dem Diagramm oben abdecken.

Expertentipp: Wenn Sie über ein Umfragepanel wie SurveyMonkey Audience für Umfragebeantwortungen bezahlen, ist es in der Regel sinnvoll, Fragen mit einer erzwungenen oder obligatorischen Antwort zu nutzen. Auf diese Weise werden garantiert all Ihre Fragen beantwortet.

Erstellung Ihrer Umfrage für den Konzepttest

Sie haben Ihr Ziel definiert, Ihre Stimuli sind genau richtig, und Sie haben anhand Ihrer Merkmale sinnvolle Fragen formuliert. Jetzt können Sie mit dem eigentlichen Aufbau Ihrer Umfrage für den Konzepttest beginnen! Die gute Nachricht ist, dass bereits alle Teile vorhanden sind. Jetzt müssen Sie sie nur noch zu einem stimmigen Umfragedesign zusammenfügen.

Der allgemeine Aufbau der Umfrage, den wir Ihnen empfehlen, sieht folgendermaßen aus. Die verschiedenen Arten von Fragen und wie diese eingesetzt werden, wird im weiteren Verlauf näher erläutert.

Empfohlener Aufbau der Umfrage

Wie üblich ist es etwas komplizierter, als lediglich Ihre Stimuli und Fragen in diese Gliederung einzusetzen. Der Aufbau Ihrer Umfrage wird durch zwei wesentliche Faktoren beeinflusst: die Anzahl der Stimuli, die Sie testen, und ob Sie einen sequenziellen oder monadischen Umfrageaufbau verwenden. Sehen wir uns diese Aspekte genauer an.

Sequenzielle und monadische Umfragegestaltung im Vergleich

Die sequenzielle und monadische Umfragegestaltung sind die beiden Hauptmethoden, um Ihre Stimuli der Zielgruppe zu präsentieren. Jede Option hat ihre eigenen Vor- und Nachteile, aber beide spielen bei Umfragen für Konzepttests eine entscheidende Rolle. In dieser einfachen Grafik werden die beiden Umfragearten erläutert:

Diagramm zum monadischen und sequenziellen Umfrageaufbau

Wir haben einen Blog-Artikel dazu verfasst, wann welcher Typus der Umfragegestaltung anzuwenden ist. Das sind die wichtigsten Punkte:

Beim monadischen Umfrageaufbau unterteilen Sie Ihre Zielgruppe und präsentieren jeder Untergruppe einen anderen Stimulus. Da sie alle aus demselben Pool von Befragten stammen, können ihre Antworten problemlos miteinander verglichen werden, um den wichtigsten Stimulus aus der Gruppe auszuwählen.

Beim sequenziellen Umfrageaufbau (manchmal auch sequenziell monadisches Umfragedesign genannt) wählen Sie eine Zielgruppe aus und präsentieren ihr mehrere oder all Ihre Stimuli. Da diese Stimuli in einer zufälligen Reihenfolge erscheinen, können die Antworten gut miteinander verglichen werden, um auch hier den wichtigsten Stimulus zu bestimmen. Im Folgenden werden die Vor- und Nachteile der beiden Methoden kurz erläutert.

Monadischer Aufbau

Vorteile:

  • Geringere Gefahr, dass die Befragten das Interesse verlieren (insbesondere bei komplexen Stimuli wie Videos, textlastigen Anzeigen oder Stimuli, die sich stark ähneln)
  • Hohe Datenqualität
  • Keine Verzerrung durch die Reihenfolge, was die statistische Relevanz erhöht
  • Pro Umfrage können mehr Merkmale getestet werden

Nachteile:

  • Erfordert eine höhere Stichprobengröße und ist daher teurer
  • Ist unter Umständen nur eingeschränkt durchführbar
  • Verbreitungsdauer ist in der Regel länger

Sequenzieller Aufbau

Vorteile:

  • Erfordert weniger Stichproben und ist daher kostengünstiger
  • Durchführbarkeit
  • Verbreitungsdauer ist in der Regel kürzer

Nachteile:

  • Bei längeren Umfragen verlieren die Befragten leichter das Interesse und die Datenqualität ist geringer
  • Verzerrung durch die Reihenfolge kann die Validität der Ergebnisse beeinträchtigen (dem kann durch Randomisierung der Stimuli entgegengewirkt werden)

Viele der Faktoren, die beeinflussen, wie Sie Ihre Umfrage gestalten, werden später behandelt. Vorerst sollten Sie lediglich die Unterschiede der beiden Verfahren kennen.

Länge der Umfrage: Sie beginnt mit den Stimuli

Ob beim sequenziellen oder monadischen Aufbau – die Anzahl der Fragen sollte 30 niemals überschreiten. Andernfalls ist die Belastung für Ihre Befragten zu groß, und es besteht die Gefahr, dass sie die Umfrage abbrechen und Ihren Daten somit schaden.

Diese Zahl scheint recht hoch angesetzt zu sein. Doch wenn Sie mehrere Stimuli präsentieren möchten, zu jedem mehrere Fragen und dazu noch Screening- und demografische Fragen stellen möchten, dann kommen 30 Fragen schneller als gedacht zusammen.

Die folgende Faustregel hat sich als sinnvoll erwiesen:

Die Anzahl der Stimuli, die Sie testen möchten, multipliziert mit der Anzahl der jeweiligen Fragen zum Merkmal sollte einen Wert unter 25 ergeben. So ist gewährleistet, dass in Ihrer Umfrage genügend Platz für die anderen Arten von Fragen ist.

Stimuli-Diagramm

Wenn Ihre Umfrage keine 30 Fragen umfasst, ist das völlig in Ordnung!

Eine fokussierte Umfrage mit zehn bis zwanzig Fragen kann besser sein als ein langer Fragebogen mit nahezu 30 Fragen.

Experimentelles Design: Bewährte Verfahren für die Erstellung einer Umfrage für Konzepttests

Der monadische und sequenzielle Umfrageaufbau kann zwar die Länge der Umfrage verändern. Doch die grundlegende Gestaltung der Umfrage, die wir zu Beginn dieses Abschnitts vorgestellt haben, ändert sich nicht wesentlich. Nachfolgend werden die einzelnen Abschnitte und die darin enthaltenen Arten von Fragen erläutert.

Einleitung

Es ist sinnvoll, den Befragten mitzuteilen, warum sie befragt werden und worum es in der Umfrage geht, bevor sie etwas beantworten. Dies ist außerdem eine gute Gelegenheit, um zusätzliche Instruktionen oder rechtliche Hinweise zu geben. Sie können beispielsweise folgende Einleitung verwenden:

Wir würden gerne wissen, was Sie von den drei Anzeigenkonzepten für unser Tierfutterunternehmen halten. Es gibt keine richtigen oder falschen Antworten. Alle Antworten sind vertraulich.

Tipps

Sinnvoll

Klären Sie die Befragten darüber auf, dass ihnen mehrere Stimuli präsentiert werden (sofern Sie einen sequenziellen Aufbau verwenden). Dies ist eine gute Methode, um Verzerrungen vorzubeugen und zu verhindern, dass die Befragten das Interesse verlieren.

Ihre Einleitung sollte kurz und knapp sein. Längere Einleitungen können abschreckend wirken.

Nicht sinnvoll

Beschreiben Sie nicht zu ausführlich, wie lang die Umfrage dauert. Wenn Sie glauben, die Befragten vorwarnen zu müssen, ist die Umfrage unter Umständen zu lang.

Screeningfragen

Die meisten Panel-Lösungen wie SurveyMonkey Audience haben Targeting-Parameter für eine Zielgruppe, die potenzielle Verbraucher für Ihr Konzept widerspiegelt. Wenn Sie jedoch eine allgemeinere Zielgruppe befragen oder eine Ebene tiefer gehen möchten, als es Ihre Targeting-Parameter zulassen, können Sie Screeningfragen verwenden.

Screeningfragen können Sie am Anfang der Umfrage stellen, um Befragte auszuschließen, die Ihren Zielgruppen-Kriterien nicht entsprechen.

Vielleicht befragen Sie eine Stichprobe von Haustierbesitzern, aber eigentlich sind Sie an Haustierbesitzern interessiert, die Tierfutter online gekauft haben. In dem Fall könnte eine Screeningfrage sinnvoll sein, um die Tierbesitzer herauszufiltern, die noch nie Tierfutter online gekauft haben.

Tipps

Sinnvoll

Überlegen Sie sich genau, wie wichtig es für Sie ist, die demografische Zielgruppe mithilfe von Screeningfragen stärker einzugrenzen. Schließlich könnte es dadurch schwieriger werden, genügend Befragte für Ihre Umfrage zu finden oder den Zeitplan Ihres Projekts einzuhalten.

Nicht sinnvoll

Sie sollten keine zu spezifischen Screeningfragen stellen. Es ist zum Beispiel wesentlich schwieriger, Befragte zu finden, die in der letzten Woche Tierfutter gekauft haben, als Befragte, die im letzten Jahr Tierfutter gekauft haben.

Kategoriefragen

Kategoriefragen erscheinen in der Regel direkt nach den Screeningfragen und sollen Ihnen mehr Informationen über die Befragten liefern, ohne sie auszuschließen. Hier ist ein Beispiel dafür, wie Screeningfragen und Kategoriefragen zusammenwirken können.

Screeningfrage: Wie oft kaufen Sie Tierfutter online ein?
Kategoriefragen: Auf welcher der folgenden Websites kaufen Sie Tierfutter ein? Welche Marke von Tierfutter kaufen Sie?

Tipps

Sinnvoll

Fügen Sie Kategoriefragen am Anfang Ihrer Umfrage hinzu. Sie können die Befragten „vorbereiten“, indem Sie sie zum Nachdenken über das Thema anregen, bevor die Stimuli präsentiert werden.

Kategoriefragen sollten sich ausschließlich mit dem Thema befassen. Fragen, die nichts mit dem Zweck der Umfrage zu tun haben, gehören in den Bereich der demografischen Fragen am Ende der Umfrage.

Nicht sinnvoll

Achten Sie darauf, nicht zu viele Kategoriefragen zu stellen. Sie können von dem Teil der Umfrage ablenken, der Ihnen am wichtigsten ist: dem Feedback zu den Stimuli.

Fragen zu Stimuli und Merkmalen

Wir sind bereits in früheren Abschnitten darauf eingegangen, aber dies ist das eigentliche Kernstück Ihrer Umfrage. Hier erhalten Sie alle wichtigen Daten, um zu erfahren, wie Ihr Konzept ankommt. Es kann auch der längste Abschnitt Ihrer Umfrage sein, je nachdem, welches Umfrageschema Sie verwenden.

Tipps

Sinnvoll

Platzieren Sie jeden Stimulus auf einer eigenen Seite, und randomisieren Sie die Seitenreihenfolge. Dies ist das beste und gebräuchlichste Umfragedesign für Konzepttests. Es wirkt dem seriellen Positionseffekt entgegen, also der Tendenz der Befragten, den zuerst präsentierten Stimulus günstiger zu bewerten.

Stellen Sie aus Gründen der Einheitlichkeit auf jeder Seite Fragen zu den gleichen Merkmalen in der gleichen Reihenfolge. Auf diese Weise können die Befragten intuitiver antworten, und Sie erhalten konsistente Daten.

Nicht sinnvoll

Sie sollten die Reihenfolge der Antwortoptionen in der Likert-Skala auf keinen Fall randomisieren. Es ist am besten, wenn Sie eine Reihenfolge für die Antwortoptionen festlegen, also von positiv zu negativ oder umgekehrt, und im Lauf der Umfrage dabei bleiben.

Letzte Frage mit erzwungener Antwort

Manchmal haben Gelegenheitskäufer von Tierfutter vielleicht keine starke Meinung darüber, welches Logo Sie letztendlich verwenden werden. Das kommt vor. Mit einer letzten Frage, für die eine Antwort ausgewählt werden muss, können Sie sich für solche Situationen wappnen.

*13. Sie haben nun all unsere Logoentwürfe gesehen. Bitte wählen Sie Ihren Favoriten aus!

Optionen für Logoentwürfe

Nur für den Fall, dass es keinen statistisch signifikanten Unterschied in der Reaktion der Befragten auf Ihre Stimuli gibt, ist es normalerweise sinnvoll, die Befragten zu zwingen, ihren Favoriten zu wählen. Das kann auch den Ausschlag geben, wenn die Befragten zwei verschiedene Merkmale gleich bewertet haben und Sie nicht entscheiden können, welches wichtiger ist. Angenommen, die Befragten halten Konzept A für sehr glaubwürdig. Konzept B ist aber ebenso glaubwürdig. Wenn die Befragten sich für einen Favoriten entscheiden müssen, haben Sie dieses Problem elegant gelöst.

Tipps

Sinnvoll

Überlegen Sie, anstatt Wörter Bilder als Antwortoptionen anzubieten (wie im Beispiel zu sehen). Ihre Befragten können dann wesentlich leichter und intuitiver ihren Favoriten wählen.

Nicht sinnvoll

Vermeiden Sie Ranking-Fragen, bei denen die Befragten Antwortoptionen nach Präferenz ordnen sollen. Sie strapazieren die Aufmerksamkeit der Befragten und sind auf Mobilgeräten umständlich zu beantworten.

Demografische Fragen

Ähnlich wie mit Kategoriefragen erhalten Sie durch demografische Fragen detailliertere Profilinformationen als mit Ihrem Umfragepanel. Demografische Fragen müssen sich nicht auf das Thema Ihrer Umfrage beziehen und kommen normalerweise am Ende. Sie sind äußerst nützliche Werkzeuge zum Filtern Ihrer Daten.

Möchten Sie wissen, ob Frauen im Ruhestand eher dazu neigen, Ihr Tierfutter zu kaufen? Erkundigen Sie sich mit einer demografischen Fragen nach ihrem beruflichen Status, und filtern Sie nach Frage und Antwort, um zu sehen, wie Frauen im Ruhestand antworten.

Tipps

Sinnvoll

Vergewissern Sie sich, dass Ihre demografischen Fragen die richtigen Antwortoptionen für Ihren Forschungsbedarf haben. Wenn Sie die Antworten nach Millenials und Babyboomern aufschlüsseln möchten, müssen die Antwortoptionen die richtigen Altersgruppen abdecken.

Verwenden Sie die demografischen Fragen in der Fragendatenbank von SurveyMonkey. Sie wurden von Umfrageexperten formuliert und decken einen Großteil der gängigsten Bereiche für demografische Fragen ab.

Nicht sinnvoll

Sie müssen sich bei den demografischen Fragen kein Bein ausreißen. In den meisten Umfragepanels wie SurveyMonkey Audience sind einige dieser Profilfragen bereits enthalten.

Ein paar Anregungen gefällig?

Unsere Umfrageexperten haben die folgenden Umfragevorlagen speziell für die häufigsten Anwendungsfälle von Konzepttests entworfen. Verwenden Sie sie als Anregung oder als Grundlage für die Erstellung Ihrer eigenen Umfrage für Konzepttests!

Namenstests

Es ist schwierig, einen Namen zu finden, der eingängig und relevant zugleich ist. Sorgen Sie dafür, dass er bei den Kunden so ankommt.

Vorlage in Vorschau anzeigen

Logotests

Wählen Sie ein Logo, das Ihr Produkt aus der Masse hervorstechen lässt.

Vorlage in Vorschau anzeigen

Anzeigentests

Sorgen Sie vor dem Start für eine optimale Zielgerichtetheit von Werbekampagnen.

Vorlage in Vorschau anzeigen

Produkttests

Erfahren Sie, wie künftige Kunden Produktideen beurteilen, bevor sie auf den Markt kommen.

Vorlage in Vorschau anzeigen

Verpackungstests

Ermitteln Sie, wie Verbraucher auf Ihr Verpackungsdesign reagieren, um sicherzustellen, dass es sich von Konkurrenzprodukten abhebt.

Vorlage in Vorschau anzeigen

Botschaft

Sorgen Sie dafür, dass Ihre Werbetexte und Claims Ihr Produkt erklären und Kunden vom Kauf überzeugen.

Vorlage in Vorschau anzeigen

04 Verbreitung

Wann, wie und an wen soll Ihre Umfrage versendet werden

Die richtige Zielgruppe

An wen Sie die Umfrage senden und wie exakt Sie dabei vorgehen, hängt ganz davon ab, was Sie testen.

Wie bereits im Planungsabschnitt dieses Leitfadens erwähnt, ist nicht für jedes Konzept ein umfassender Test mit einer genauestens abgestimmten Zielgruppe erforderlich, wenn es auch bei einigen angebracht ist. Wir werfen nun einen Blick auf drei große Personengruppen, die Sie für Ihren Konzepttest in Frage kommen.

Freunde, Familienangehörige, Follower aus sozialen Medien, Arbeitskollegen

Ganz klar, in diesem Fall erhalten Sie keine Stichproben aus einer repräsentativen Population. Sie wird nicht statistisch signifikant sein, und es werden keine Informationen sein, die Sie bei Ihrer nächsten Strategiesitzung präsentieren können. Doch schon frühzeitig bei einem Projekt Feedback von Ihren Kontakten zu erhalten, ist durchaus von Nutzen. Außerdem kostet es Sie nichts. Hier sind einige Beispiele dafür, wann Sie Umfragen an diese Gruppe senden können:

  1. Sie sind ein Startup-Unternehmen mit viel Begeisterung, aber wenig Kapital, das erstes Feedback zum Namen, Logo oder der Website erhalten möchte. Fällt etwas besonders auf? Ist die eingeschlagene Richtung sinnvoll?
  2. Ihr Konzept, also eine Anzeige, ein Werbetext oder eine Produktidee, ist ein wenig gewagt und Sie möchten wissen, was die Zielgruppe denkt. Wie kommt es an? Ist es doch nicht so witzig, wie Sie dachten? Wird eine Grenze überschritten?

Eine Stichprobe Ihres treuen Kundenstamms

Ihre Kunden können eine weitere brauchbare (und kostenlose!) Stichprobe für eine Umfrage sein, aber Sie müssen etwas sorgfältiger darauf achten, was Ihre Umfrage enthält und wie Sie sie präsentieren. Der eigentliche Vorteil einer Umfrage unter Ihren Bestandskunden ist der, dass Sie Feedback zu etwas einholen, mit dem diese bereits vertraut sind. Das kann Ihr Produkt, Ihre Website oder Ihre Marke sein.

Wenn Sie Ihre Kunden befragen, vermitteln Sie ihnen das Gefühl, in Ihren Entwicklungsprozess einbezogen zu sein, was die Kundenbindung merklich stärken kann.

  1. Fügen Sie eine Funktion hinzu, oder verbessern Sie ein bestehendes Produkt? In einigen Fällen kann eine Befragung Ihrer Bestandskunden tatsächlich deutlich sinnvoller sein als die Befragung potenzieller Kunden. Ihre Kunden wissen bereits, wie Ihr Produkt funktioniert, und ihre Rückmeldungen könnten viel wertvoller sein als die einer Zufallspopulation.
  2. Viele Rebrandings und Logoänderungen verfehlen das Ziel. Manchmal ist es sinnvoll, diese Art von Änderungen zuerst an den Kunden zu testen. Schließlich sind sie es, die die Rechnungen bezahlen. Es ist nach wie vor wichtig, die Umfrage an die breite Bevölkerung zu senden (vor allem, wenn Sie eine Verbrauchermarke sind), aber Ihre Kunden können Ihnen einige erste Hinweise geben.

Eine repräsentative Stichprobe aus einem Umfragepanel

In vielen Fällen, insbesondere bei Anzeigen- und Konzepttests oder brandneuen Produkten, sollten Sie eine Stichprobe des gesamten Markts nehmen. Sie brauchen Feedback von einer Gruppe von Personen, die Ihre Kunden, Verbraucher oder Betrachter widerspiegeln. Hier leistet ein vertrauenswürdiges Umfragepanel mit soliden Targeting-Parametern gute Dienste:

  1. Wenn Sie ein brandneues Produkt entwickelt haben und die Eignung des Produkts für den Markt bestimmen möchten, müssen Sie die Stimmung auf dem Markt kennen. Sonst setzen Sie alles aufs Spiel. Nehmen Sie nicht einfach eine Stichprobe aus der Grundgesamtheit. Grenzen Sie Ihren Markt genau ein, beispielsweise Hundebesitzer mit mittlerem bis hohem Einkommen, denen es wichtig ist, ihrem Haustier Biofutter zu geben.
  2. Wenn Sie einen Werbespot auf einem bestimmten Sender ausstrahlen, wenden Sie sich an die Zuschauer dieses Senders. Wenn Sie auf den Berliner Bussen Werbung machen, dann – Sie haben es vermutlich schon erraten – sind die Bürger von Berlin Ihre Zielgruppe. Wenn Sie jedoch ein allgemeines Publikum ansprechen, ist es tatsächlich klüger, sich an eine breite, relativ ungefilterte Population zu wenden.
in-article-cta
Finden Sie genau die richtigen Personen für Ihre Konzepttestumfrage
SurveyMonkey Audience liefert Ihnen schnell und bequem die richtigen Umfrageteilnehmer. Sie wählen Ihre Zielgruppen anhand demografischer Angaben, des Verbraucherverhaltens, der Geografie oder sogar eines bestimmten Marketingbereichs aus.
Weitere Infos

Bestimmung der Stichprobengröße

Wenn Sie sich entschieden haben, Ihre Umfrage an ein Umfragepanel zu schicken, ist der nächste wichtige Schritt die Entscheidung, wie viele Personen sie erhalten sollen. Die Stichprobengröße Ihrer Umfrage kann erhebliche Auswirkungen auf die Ergebnisse haben. Es lohnt sich also, darüber nachzudenken. Es gibt vier Hauptfaktoren, die sich auf Ihre Stichprobengröße auswirken können, und Sie sollten jeden dieser Faktoren berücksichtigen, bevor Sie Ihre Entscheidung treffen.

Fehlerspanne

Die Fehlerspanne bzw. das Konfidenzintervall gibt an, wie sehr Ihre Ergebnisse voraussichtlich von der Population Ihrer Stichprobe insgesamt abweichen werden. Im Wesentlichen sagt dieser Wert aus, wie sicher Sie sein können, dass Ihre Umfrageergebnisse tatsächlich repräsentativ sind. Ein Beispiel: Wenn 60 % Ihrer Befragten bei einer Fehlerspanne von 5 % angibt, dass ihnen Konzept A am besten gefallen hat, liegt der tatsächliche Wert zwischen 55 und 65 %.

Eine niedrige Fehlerspanne ist für die Validität Ihrer Ergebnisse wichtig, kann jedoch Ihre Stichprobengröße merklich beeinflussen.

Betrachten wir dies übertragen auf unser Tierfutterbeispiel. In den USA besitzen 85 Millionen Haushalte ein Haustier. Angenommen, dies ist in etwa unsere Gesamtpopulation, die unsere Umfrage repräsentieren soll. Für eine repräsentative Stichprobe dieser Gruppe mit einem Konfidenzintervall von 95 % (Wahrscheinlichkeit, dass Ihre Stichprobe Ihre Population genau abbildet) und einer Fehlerspanne von 5 % müssten Sie Ihre Umfrage an 385 Tierbesitzer senden. Wenn Ihre Fehlerspanne bei 3 % liegen soll, steigt die Stichprobengröße sprunghaft auf 1.068.

Diagramm mit verschiedenen Bereichen von Umfragebeantwortungen

Zugegeben, das klingt ganz schön verwirrend. Sie müssen einfach nur die Größe der Gesamtpopulation Ihrer Stichgröße schätzen, die gewünschte Fehlerspanne und das Konfidenzintervall bestimmen (5 % bzw. 95 % sind in der Regel sinnvolle Werte) und mithilfe dieses Stichprobenrechner oder dieses Fehlerspannenrechners die optimale Stichprobengröße ermitteln. Wenn Sie mehr darüber erfahren möchten, finden Sie auf der Seite des Rechners jede Menge Informationen als Erläuterung. Sie möchten nur einen kurzen Überblick?

Experimentelles Design

Wie Sie Ihren Konzepttest gestalten, kann großen Einfluss darauf haben, wie viele Personen Sie befragen. Nehmen wir das Beispiel aus dem vorigen Abschnitt und sagen wir, dass wir 385 Tierbesitzer befragen müssen, um ein verlässliches Ergebnisse zu erhalten.

Denken Sie an das Thema des vorigen Abschnitts zurück, den monadischen und sequenziellen Umfrageaufbau. Wenn Sie einen sequenziellen Test durchführen, bei dem allen Befragten sämtliche Stimuli präsentiert werden, benötigen Sie nur 385 Antworten. Bei einem monadischen Aufbau hingegen benötigen Sie für jeden Stimulus in Ihrem Test 385 Befragte. Das heißt also, wenn Sie sechs Stimuli haben und ein monadisches Umfragedesign gewählt haben, benötigen Sie tatsächlich 2.310 Beantwortungen (385 pro Stimulus).

Monadische Umfragedesigns können Ihre Stichprobengröße rapide steigen lassen, aber ihre Vorteile sind nicht zu unterschätzen. Beispielsweise würden Sie niemals ein sequenzielles Umfragedesign wählen, um sechs 2-minütige Werbespots zu testen. Die Befragten müssten sich 12 Minuten lang Videos ansehen, und dabei ist die Zeit für die eigentliche Umfrage noch nicht berücksichtigt!

Durchführbarkeit

Je stärker Ihre Zielpopulation eingegrenzt ist, desto schwieriger wird es, genügend Personen für eine gute Stichprobengröße zu finden. Wenn Sie zum Beispiel Haustierbesitzerinnen mit mittlerem Einkommen ansprechen wollen, werden Sie mühelos geeignete Personen finden. Wenn es sich zusätzlich zu all diesen Kriterien noch um Besitzerinnen von Pudeln handeln soll, die in München leben, ist dies möglicherweise nicht so leicht.

Es ist wesentlich klüger, die von Ihnen gewünschten Zusatzinformationen mit demografischen Fragen zu ermitteln und die Antworten zu filtern.

Im obigen Beispiel würden wir uns an Haustierbesitzerinnen mit mittlerem Einkommen wenden und sie frage, wo sie wohnen und welche Art von Hund sie besitzen. Wenn alle Ergebnisse vorliegen, filtern wir die Antworten unserer gewünschten Nischengruppe heraus.

Budget

Letzten Endes müssen Sie um Ihr Budget herum arbeiten. Selbst wenn Sie sich den Konzepttest in der von Ihnen gewünschten Form nicht leisten können, lohnt es sich, überhaupt einen Test durchzuführen. Testen Sie so, wie Sie es sich leisten können, denn wenige Daten sind viel besser als gar keine Daten.

Der richtige Zeitpunkt für die Umfrage

Im Allgemeinen sollten Sie sich nicht allzu viele Gedanken darüber machen, wann Sie Ihre Umfrage starten, aber es gibt einige bewährte Verfahren, die Ihnen einen zusätzlichen Vorsprung verschaffen können.

Saisonabhängigkeit

Wir haben festgestellt, dass die Beantwortungsquoten um die Feiertage herum nicht merklich sinken. Das liegt vermutlich daran, dass alle zu Hause sind und nichts zu tun haben. Doch wenn die Konzepte, die Sie testen, mit einer bestimmten Jahreszeit zusammenhängen, sind durchaus Diskrepanzen bei den Daten festzustellen.

Zum Beispiel wird die Kaufabsicht für Ihr Speiseeis bei einer Umfrage mitten im Winter wahrscheinlich deutlich geringer ausfallen als bei einer Umfrage im Hochsommer. Sie sollten auf solche Unterschiede bei Ihren Daten gefasst sein (wir haben selbst schon viele Beispiele gesehen).

Es kann natürlich sein, dass Sie derartige Probleme mit Ihrem Produkt gar nicht haben. Doch wenn Sie bei Merkmalen, die vor sechs Monaten noch gute Testergebnisse hatten, größere Veränderungen feststellen, ist dies in jedem Fall eine Überlegung wert.

Wochentag

Da mit SurveyMonkey Audience Beantwortungen besonders schnell eingehen, haben wir leichte Unterschiede in der täglichen Zeitplanung von Umfragen festgestellt. Es ist zwar nicht besonders wichtig, zu welcher Tageszeit Sie eine Umfrage verschicken, aber der Wochentag kann eine Rolle spielen. Keine Sorge: Die durchschnittliche Beantwortungsquote von Umfragen ändert sich zwischen Wochenenden und Wochentagen nicht viel, aber die Uhrzeiten der Beantwortung sind etwas weiter gestreut (es stellt sich heraus, dass viele Umfragen während der Arbeitszeit beantwortet werden).

Sie möchten weitere Empfehlungen dazu erhalten, wann und wie Sie Ihre Umfrage versenden sollten? Wir bieten dazu ein eigenes Webinar an, mit zwei Umfrageexperten von SurveyMonkey.

Befragte nach Tageszeit (wochentags)

Beantwortungen = 191.464

Liniendiagramm der Umfrageteilnehmer nach Tageszeit an Wochentagen

Befragte nach Tageszeit (am Wochenende)

Beantwortungen = 27.967

Liniendiagramm der Umfrageteilnehmer nach Tageszeit am Wochenende

Vor allem haben wir festgestellt, dass erheblich mehr Befragte am Wochenende mit mobilen Geräten an Umfragen teilnehmen. Was bedeutet das für Ihre Umfrage?

Einen Test für eine besonders textlastige Anzeige oder einen Website-Entwurf sollten Sie nicht an einem Freitagabend starten, da viele ihn auf einem Mobilgerät durchführen werden.

Diese Tipps werden keinen großen Einfluss auf die Qualität Ihrer Ergebnisse haben, sondern sind als Denkanstöße zu verstehen.

05 Analyse

So werden Umfragebeantwortungen zu wertvollen Daten

Berechnen Ihres Top-2-Boxscores

Marktforscher haben einen Trick zur Vereinfachung der Daten, die sie von ihren Konzepttestumfragen zurückerhalten. Wenn Sie, wie in diesem Leitfaden empfohlen, 5-Punkt-Likert-Skalen verwendet haben, sehen Ihre Daten wahrscheinlich in etwa so aus:

Wenn das Produkt heute verfügbar wäre, wie wahrscheinlich wäre es, dass Sie das Produkt kaufen würden?

Beispieldiagramm mit Antworten nach der Likert-Skala

Für sich genommen lässt sich dieses Diagramm leicht auswerten. Doch wenn man fünf verschiedene Merkmale für vier verschiedene Stimuli vergleichen soll, kann die Sache heikel werden.

Hier kommen die Top-2-Boxscores ins Spiel. Wenn Sie die Produkte eines Tierfutterherstellers vermarkten sollen, interessiert es Sie wahrscheinlich in erster Linie, ob die Kunden Ihr Produkt sehr wahrscheinlich oder äußerst wahrscheinlich kaufen werden. Zur Berechnung des Top-2-Boxscore addieren Sie diese beiden besten Antworten (Top 2).

In diesem Fall ergeben die 15 % der Befragten, die „Äußerst wahrscheinlich“ geantwortet haben, plus die 25 % der Befragten, die „Sehr wahrscheinlich“ geantwortet haben, zusammen einen Top-2-Boxscore von 40 %.

Durch Berechnung Ihres Top-2-Boxscore können Sie die Analyse Ihrer Umfrage erheblich vereinfachen. SurveyMonkey erledigt dies automatisch, wenn Sie die Funktion für kombinierte Antwortoptionen verwenden.

Erstellen einer Scorecard

Sobald Sie den Top-2-Boxscore für alle Ihre Fragen berechnet haben, ist es an der Zeit, ihn in eine Scorecard einzufügen. Scorecards sind nützlich, um eine vereinfachte Top-Down-Ansicht Ihrer Daten zu erhalten, etwa so:

Scorecard mit Top-2-Boxscores

Sehen Sie, wie viel einfacher es ist, den Sieger zu ermitteln, wenn Ihre Fragen im Scorecard-Format angeordnet sind? Werfen wir einen Blick auf die vollständigen Scorecards aus unseren Tierfutterbeispielen:

Logotest für Tierfutterhersteller (Top-2-Boxscores)

Scorecard mit Top-2-Boxscores

PuppyLove-Anzeigentest (Top-2-Boxscores)

Vergleich der Ergebnisse von Anzeigentests

Wie Sie sehen, ist es durch die Gliederung der Daten in Scorecards und die anschließende klare Hervorhebung des Gewinners leicht zu erkennen, welches Konzept das beste ist. Da Ihre Scorecard einen Überblick über Ihre Ergebnisse bietet, ist es außerdem sinnvoll, Ergebnisse Ihrer Frage mit erzwungener Antwort oder demografische Aufschlüsselungen aufzunehmen, die Sie überraschend, interessant oder hilfreich finden.

Sie können zum Beispiel die Unterschiede bei den Antworten von männlichen und weiblichen Befragten vergleichen. Das könnte folgendermaßen aussehen:

PuppyLove-Anzeigentest (Top-2-Boxscores) nach Geschlecht

Vergleich der Ergebnisse von Anzeigentests nach Geschlecht

Expertentipp: SurveyMonkey erstellt automatisch demografische Aufschlüsselungen für Sie, wenn Sie die Vergleichsregeln für demografische Fragen in der Analyse verwenden.

Statistische Signifikanz erreichen

Erinnern Sie sich, dass es weiter oben um Stichprobengrößen und Konfidenzintervalle ging? Mithilfe dieser Techniken können Sie Ihren Ergebnissen im Grunde statistische Signifikanz verleihen. Kurz gesagt ist die statistische Signifikanz das Maß, in dem Sie sich auf Ihre Ergebnisse verlassen können. Sie besagt, wie sicher Sie sein können, dass eine Differenz oder ein Zusammenhang besteht.

Sehen Sie sich noch einmal das Scorecard-Beispiel von vorhin an.

Scorecard mit Top-2-Boxscores
  • In der Kategorie „Unverwechselbarkeit“ steht jeweils unter Logo A und B ein C. Dies bedeutet, dass die Differenz in Bezug auf die Unverwechselbarkeit zwischen Logo A und C statistisch signifikant ist und die Differenz zwischen Logo B und C ebenfalls.
  • In der Kategorie „Attraktivität“ steht unter Logo B sowohl ein A als auch ein C. Das heißt, dass es eine statistisch signifikante Differenz zwischen Logo B und den Logos A und C gibt.
  • In der Kategorie „Sichtbarkeit“ gibt es jedoch keine derartige Angabe, obwohl die Bewertungen unterschiedlich ausfallen, nämlich 34 % bis 38 %. Das liegt daran, dass die Differenz nicht groß genug ist, um statistisch signifikant zu sein.

Wenn es keine statistisch signifikante Differenz zwischen den Stimuli gibt, sollten Sie innehalten, bevor Sie auf diese Informationen reagieren.

Eine Differenz von 35 % und 40 % bei der Kaufabsicht für eine Werbekampagne könnte zum Beispiel Millionen von Dollar an potenziellen Einnahmen bedeuten.

Wie finden Sie also heraus, ob die Unterschiede zwischen Ihren Stimuli statistisch signifikant sind? Am einfachsten ist es, jeden der Top-2-Boxscores Ihrer Umfrage in einen Rechner für die statistische Signifikanz einzugeben. Wir haben unseren eigenen Rechner entwickelt, um Ihnen dabei zu helfen.

06 Aktion

Aus Daten Maßnahmen ableiten

Bestimmung des besten Konzepts

Die Auswahl des besten Konzepts mag an dieser Stelle wie eine kinderleichte Aufgabe erscheinen. Sie erstellen Ihre Scorecard, markieren die besten Merkmale und wählen das Konzept aus, bei dem die meisten Merkmale hervorgehoben sind. Manchmal ist es wirklich so einfach, aber nicht immer.

Einige Merkmale sind wichtiger als andere. Das kann erhebliche Auswirkungen darauf haben, welches Konzept am Ende der Sieger ist. Deshalb ist es wichtig, die Merkmale, die Sie untersuchen, nach Priorität zu ordnen. Wenn Konzept A und B bei den meisten Merkmalen ziemlich nahe beieinander liegen und Konzept A etwas besser abschneidet, ist es zunächst naheliegend, dass Konzept A das bessere ist.

Vergleich der Ergebnisse von Anzeigentests

Beachten Sie jedoch, dass Konzept B in puncto Kaufabsicht deutlich besser abschneidet als Konzept A. Dieses Merkmal ist für Sie wahrscheinlich wichtiger als Aspekte wie optische Attraktivität oder Differenzierung gegenüber der Konkurrenz. Ihr übergeordnetes Ziel ist schließlich ein Produkt oder eine Anzeige, das/die den Umsatz ankurbelt. Daher sollten Sie diesen Aspekt stärker gewichten und die Auswahl von Konzept B in Erwägung ziehen.

Wichtig: Lassen Sie hier nicht die Fehlerspanne außer Acht, vor allem dann nicht, wenn Ihre Ergebnisse sehr nahe beieinander liegen. Wenn sich Konzept A und B nur um 2 bis 3 Prozentpunkte unterscheiden und Ihre Fehlerspanne 5 % beträgt, ist die Differenz wahrscheinlich wirklich zu gering, selbst wenn es so aussieht, als gäbe es einen Gewinner. Dies sind Fälle, in denen eine Frage mit erzwungener Antwort am Ende Wunder wirken kann. Sie können bei knappen Entscheidungen ausschlaggebend sein.

Oft muss man mehr Faktoren in Betracht ziehen als nur, welches Konzept das beste ist. Das ist beispielsweise der Fall, wenn Sie ein Produkt testen, nach dem Ihre Kunden verlangt haben, oder eine Werbekampagne, die ein übergeordnetes Ziel des Unternehmens unterstützt.

Für die Entscheidungsfindung sind die Umfrageergebnisse im Zusammenhang mit allen anderen Ihnen zur Verfügung stehenden Datenpunkten zu betrachten. Wenn ich eine neue Anzeige im Vergleich zu einer Anzeige teste, die seit Jahren geschaltet wird, und meine Unternehmensstrategie darauf ausgerichtet ist, eine neue Perspektive zu bieten, könnte es in Ordnung sein, wenn die alte Anzeige die neue noch um ein paar Prozentpunkte übertrifft.

Benchmarks

Die Entwicklung von Benchmarks erfordert Zeit. Sie eignen sich jedoch hervorragend, um die Wirksamkeit Ihrer Konzepte in einem breiteren Kontext zu bewerten. Benchmarks sind Standards für Vergleiche, um herauszufinden, wie Ihre Konzepte im Kontext Ihrer früheren Konzepte oder der Ihrer Konkurrenten abschneiden.

Sie können zum Beispiel vergleichen, wie Ihre Anzeige vom letzten Jahr im Vergleich zu Ihrer neuen Anzeige abschneidet, um dieses Konzept auf Herz und Nieren zu prüfen. Wenn Ihre neue Anzeige nicht überzeugt, ist es vielleicht an der Zeit, einen anderen Ansatz auszuprobieren.

Ein weiterer üblicher Ansatz ist eine „Kontroll“-Option in Ihrer Umfrage (vielleicht eine alte, wirkungsvolle Anzeige), die Sie mit all Ihren neuen Optionen vergleichen können. Die Fähigkeit, die alte Anzeige zu übertreffen, könnte genauso wichtig sein wie die Auswahl der besten Option aus Ihrem Stapel neuer Anzeigen.

Schließlich erstellen viele Marktforscher Umfragen, in denen ihre Wettbewerbsvorteile getestet werden, um zu sehen, wie sie abschneiden. Möchten Marktforscher bei GoodBoy beispielsweise testen, wie ihre Anzeigen oder ihr Verpackungsdesign im Vergleich zu den Konkurrenten bei PupLove abschneiden, könnten sie anhand der Konzepte von beiden eine Umfrage erstellen, um Hinweise darauf zu erhalten, wie sie sich im Wettbewerb schlagen.

Aktiv werden

Herzlichen Glückwunsch! Sie haben Ihren Konzepttest von Grund auf erstellt und mit Ihren Umfragen aussagekräftige Ergebnisse erhalten. Sollten Sie Mitglied eines Forschungsteams sein, müssen Sie vielleicht nur noch Ihre Ergebnisse und Empfehlungen abgeben.

Doch wenn Sie für einen Anzeigen- oder Produktprozess verantwortlich sind, liegen die nächsten Schritte in Ihrer Hand. Sie müssen Ihren Stakeholdern überzeugend nachweisen, dass das von Ihnen gewählte Konzept das beste ist. Das bedeutet, dass Sie Ihre Ergebnisse in ein für diese verständliches Format bringen müssen, das im Idealfall auf eine Präsentationsfolie passt. Dafür sind Scorecards perfekt geeignet.

Wichtig: Scheuen Sie sich nicht, umzuschwenken oder den Kurs zu ändern, wenn die Daten etwas Beunruhigendes oder Überraschendes ergeben oder wenn sie etwas zum Vorschein bringen, das Sie vorher nicht bedacht hatten. Schließlich war dies der eigentliche Grund für den Test. Das übergeordnete Ziel ist es, Ihnen dabei zu helfen, etwas zu wagen, was gut für Ihr Unternehmen ist.

Starten Sie am besten noch heute Ihr Konzepttestprojekt

Jetzt haben Sie alles, was Sie brauchen, um Ihr eigenes Konzepttestprogramm zu erstellen. Bereit für den nächsten Schritt?

Entdecken Sie all unsere Expertenlösungen

Die Expertenlösungen von SurveyMonkey für Konzepttests erstellen und analysieren Ihre Umfrage, damit Sie schnell zuverlässige Erkenntnisse erhalten.

Finden Sie Ihre Zielgruppe

Mit SurveyMonkey Audience erreichen Sie Verbraucher in über 130 Ländern, um Echtzeit-Feedback zu Ihren Ideen zu erhalten.