Felix Benz erklärt im Interview, warum Bauchgefühl bei der CRO nicht gut ist

Felix Benz ist Conversion Consultant ber der Web Arts AG und sprach in seiner Session auf der SMX 2017 in München über die Interpretation von Zahlen. Was erstmal nicht wirklich spektakulär klingt, ist jedoch eine Kritik an viele Marketer, die Werte und Statistiken zu ihren Websites oder die ihrer Kunden falsch interpretieren. Im Interview verrät er uns, dass Statistik-Skills hier besser als Bauchgefühl sind, um die richtigen Schlüsse zu ziehen. Außerdem  gibt er einen Ausblick darauf, wie Webmaster ihre User 2017 glücklich machen können.

Unter dem Video haben wir das Interview zum Nachlesen noch einmal verschriftlicht!

Effektiv: Hallo Felix, du hast in deiner Session über Search Marketing gesprochen. Wann sollte man sich als Marketer denn nicht auf sein Bauchgefühl verlassen?

Felix Benz: In der Session ging es um das Bauchgefühl, insbesondere bei Budget-Entscheidungen und der KPI-Wahl, z.B. Umsatz oder Conversion-Rate. Wenn man das aber auf Search Marketing überträgt, sollte man auf jeden fall genauer hinsehen, wenn man utopische Conversion-Zahlen sieht – hinsichtlich der Anzeigen. Aber auch in bei der Sample-Size, der Stichprobengröße, spielt das eine große Rolle. Das heißt, wenn ich zwar hohe Klickzahlen, aber dazu auch utopische Conversionwerte von 75% oder 80% habe, dann sollte man schon mal genauer hinsehen, was wirklich dahinter steckt. Es kann alles immer Zufall sein.

Welche Fehler werden bei der Analyse von Daten am häufigsten gemacht?

Oft wird die Stichprobengröße bei der Interpretation ignoriert. wen ich z.B. eine Ad habe, und die generiert 20.000 Impressions…dann schaue ich als nächstes, wie groß meine CTR ist. Die Wenigsten schauen sich dann aber auch noch die Umsatz- oder Conversionzahlen an. Dabei sollte man genau hier die Entscheidung treffen, welche Anzeige wirklich erfolgreicher ist. (Die mit den meisten Klicks oder die mit der höchsten Conversionrate; Anm. d. Red.)

Hier ist es eben sehr wichtige, die reelle Stichprobengröße genau zu betrachten. Ist diese zu klein – mit 200 Conversions bei 1000 Klicks – kann ich gar keine Entscheidung aufgrund von Zahlen treffen. Das ist dann meist eher Bauchgefühl. Man braucht also eine bestimmte Stichprobengröße, um den Zufall weiter auszugrenzen.

Das gehört ja eigentlich zu den Grundlagen der Statistik. Davon sollte doch jeder schon mal etwas gehört haben, oder?

Ich habe in meiner Session mal nachgefragt, wer von den Anwesenden denn Statistik oder Mathematik studiert hat. Da gingen drei Hände hoch. Damit haben wir nicht mal die 4%-Marke geknackt. Ich denke, das Hauptproblem liegt darin, dass wir alle zu sehr auf unsere Tools vertrauen und blind für die echten statistischen Zusammenhänge sind. Ich habe auch ein Beispiel mit einem Button-Test gebracht, der bei 99% Signifikanz 95% mehr Uplift generiert, aber am Ende stehen nur 36 Conversions.

Man sollte also wirklich ein Gefühl für die Zahlen entwickeln und sie nicht einfach so hinnehmen. Wen meine Conversionzahlen hoch sind, sollte ich eine Blick in die Sample-Size werfen und prüfen, wie viele Nutzer eigentlich im Test sind. Generell kann man sagen, dass man erst ab etwa 1000 Nutzern ein T-Test oder ein Chi-Quadrat-test anwenden kann, um wirklich eine Aussage treffen zu können, ob der Uplift der Conversion-Zahlen Zufall wahren oder nachhaltig steigen.

Eine Frage habe ich noch: Worauf sollte ich auf meiner Website in diesem Jahr auf gar keine fall verzichten? Wie kann ich meine User begeistern?

Indem man seine Nutzer individuell anspricht. Mittlerweile drehen sich die Online-User, das heißt wir gehen durch Instagram und Facebook immer mehr in den Bereich Interaktion. Schon heute haben Unternehmen auf ihren Social Media Profilen viele Interaktionen mit Usern. Das sind die neuen Nutzer, die neue Generation, die viel enger mit ihrem Smartphone und Social Media groß wird. Diese user erwarten, dass sie, wie auch bei Snapchat oder Instagram, individuell angesprochen werden.

2017 heißt also für mich das ganz große Thema: Personalisierung und die Verknüpfung von Datenquellen, das heißt, ich ziehe mir meine Engagements wirklich aus Facebook heraus und verwende genau das dann auf meiner Website.

Okay. Vielen Dank für deine Zeit.

Danke dir auch.

Philipp ist Social Media Ninja im E-Team und kümmert sich (fürsorglich) um den Content auf unserem Blog und unsere anderen sozialen Kanälen. Zudem bringt er als passionierter Schlagzeuger einer Countryband nebenbei ein wenig Redneck-Vibes ins Büro – yeeeehaaaaww!

Wie ist deine Meinung?

Bekannt aus: