Interview: Meer deals voor Leaseplan Digital

Wat houdt A/B testen in?

EK: Michiel, jij bent al jaren online marketeer en specialist in conversie. Je maakt veel gebruik van A/B testen. Kun je voor minder gespecialiseerde lezers vertellen wat A/B testen inhoudt en hoe het werkt?

Een nieuw medicijn

MJ: Als een arts een nieuw medicijn wil testen doet hij dat door één  groep mensen het nieuwe medicijn te geven en één groep mensen met dezelfde klachten het oude, al bestaande medicijn. Vervolgens kijk je of er in de groep met het nieuwe medicijn meer mensen opknappen dan in de andere groep.

Twee versies

Bij het verbeteren van een website kun je een alternatieve versie van een pagina maken, eentje waarvan je denkt dat hij beter is. Zonder dat bezoekers het weten krijgt de helft de bestaande en de andere helft de alternatieve (‘verbeterde’) pagina te zien.

Met het gereedschap dat je voor A/B testen gebruikt zie je aan de achterkant welke pagina het best scoort op de online doelen die je hebt geformuleerd. Dat kunnen allerlei doelen zijn, zoals als meer verkoop, meer artikelen lezen, meer self-service (minder vragen aan support) en zo verder.

Je maakt in principe steeds een versie van je verbeterde pagina waarin niet alles anders is. Je verandert één ding tegelijk. Dan krijg je goed zicht op wat (het meeste) verschil maakt en wat niet. 

Bekende (BtoC) bedrijven die groot geworden zijn met testen zijn Zalando, Amazon en het Nederlandse Booking.com

De uitdaging in B2B is dat je flinke bezoekersaantallen nodig hebt om tot een betrouwbare test te komen

Bij welke bezoekersaantallen kan je conclusies trekken uit A/B testen?

EK: Wat voor aantallen heb je dan nodig voor A/B testen? En als je die aantallen niet haalt, wat kun je dan doen?

MJ: Idealiter heb je toch wel een paar honderd conversies of leads of whatever (clicks verbonden met het gekozen doel) nodig op de pagina’s die je wilt vergelijken. Hoeveel bezoek je nodig hebt om dat soort aantallen te halen kan natuurlijk enorm verschillen. Je kunt de online A/B testcalculator gebruiken om te bepalen of verschillen in clicks die je ziet bij een bepaalde A/B test significant zijn. Anders gezegd: of je statistisch met enige zekerheid kunt concluderen dat verschillen in clicks ook betekenen dat de ene pagina echt ‘beter’ is dan de andere.

Grote aantallen niet altijd nodig

MJ: Ook als je niet genoeg bezoek hebt op een pagina om een A/B test te doen kun je veel gegevens verzamelen om daarmee goed onderbouwde beslissingen te nemen. Als je minder bezoek of conversie hebt kun je met behulp van tooling je site op basis van feiten verbeteren.

Je kunt bijvoorbeeld  het klikgedrag van bezoekers bekijken (red: screenrecordings en heatmaps, bij Calabi gebruiken we hiervoor bijvoorbeeld Hotjar). Op die manier kun je bezoekers observeren, zonder dat die daar last van hebben en zonder dat je hun gedrag beïnvloedt met je onderzoek. Om concrete voorbeelden te noemen van vragen die je dan kunt beantwoorden: scrollt de gebruiker wel zo ver door als ik denk? moet ik bepaalde belangrijke info niet hoger op de pagina plaatsen?

Korte enquêtes ondergewaardeerd

MJ: Met hetzelfde (soort) online gereedschap kun  je ook eenvoudig enquêtes op het scherm laten verschijnen. In mijn ervaring is dit een ontzettend handige manier van onderzoek, misschien wel de meest onderschatte manier om je website steeds te verbeteren. Zo lang je je enquêtes  kort houdt, max 4, 5 vragen, zijn bezoekers vaak bereid ze te beantwoorden.

Bezoekers moeten meteen zien dat het echt kort is. Mensen zijn in het verleden te vaak opgezadeld met door marketeers bedachte lange vragenlijsten en de tekst: het kost u slechts 10 minuten.

Je moet je wel verplaatsen in je bezoeker, ook met het type vragen die je stelt. Je kunt vragen stellen als: wat was het doel van je bezoek? Is dat gelukt? Ging het makkelijk? Als het niet gelukt is waarom niet?

Vragen moeten niet gaan over het merk, over dingen die een marketeer wil weten maar de bezoeker niks zeggen. Het moet over iets gaan dat voor de bezoeker relevant is. Als een bezoeker wordt gevraagd of iets is gelukt, of hij heeft gevonden wat hij zoekt, dan zal hij dat in de regel kunnen waarderen. Je toont interesse en de bezoeker snapt dat je je best doet om dingen verbeteren.

Toptaken en ‘tiny tasks’

MJ: Uit dit type onderzoek krijg je duidelijkheid over de toptaken, dingen waarvoor mensen naar je website komen. Je kunt als je je onderzoek goed inricht het succespercentage per taak meten, de zogenaamde customer effort score en eventuele redenen dat ze vastlopen bij bepaalde taken.

Ik kan mensen aanraden eens een blog (of boek) van Gerry McGovern te lezen. Hij beschrijft bijvoorbeeld een fenomeen dat we allemaal wel kennen: op heel veel websites weerspiegelt het hoofdmenu, de navigatie en de schermindeling vooral het organogram. Zo’n indeling heeft meestal niets te maken met wat de bezoekers veel komen doen en wat zij belangrijk vinden. Gerry McGovern noemt dingen waarvoor bezoekers vaak de site gebruiken 'toptasks'. De dingen die makers van sites graag willen dat bezoekers doen noemt hij ‘tiny tasks’. Een mooie quote van McGovern:

“When a tiny task goes to sleep at night, it dreams of being a top task.”

De aandacht die afzenders van een website geven aan tiny tasks gaan vaak ten koste van de toptasks, de dingen die dingen die er juist het meest toe doen voor je bezoekers.

Ook bij kleinere aantallen leerzaam

Onderzoek van klikgedrag en kleine enquêtes zijn methoden die ook bij weinig bezoek al veel informatie opleveren waarmee je een website kunt verbeteren. Zelfs als bepaald onderzoek statistisch gezien niet steeds keiharde conclusies oplevert kun je toch de grote dingen eruit halen en je site inrichten naar de werkelijke wensen van bezoekers.

Wat eerst testen?

EK: Volgens mij kun je ontzettend veel dingen testen. Hoe bepaal je de prioriteiten?

MJ: Er is een heel lang en uitgebreid antwoord en er is een kort antwoord. Het lange antwoord past niet goed in een gesprek als dit, dat over de basics gaat. Ik zal zo wel een paar artikelen noemen, zodat een lezer desgewenst zelf het lange antwoord bij elkaar kan lezen.

Maar ik begin met het korte antwoord. Voortbouwend op het vorige onderwerp is het verstandig om eerst te kijken naar de taken die voor je bezoekers het meest belangrijk zijn, waar veel bezoekers voor komen. Je kunt beginnen om de weg die bezoekers moeten afleggen om zo’n ‘toptask’ te vervullen heel kritisch, stap voor stap te bekijken. Vraag je dan eens af welke dingen er voor kunnen zorgen dat bezoekers op weg naar dat einddoel afhaken. Uiteraard kun je ook omgekeerd denken: welke dingen kan ik toevoegen of veranderen om te bevorderen dat mensen extra gemotiveerd worden om op die bestelknop te klikken.

‘Next’ model om tot testvragen te komen

Om mogelijke testen te verzinnen bij het kijken naar zo’n mogelijke ‘customer journey’ kan ik - in plaats van er hier verder over uit te weiden - verwijzen naar een eigen model, waarover ik op Linkedin (in het Engels) heb gepubliceerd. Het model is niet moeilijk te begrijpen. Ik heb het bedacht aan het begin van mijn loopbaan als optimalisatie- en conversiespecialist. Ik baseerde me daarbij op werk van anderen. Volgens mij is het voor iedereen goed te begrijpen. Lees hier over mijn ‘Next’ model.

Steeds op dezelfde manier prioriteiten kiezen

Als je gekomen bent tot een lijst van dingen die je zou willen onderzoeken, mogelijke verbeteringen die je wilt overwegen, dan bepaal je idealiter steeds op dezelfde manier wat voorrang moeten krijgen. Als ik het lange antwoord zou geven op de vraag van de prioriteiten zou ik een aantal gangbare modellen bespreken die door conversiespecialisten worden gebruikt. Ze gebruiken die modellen  om testen te toetsen en prioriteiten te stellen. Maar omdat we dit verhaal niet te lang en specialistisch willen maken volsta ik hier met te zeggen dat er dus al modellen zijn. Je kunt over een aantal gangbare modellen lezen in een artikel op cxl.com. Daarin komen aan bod:

• het PIE model, de afkorting staat voor Potential, Importance, Ease
• het ICE model zoals geïntroduceerd door Sean Ellis van Growthhackers, die afkorting staat voor Impact, Confidence, Ease
• een alternatief, minder bekend ICE model, waarbij ICE staat voor Impact, Cost en Effort
• het 'digitale' prioriteringsmodel van Pauline Marol and Josephine Foucher van Hotwire, waarbij je van een aantal factoren alleen moet aangeven of ze wèl of niet van toepassing zijn

De auteurs van het artikel zien nadelen in een aantal veelgebruikte modellen en hebben daarom zelf een methode verzonnen. Die bespreken ze aan het eind. Hun PXL framework gebruik ik zelf ook vaak..

Hoeveel impact en moeite

De korte versie komt er op neer dat je bij het kiezen waarmee je wilt beginnen in ieder geval de volgende dingen meeneemt:

• Hoe groot denk je dat de impact is van een mogelijke verbetering op het eindresultaat. Zal het veel invloed hebben op de gewenste resultaten? Is het een verandering op een plek waar veel mensen komen en waar cruciale beslissingen worden genomen? Zijn er grote winsten mee gemoeid als er mensen worden overgehaald om net wat vaker ja te zeggen?

• Hoeveel tijd, geld en moeite kost de  test? Soms is testen simpel en kan het snel, omdat er veel bezoekers komen. Soms is het ingewikkelder en/of duurt het langer voordat voldoende mensen op de twee varianten hebben geklikt om een conclusie te kunnen trekken.

De tests met grote impact en relatief weinig moeite en kosten doe je eerst. Als je het moeilijk vindt om te kiezen op basis van deze twee criteria, of als er op je lijst een heleboel testen staan met grote impact en weinig kosten, dan ben je toch veroordeeld om een uitgebreider model te gebruiken. In dat geval kan ik dus het al genoemde PXL model aanraden.

Wegnemen van belemmeringen

EK: Kunnen we nog even terugkomen op jouw punt van het wegnemen van belemmeringen op weg naar het einddoel (de bestelknop of welke gewenste actie of conversie dan ook). Ik heb je daar vaker op horen hameren?

MJ: Zoals ik het zie hebben de meest succesvolle online bedrijven altijd goed ingespeeld op de vele zorgen en angsten die mensen kunnen hebben voordat ze ergens over beslissen.

Zo kwamen bedrijven bijvoorbeeld met de 14 dagen bedenktijd, de gratis retourmogelijkheid en zo verder. Sommige bedrijven gingen altijd veel verder. Daar heb je bijvoorbeeld geen 14 dagen bedenktijd maar zes weken, of een jaar.

Per saldo meer winst

De belofte dat je tot maanden na aankoop een product nog kunt terugzenden lijkt een kostbare zaak. Maar in de praktijk blijkt dat de geruststelling die van zo’n belofte uitgaat leidt tot meer boekingen. De extra omzet en de winst daarop is meestal veel groter dan de meerkosten door eventuele retouren. Of een geld terug garantie ook echt leidt tot meer aankopen kun je eventueel ook eerst A/B testen. 

Mensen zoals jij zijn de nieuwe experts

Een trend van de laatste tijd is om reviews te plaatsen. Reviews zorgen ook voor geruststelling.‘Mensen zoals jij’ zijn de nieuwe experts. Een review van een klant op Booking zegt mensen bij wijze van spreken meer dan een Michelin ster. Een mening van een collega inkoper is belangrijker dan een quote uit het zoveelste rapport van Gartner of een prijs toegekend door een vakjury. Toen ik zelf overwoog de A/B testing tool Sitespect aan te schaffen (voor behoorlijk veel geld) heb ik ook gevraagd of ik 5 klanten mocht bellen om hun ervaringen te horen.

Hoe werkt A/B testen praktisch gezien?

EK: We hebben het nog niet gehad over hoe A/B testen  praktisch werkt. 

MJ: Er zijn nu heel wat tools, deels zijn die gratis, deels relatief goedkoop. Met dit soort gereedschap, zoals Google optimize, AB Tasty en Visual Website Optimizer kun je eenvoudig wijzigingen op een pagina maken en deze als alternatieve testversie laten zien. Je hoeft niet een nieuwe pagina te (laten) bouwen of ontwerpen. Heel vaak hoef je aan de code van je website niets te veranderen. Je kunt met een WYSIWYG (what you see is what you get) editor eenvoudige wijzigingen maken op de pagina, zoals de kleur of vorm van een knop of een geruststellende tekst.

Hoe anders is fact-based te werken op basis van continu testen?

EK: Kun je deze manier van stap-voor-stap en ‘fact-based’ werken eens vergelijken met wat je ziet bij organisaties die niet op deze manier werken?

MJ: Als je je website op basis van harde feiten gaat verbeteren kom je er heel vaak achter dat je intuïtie niet klopt.

Hoe het vroeger vaak ging en waarschijnlijk op veel plaatsen nog is dat een ontwerper of een bureau wordt gevraagd een nieuwe (versie van een) website te maken. De persoon of personen die de opdracht hebben gekregen gaan aan het werk en presenteren hun ideeën. De groep mensen die bij de presentatie aanwezig zijn komen dan met meningen en die worden na wat discussie dan al of niet verwerkt. Als iedereen tevreden is gaat de nieuwe versie live.

Als je werkt met A/B testen en andere manieren om op basis van harde feiten te beslissen moet je bereid zijn om veel ter discussie te stellen. Ook dingen die je zeker dacht te weten.

Technische trucjes

Veel mensen zien A/B tests en andere online testmethoden  als technische trucjes, net als SEO

Ze blijven vasthouden aan werken in grote projecten, met veel mensen aan tafel die allemaal hun expertise inbrengen. Beslissen gebeurt met consensus, of op basis van onderhandelingen, waarbij recht moet worden gedaan aan ieders mening en moeite. Dat kost veel geld en tijd.

Niet alles een succes

Als de uitkomst van zo’n groot project dan eindelijk live is gezet MOET het ook een succes zijn. Het kan niet zo zijn dat je’t met z’n allen, met al die goedbetaalde en deskundige mensen, mis hebt. Dus je staat er ook minder voor open als de bezoeker niet blij is met bepaalde dingen.

De belangrijkste noodzakelijke cultuuromslag als je als bedrijf continu wilt verbeteren op basis van metingen is dat je er niet vanuit gaat dat alles een succes is. Je wilt gewoon veel dingen proberen en pas als het werkt opschalen.

Andere mindset

Fact based werken en veel testen vraagt echt om een andere mindset. Dat gaat niet vanzelf. Mensen vinden het moeilijk om emotie opzij te zetten en de feiten te laten spreken. En laten we eerlijk zijn, soms is het ook gewoon moeilijk. Bijna iedereen kent het adagium ‘less is more’, dat met alle keuzestress en de afnemende aandachtsspanne van veel mensen belangrijker is dan ooit. Toch is het vaak moeilijk om in plaats van alle mogelijke varianten er maar 1 of 2 aan te bieden.

Ik heb banken gezien die 18 soorten spaarrekeningen aanbieden. Adidas voert op de website (Michiel zoekt het terwijl we praten even op) 7.000 producten, waarvan 1.701 typen herenschoenen. Zoiets kan voor of tegen je werken. Het is natuurlijk knap dat een bedrijf zoveel keuze kan bieden, maar het kan ook verlammen als je snel schoenen wilt kopen. Als je al zo veel keuze wilt bieden zul je in ieder geval heel goed moeten nadenken hoe je het voor een consument makkelijk kan maken om te kiezen en beslissen. Bijvoorbeeld door te ‘chunken’ zodat je in een paar niet al te moeilijk stappen toch kunt kiezen uit een overzichtelijk aantal.

Problemen in de funnel

EK: Kun je een paar dingen noemen die je vaak mis ziet gaan in de sales funnel?

MJ: Ik ben altijd erg kritisch op formulieren. Formulieren zijn vaak ontworpen om de klant onder te kunnen brengen bij juiste persoon.  Dan wordt niet alleen het hoogstnoodzakelijke gevraagd maar is er voor de potentiële klant onnodig veel in te vullen.

Ook wordt op belangrijke plaatsen en momenten vaak geen directe helpline, chat of call me now aangeboden. Niet iedere organisatie kan dat 7 dagen per week 24 uur per dag bieden maar wat je wèl kan bieden (en wanneer) zul je in ieder geval heel duidelijk moeten aangeven op de momenten dat prospects het hardst nodig hebben.

Ook zie ik vaak - we hadden het er eerder al over - dat er geen goed antwoord wordt gegeven op de vragen die mensen kunnen opkomen, bij twijfels die ze onderweg nu eenmaal kunnen krijgen (wat als het niet past of het kleurt toch niet bij de groene bank). Twijfels moet je zo veel mogelijk meteen wegnemen.

Voorbeeld, bij leasemaatschappijn moet je bij een offerte-aanvraag kiezen hoeveel kilometers denkt te rijden per jaar. Maar dan staat er niet wat de meerprijs is of wat er gebeurt als je toch meer rijdt in een jaar.

Steeds weer een kans voor de concurrentie

Twijfels halen mensen uit de funnel. Als mensen de site verlaten en later terug moeten komen gaat dat vaak via Google. Dan zien ze weer concurrenten in het resultatenlijstje of bij de advertenties. Iedere keer geef je de concurrentie weer een kans om de klant alsnog van je af te pakken.

De traditionele manier is om niet alles online te zetten want dan ziet de concurrent het ook. De nieuwe manier van denken is dat je alle relevante kennis deelt, zo krijg je autoriteit en word je beter gevonden.

Eventuele schade die je oploopt doordat een concurrent iets weet is vaak minder dan het voordeel dat je als autoriteit wordt gezien door Google en dat de bezoeker alles weet om een keuze te kunnen maken.

Al verouderd bij live gaan

EK: Als je steeds wilt testen en op basis van onderzoek voortdurend beslissingen nemen moet je een afdeling en/of bedrijf ook echt anders organiseren. Wat is jouw ervaring met scrum, lean, agile etc? Zie jij dat vaak botsen met andere, meer traditionele managementmethodieken?

MJ: de wereld, de technologie en media veranderen nu zo snel dat je wel lean, scrum, agile moet werken. Als je webapplicaties in langdurende projecten wilt ontwikkelen - bijvoorbeeld met Prince II, waarbij je vooraf alles tot in details bedenkt en dan pas uitvoert -  dan is je webapplicatie al verouderd als hij af is. Je kunt beter klein beginnen, met een design thinking aanpak werken, prototypes zo vroeg mogelijk testen. Of je gebruikt wat wel de Starbucks methode wordt genoemd: je laat zo snel mogelijk een prototype aan 10 potentiële klanten zien en je stelt ze dan vragen op de manier die ik heb beschreven in mijn eerder genoemde Next model. Je vraagt dus niet: “vind je dit mooi, lekker of handig” maar “wat zou je weerhouden of juist overtuigen om dit een keer uit te proberen.

Wendbaarheid èn visie

Het moeilijkste van lean en agile is om wendbaarheid te koppelen aan lange termijn strategie, visie. Dat moet zorgen voor enige vastigheid, zodat niet alles steeds onzeker voelt en je keuzes toevallig aanvoelen.

Iedereen contact met de klant

Verder is in teams waarmee ik werk het aantal technische mensen vaak groter dan het aantal mensen dat werkelijk contact heeft met klanten. Ik hamer er altijd op dat zo veel mogelijk mensen worden geconfronteerd  met echte klanten en hun wensen. Daar zijn zoveel manieren voor dat je eigenlijk nooit een excuus hebt om het niet te doen. Mensen kunnen naar beurzen, je kunt events organiseren, mensen een dagje laten meedraaien op een supportafdeling of je laat ze video’s zien van klanten. Of als echt contact niet lukt laat je ze door reviews van klanten scrollen of e-mails en tweets met klachten (of complimenten) lezen. Klanten laten zien die feedback geven is in mijn ervaring overigens ook de beste manier om het topmanagement te overtuigen van de noodzaak om meer uit te gaan van wat de klant ècht doet en vindt en minder van wat we denken dat de klant vindt.

Info en bronnen genoemd in interview

• Op 2 oktober 2019 interviewde Eelco Kraefft (Partner Calabi) Michiel Jansen (CRO Lead Leaseplan Digital, conversiespecialist). Dit artikel is gebaseerd op dat gesprek.
• Linkedin profiel Michiel Jansen
• A/B-test calculator door Online Dialogue op ABTestGuide.com
• Hotjar testgereedschap voor o.a. screenrecordings en heatmaps
• Info over 'Toptasks' boek van Gerry McGovern op zijn website
• NEXT model door Michiel Jansen (Engelstalig artikel op Linkedin)

• 'PXL: A Better Way to Prioritize Your A/B Tests' artikel over modellen om te bepalen welke A/B tests het belangrijkst zijn

• Google Optimize, VWO (Visual Website Optimizer), AB Tasty