Ben Yoskovitz: “Find your one metric that matters” (#wac13)

“If a metrics doesn’t change how you behave, it’s a bad metric”

Binnen analytics bestaat er een allesverslindende honger naar alsmaar meer data. Dat is hoe Bram Koster afgelopen donderdag het Web Analytics Congres 2013 opende. De remedie werd gebracht door Ben Yoskovitz, auteur van het boek Lean Analytics. Het onderwerp van zijn presentatie was “Find your one metric that matters“. Als analisten is het onze taak om te laten zien hoe data zich in euro's vertalen. Zorg daarom voor eenvoudige rapportages die je goed aan anderen kan uitleggen.

Om die reden is datavisualisatie zo belangrijk. Als je erin slaat om je data over te brengen, kun je het gat tussen business en data overbruggen. Analytics is in de basis heel simpel. Het is het meten van de vooruitgang die je boekt in het bereiken van je business goals.

“I have business goals. I’m moving towards those goals. How do I measure my movement to what I’m trying to accomplish.“

De dimensies van effectieve metrics

• Qualitative vs. Quantitative. Qualitatieve metrics zijn flarden van inzicht in de werkelijkheid, kwantitatieve zijn de harde feiten. “Discover qualitatively and make quantitative prove it with actual numbers“, aldus Ben.

• Number vs. ratio. Absolute cijfers zijn makkelijk te begrijpen, maar moeilijk te analyseren. Neem bijvoorbeeld het aantal gebruikers. Wat is de relatie tot succes? Ratio metrics (bv. t.o.v. vorige week) zijn makkelijker te analyseren en te vergelijken.

• Exploratory vs. reporting. Ontdekken is interessanter, reporting metrics zijn belangrijk om de voortgang van A naar B te monitoren.

• Vanity vs. actionable. Vanity metrics zorgen ervoor dat je trots op jezelf kunt zijn, maar veranderen weinig aan je acties. Bijvoorbeeld het aantal gebruikers, dat cijfer gaat altijd omhoog. Bij actionable metrics pak je een richting en meet je in welke mate je daar in de buurt komt. Andere bekende voorbeelden van vanity metrics zijn hits, pageviews, visits, unique visitors en followers/friends/likes. Ben's regel: “If a metrics doesn’t change how you behave, it’s a bad metric“.

• Leading vs. lagging. Leading metrics zijn cijfers die wat kunnen voorspellen in de toekomst. Historische metrics weerspiegelen wat je hebt bereikt. Churn (verlies van gebruikers) is een voorbeeld van een historische metric. Het is dan al te laat om actie op te ondernemen. Een voorbeeld van een leading metric is het aantal klachten van consumenten, dan heb je nog de kans om te voorkomen dat een consument vertrekt.

Enkele mooie voorbeelden van leading indicators die Ben noemt:

• A Facebook user reaching 7 friends within 10 days of signing up will probably become an engaged user.

• If someone comes back to Zynga a day after signing up for a game, they’ll probably become an engaged user.

• A Dropbox user who puts at least one file in a one folder on one device will probably become an engaged user.

Superpowers in the world of analytics

Of: what the heck is growth hacking? Het antwoord zit in correlatie en causaliteit. Het aloude voorbeeld van de ijsverkoop en het aantal mensen dat verdrinkt (hoe meer mensen ijs kopen, hoe meer mensen er verdrinken, dus laten we stoppen met de verkoop van ijs) is een voorbeeld van hoe het niet moet, maar wat in de praktijk nog al te vaak voorkomt.

Correlaties zijn aan elkaar gerelateerd, maar er is geen direct effect. Causaliteit is een direct verband. Daarmee kan je ook veranderen wat er gaat gebeuren. Vind de correlatie, test causaliteit en optimaliseer de causal factor. Dat is growth hacking en een van de belangrijkste onderdelen van analytics.

Welke metrics moet je gebruiken?

In lean analytics kijken we naar:

1. Je business model. Dit kan bijvoorbeeld een of meerdere van onderstaande modellen zijn:

   • Transactional: iemand koopt een product of dienst.

   • Collaborative: iemand stemt, reageert of creëert content voor jou.

   • SaaS: iemand gebruikt jouw systeem. Zijn activiteit betekent dat je hem niet kwijtraakt of dat hij z'n abonnement opzegt.

   • Media: iemand klikt op een banner, pay-per-click advertentie of affiliate link.

   • Game: spelers betalen voor extra content, tijdsbesparing, extra levens, in-game currency, enzovoort.

   • App: gebruikers kopen en installeren jouw software op hun apparaat.

2. De fase van je startup. De lean startup lifecycle kent de volgende fases:

   • Empathy: “Does anyone really care about what I’m doing?“

   • Stickiness: draait om het aantonen dat mensen je product gebruiken.

   • Virality: draait om het bepalen van en het doen groeien van je verkoopkanalen.

   • Revenue: in deze fase staat het business model centraal. Zorg voor een stabiele en geöliede financiële machine.

   • Scale: draait om het doen groeien van je business.

Als je meer wilt weten over de businessmodellen kijk je op de site van zijn boek, en voor meer info over de fases lees dit artikel.

Combineer de fase van je bedrijf en de business waar je je in bevindt en bepaal de 'one metric that matters'. Deze metric verandert dus naarmate je je als business ontwikkelt. Natuurlijk kan je naast deze metrics nog andere KPI's bijhouden, maar deze moeten funnelen naar deze ene 'übermetric'. Trek vervolgens een streep in het zand. Daarmee bedoelt Ben het bepalen van een target.

“Your goal is to make faster, more intellectually honest decisions and empower your organization to do the same. Empower the rest of the organization to do the same.“

Hoe word je meer data-driven?

Een mooie manier om te zorgen voor meer noodzaak van data is een 'one page business-plan', ook wel 'the lean canvas' genoemd. Het idee is dat je de grootste problemen op een rij zet en deze 1-voor-1 gaat aanpakken. Zodoende is het een 'living breathing business plan', aldus Ben. Een paar zaken waar je voor moet waken:

• Er vanuit gaan dat de data schoon zijn.

• Het negeren van seizoenspatronen.

• 'Data vomit': het opnemen van veel te veel data.

• 'Metrics that cry wolf'. Cijfers die er erg uit zien, maar feitelijk niks zeggen.

• Het ‘not collected here’-syndroom.

• Je richten op ruis. Kijk naar het grote plaatje.

Tips voor een data-driven culture

• Begin klein. Pak één doel op en laat zien welke waarde je daar kan bieden. Kortom: zorg voor een proof of concept.

• Zorg ervoor dat de doelen worden begrepen.

• Zorg voor 'executive support'.

• Maak de data eenvoudig te begrijpen/consumeren.

• Zorg voor transparantie.

• Luister ook naar je intuïtie.

• Treed in contact met de consument. Zo kun je de context van je data begrijpen.

• Stel goede vragen.

Afbeelding: Tim Lewis (cc)