De business case voor data en AI

We gaven het bij de vorige editie al aan: (de kaders van) je RoI bepalen voordat je diep de brainstormmodus induikt, scheelt je een hoop geld. Dat klinkt als een open deur, maar dan wel eentje die vaak vergeten wordt. MITSloan bericht regelmatig over onderzoeken die aangeven dat de business nog lang niet altijd de vruchten plukt van de ontwikkelingen in AI: in 70% van de gevallen is er geen return. VentureBeat liet enkele jaren geleden nog zien dat een deprimerende 87% van de AI-projecten de productiefase nooit halen. Waarom zou jij er dan nog aan beginnen (en tja, waar heb je dan die vorige drie artikelen uit deze reeks voor gelezen?

Het goede nieuws

Vooropgesteld: waarde halen uit AI is niet hetzelfde als waarde halen uit data. Beiden lijden echter wel vaak onder dezelfde oorzaken. Die zijn lang niet altijd technisch (daarover later wel meer). Vaker zijn ze een kwestie van communicatie en een holistische kijk op je datavragen. Het goede nieuws: dat is op te pakken!

De juiste vraag

Harvard Business Review haalde een jaar geleden de grootste oorzaak al aan: je data science de verkeerde vraag voorleggen. Het voorbeeld dat zij gebruiken: een telco die churn wil voorkomen. Vraag aan de AI: wie dreigen er weg te gaan? Niks mis mee, behalve dan dat dat model je dan vervolgens niet vertelt waar de kansen liggen om ze binnen te houden (en bij wie dat nog werkt). Nu is dat soms ook meer een marketingvraagstuk dan een data science vraagstuk, maar verwachtingsmanagement speelt hier wel een rol. Niet alleen om frustraties te voorkomen, maar ook om effectief te anticiperen op hoe je je analyses gaat omzetten in (klant)waarde.

In een ander artikel haalde ik al CRISP-DM aan als framework om analysevragen te doorlopen. Probeer dat eens vooraf om te komen tot een idee over ‘wat krijgen we straks en hoe gebruiken we dat dan?’. Niet alleen als marketing of alleen als data scientists, maar samen. Als het einddoel breder gedragen wordt, voorkom je verrassingen achteraf. Mooie, waterdichte rapporten waar niemand iets aan heeft hebben we tenslotte al genoeg. Gelukkig heb je al over een stap hiernaartoe kunnen lezen: stop met het dataloket!

Hoe fout is fout?

Analisten zijn net mensen: we hebben ook last van bias. Met name die confirmation bias kan een hardnekkige zijn als je analyse doet of een model bouwt. Je wordt afgerekend op het spotten van kansen, vinden van interessante verschillen tussen je klantgroepen of hoe goed je model – in het vorige voorbeeld – churn gaat voorspellen. Kortom: de potentie van je data en inzichten. Dat uitdrukken in geld lukt vaak ook prima. Iets waar zowel de analist als de marketeer niet altijd aan wil helaas: wat kost het om hierin fouten te maken? Stel dat dat ene verschil tussen groep A en B toch niet zo robuust is, wanneer speelt die differentiatie dan niet meer quitte? Hoeveel false negatives (dus over het hoofd geziene churn) mag je churnmodel missen? Of nog sterker: hoeveel false positives (dus foutief als churn aangemerkte klanten) kun je je veroorloven voordat je beter gewoon iedereen als potentiële churn kan behandelen? Wat koopt een klant nog die een niet-passende aanbevelingsmail kreeg?

Hoewel de impact van foute conclusies vaak lastig te kwantificeren is, kun je vaak wel een foutmarge van je analyse of model berekenen. Doe die test eens: wat gebeurt er daarmee in het slechtste geval? En in het beste geval? Weegt dan die extra retentie op tegen de kosten van al die onnodige churn-interventies?

Data zijn geen vakantiefoto’s

Natuurlijk, datapunten zijn ‘snapshots’ van een klantreis, een touchpoint, een gedraging. Maar waar dat kiekje van jou leunend tegen de toren van Pisa over drie jaar nog even hilarisch is, is je data een stuk minder waardevast. Data is niet bederfelijk: de feiten blijven de feiten. Maar als je historische data wilt gebruiken om voorspellingen over de toekomst te doen, moet je je wel afvragen hoe representatief die data nog was (zelfs als daar geen pandemie tussendoor gekomen is). Soms is meer data echt beter, soms is je situatie zo veranderd (denk aan klantfocus, marktverandering, prijs, kanalen, productaanbod…) dat je beter wat recenter kunt gaan zitten met je analyses. Terwijl: dataopslag kost (ongemerkt) wel geld en dataverwerking (in de cloud tenminste) nog veel meer. Samen met de analisten en IT scopen welke data nou eigenlijk nog van belang is, kan al best een efficiëntieslag opleveren.

In het verlengde hiervan ligt overigens ook het in kaart brengen van de benodigde systemen om van analyse/AI naar actie te gaan. Is dat een kwestie van maandelijks een scriptje aftrappen en de output handmatig uploaden in je CRM? Ingewikkelde pipelines? Decision engines? Of – wellicht de ergste – gaat er iemand vervolgens heel veel moeite doen om allerlei automatisch gegenereerde inzichten plat te slaan tot hapklare brokken die in het MT gedeeld worden? Pas als je dat weet, kun je de hele business case optekenen.

Tot slot: pionieren is ook een vak

De voorgaande alineas waren vooral van het soort ‘voorkomen is beter dan genezen’. Dat schijnt ook een ander licht op die 87% van de AI-oplossingen die nooit de productiefase halen: dat is lang niet altijd de moeite waard. Als je business en techniek samen concluderen dat een goed uitgevoerde analyse toch niet levensvatbaar is, is dat nog altijd beter dan dat pas na maanden vergeefse productiekosten bedenken. Kanttekening daarbij: borg wel die kennis, zodat een volgende lichting niet opnieuw datzelfde wiel niet gaat uitvinden.

Als laatste: data en AI zijn een drijvende kracht in (bedrijfs)innovatie. Denken dat dat kan met alleen geslaagde investeringen, is een utopie. Niet iedere analyse of model gaat aantoonbaar concurrentie – of klantvoordeel opleveren. Natuurlijk moet dat in balans zijn, maar een organisatie die leert van pionierswerk is ook beter in staat wél geslaagde innovaties ook te monetizen. Dat vraagt technisch vernuft, medewerkers die hun nek durven uit te steken met wilde ideeën en support en geduld van bovenaf. Waarde halen uit data is ook: weten dat die waarde niet gegarandeerd is.