Visual search: hoe er geen hertengewei tussen de schoenen terechtkomt

Op zoek naar relevante aanbevelingen in de webshop

Ken je dat? Je hebt de perfecte zomerschoenen op het oog, staan geweldig bij al je outfits, maar uitverkocht en niet meer leverbaar. Dat is balen. Gelukkig hebben steeds meer e-commerce bedrijven aanbevelingen waarin je wellicht een vergelijkbaar product kunt vinden. Maar wacht… een hertengewei?

Dit artikel is geschreven door Jan Peters en Charlotte Taman, beiden Data Science Consultant bij EY VODW, binnen het Data Science Talent Programma.

De ‘anderen bekeken ook’-aanbevelingen zijn gebaseerd op het klikgedrag van websitegebruikers. Dat betekent dat bezoekers producten te zien krijgen, die andere gebruikers bekeken nadat zij hetzelfde product zagen. Het vorige voorbeeld komt uit de kerstperiode. Een tijd waarin mensen bovenmatig geïnteresseerd zijn in een hertengewei. Zodoende komt dit gewei ook uit bij de aanbevelingen voor schoenen.

Aangezien de concurrentie in e-commerce stevig is en customer experience een essentieel onderdeel is van een goed platform, zijn relevante aanbevelingen een waardevolle asset. Zoals uit het eerdere voorbeeld blijkt, zijn aanbevelingen gebaseerd op klikgedrag niet voldoende. Als jouw favoriete schoen is uitverkocht, wil je een relevant product aangeraden krijgt dat hier op lijkt. Aanbevelingen op basis van visuele gelijkenis, oftewel visual search, zijn daarvoor de ideale oplossing.

Hoe werkt visual search?

Visual search werkt op basis van machine learning algoritmes die afbeeldingen met elkaar kunnen vergelijken op uiterlijke kenmerken. Zo kan bijvoorbeeld worden bepaald welke schoen het meeste op een ander schoenmodel lijkt. Om op basis van een afbeelding een aanbeveling te kunnen doen moeten er een aantal stappen ondernomen worden.

Het algoritme krijgt de foto als input binnen. Vervolgens zet het model deze afbeelding om in een representatie van getallen, waarin eigenschappen als kleur, vorm, patronen en andere kenmerken worden meegenomen. Deze lijst van getallen stelt het model in staat te kijken welke afbeelding het meeste op een andere afbeelding lijkt. Dat gebeurt door te kijken bij welke afbeeldingen het verschil in waarde het kleinst is. Hoe kleiner het verschil, hoe meer de afbeeldingen op elkaar lijken. Op deze manier komt er voor de gebruiker een aanbeveling op basis van visuele gelijkenis uit.

Aanbevelingen zijn subjectief

Het Data Science Talent Program (DSTP) van EY VODW werd gevraagd dit probleem te tackelen voor een grote e-commerce partij in Nederland. Dit team ontwikkelde in twaalf weken tijd een nieuw model met verbeterde aanbevelingen.

Een casus als deze brengt de moeilijkheid met zich mee dat aanbevelingen subjectief zijn. Dus hoe bepaal je of de aanbevelingen uit een model een verbetering zijn? Er kan niet slechts uitgegaan worden van de mening van de talenten en om deze reden zijn de talenten uitgegaan van ‘wisdom of the crowd’.

Om de ‘wisdom of the crowd’ in kaart te brengen hebben wij gekozen voor een survey om de voorkeuren te valideren. Deze bestond uit een vragenlijst met foto’s van een basismodel en het DSTP-model. De geteste categorieën waren schoenen en kinderkleding. Als startpunt is er gekozen voor een basismodel, namelijk het Inception-model; een model van Google voor beeldherkenning. Dit vormde de benchmark om onze resultaten mee te vergelijken. In 78 procent van de gevraagde vergelijkingen kwam het DSTP-model als beter uit de test, in het geval van de kinderkleding was dit zelfs 86 procent.

Er zal geen kinderkleding tussen herenbroeken terechtkomen

Wat maakte het DSTP-model beter dan het basismodel? Dit kwam door twee belangrijke aanpassingen. Allereerst het toepassen van een ander machine learning-algoritme. In de resultaten van dit algoritme kwam naar voren dat er zwaarder wordt gewogen aan de patronen dan in het basismodel. Alle aanbevelingen voor bijvoorbeeld een gestreepte trui bleken strepen te bevatten, wat in het basismodel niet het geval was. Daarnaast is er gefilterd op productattributen. Hiermee wordt voorkomen dat er vreemde uitschieters in de aanbevelingen zitten. Er zal geen hertengewei meer tussen schoenen terechtkomen, maar ook bijvoorbeeld geen kinderkleding tussen herenbroeken. Daarnaast maakt het de oplossing schaalbaar, doordat alleen producten binnen dezelfde categorie met elkaar worden vergeleken. Filteren op productattributen is een simpele stap, die in zo’n ingewikkeld proces toch veel waarde toevoegt!

Ambitie

De ambitie van de opdrachtgever is klanten te inspireren op het gebied van stijl door middel van aanbevelingen. Hoewel visuele gelijkenis een mooie opstap is naar inspirerende aanbevelingen, is dit momenteel nog een ‘first step’.

Hoewel visuele gelijkenis een mooie opstap is naar inspirerende aanbevelingen, is het nu nog een eerste stap

Want wat is stijl precies en hoe wordt deze bepaald? Maar ook, wil de consument een andere sneaker omdat de eerste keuze uitverkocht is of wil de consument juist een model dat iets nieuws toevoegt aan zijn of haar kledingkast? Volgens ons zit de oplossing hier in het combineren van aanbevelingen op basis van klikgedrag én visual search. Zo word je als consument geholpen in je zoektocht, je kunt vergelijkbare producten vinden, maar ook nog steeds worden verrast. Met het DSTP-model is deze grote e-commerce partij weer een stuk dichterbij zijn ambitie om één van de grotere spelers te worden in de fashionmarkt.

Dit artikel stond eerder in MarketingTribune 11, 2020.