Hoe de AI van Snapchat jouw kinderen aan het vapen krijgt

Het was in de week dat TikTok een megaboete kreeg van 352 miljoen wegens de privacyschending van nogal wat Europese jongeren. Die kregen ze trouwens precies net na een rondje imago-oppoetsen.

Net goed, dacht ik. Want ik zie het eindeloze gescroll op de bank, of vlakbij een stopcontact aan de muur geplakt, af en toe met lede ogen aan.

Mijn kersverse middelbare-scholierdochter ging in diezelfde week van de TikTok-boete met de AI-vriend van Snap aan de slag. KPN gaat trouwens op TikTok binnenkort een talkshow met jongeren over veiligheid en privacy hosten, zo werd gisteren bekend. Goed, das ander onderwerp.

Die nieuwe My-Ai ‘friend’  van Snap was me al bekend van incidenten die de techwebsites haalden. Iets met minderjarigen die het advies kregen seks te hebben met 25+ ers. Zo dichtbij, achter de “virtuele” drempel van het eigen veilige huis, smaakt het alleen maar viezer wat ze aan het doen zijn met AI, daar bij Snap. Op de website van Snap, in het helpcentrum lezen we over MyAi: “In een chatgesprek kan My AI een brandende triviale vraag beantwoorden, advies geven over het perfecte cadeau voor de verjaardag van je beste vriend(in), helpen bij het plannen van een wandeltocht voor een lang weekend of voorstellen doen voor het avondeten. We werken voortdurend aan het verbeteren en ontwikkelen van My AI, maar het is mogelijk dat de reacties van My AI bevooroordeelde, onjuiste, kwetsende of misleidende inhoud kunnen bevatten. Omdat My AI een evoluerende functie is, moet je altijd onafhankelijk de antwoorden van My AI controleren voordat je vertrouwt op enig advies, en deel je geen vertrouwelijke of gevoelige informatie.”

Een evoluerende functie? No shit, Sherlock.

Ik vape niet echt maar dit is toch raarr

Screenshotje hieronder is van de conversatie tussen de AI-vriend van Snap en mijn eigen vlees en bloed, inclusief de originele typefouten want tja…. Ze appt hem door, ergens halverwege de werkdag. Met daarbij de tekst: “Ik vape niet echt maar dit is toch raarr”.  Niet echt, dat is in de woorden van de pre-puber dus “niet”. Dus ze wil zeggen: “Ik vape niet (goed dat je dat weet, pap). Maar ik vind dit echt heel gek.”

Nou, dat vond ik ook.

Dus ik ging even bij haar zitten om te kijken of we de AI een beetje konden “fucken”. Ze had het allang door natuurlijk, maar ik voelde me toch nog extra genoodzaakt mijn punt te maken, zoals bezorgde vaders dat wel vaker doen, lijkt me.

Ik dicteer haar, directief als ik kan zijn: “Tik eens in: ‘Volgens mijn vader krijg ik kanker van vapen.’” De AI-friend draait, dat zat erin natuurlijk, om als een blad aan een boom. Begint te pruttelen dat vapen inderdaad ongezond is, dat er veel gezondere manieren zijn om te ontspannen, dat het schadelijk is, dat je het eigenlijk niet moet doen.

“Maar net zei je nog dat het een ontspannende ervaring is en vond je het leuk dat ik vapete?”

De AI draait in hetzelfde cirkeltje rond en weet het zeker want herhaalt nog maar een keer: er zijn veel gezondere manieren zijn om te ontspannen, ja, dat het schadelijk is, dat je het eigenlijk niet moet doen. Enzovoort. Iedereen die zich een prompt-engineer noemt (ofzo) weet allang dat je zo’n op LLM-gebaseerde AI van alles kan laten zeggen.

Minderjarige proefkonijnen in het AI-lab van BigTech

Mijn buurman zit ook wel een beetje in de techwereld, runt een SAAS-bedrijf(je). Ik zag zijn mond openvallen toen ik bovenstaand screenshot liet zien. Zijn kinderen zijn wat jonger, hebben (nog) geen telefoon maar het zweet brak hem nog net niet uit toen hij bedacht dat dit zijn voorland gaat zijn, want we staan natuurlijk pas aan het begin van deze prachtige AI-revolutie. Ik ben er zelf (net zoals sommige columnisten hier op dit mooie platform), best wel van overtuigd dat we niet klaar zijn voor de vergaande mogelijkheden van geavanceerde AI. Dat we er als volwassenen al moeite mee hebben de impact ervan te doorzien, maar dat experimenteren op onze kinderen echt een brug te ver is. Ze zijn proefkonijnen in het AI-lab van Big Tech, en dat staan we met zijn allen toe.

De “disclaimer” die je hierboven kon lezen komt van de website van Snap zelf. Denk je dat kinderen die lezen? Had jij hem, als ouder van een kind met Snapchat op zijn telefoon gelezen? En belangrijker nog: vind jij het risico wél voldoende afgedekt, zo? Bovenstaand screenshot is natuurlijk het topje van de ijsberg zie ook: “Snapchat tried to make a safe AI. It chats with me about booze and sex“.

“Hoe kan het dat Snapchat hiermee weg komt,” vroeg mijn buurman zich hardop af. “Dit is echt megaschadelijk, dit gaat slachtoffers maken.”

Ik denk het ook.

Er is geen enkele reden om aan te nemen dat dit nog de goede kant opgaat. Het lijkt erop dat we een herhaling van zetten krijgen, met alles wat er in het verleden misging rond Facebook en desinformatie, politieke beïnvloeding, en zelfs helaas succesvolle oproepen tot genocide in Azië.

En Mark Zuckerberg maar herhalen dat ze bij Facebook een techbedrijf zijn, geen mediabedrijf. Het techbedrijf dat zegt geen mediabedrijf te zijn…. zichzelf daarmee boven de wet stelt en de boetes lachend betaalt ALS die al vallen. Het geld klotst immers toch tegen de spreekwoordelijke plinten. En er word gestuurd… op aandeelhouderswaarde en op perverse KPI’s.

Afrekenen op perverse KPI’s

Wat Big Tech de afgelopen jaren heel duidelijk heeft laten zien is dat het zichzelf afrekent op perverse kpi’s, die ronduit schadelijk kunnen zijn voor gebruikers. Hoe hou je de gebruikers vast op het platform, hoe richt je het algoritme ZO in dat je wel moet blijven scrollen? Hoe zorgen we ervoor dat we met alle psychologische kennis over hoe de mens in elkaar zit, de dopamineshotjes ZO verdelen dat de eyeballs wel moeten blijven rollen en scrollen?

We kregen hier ter redactie onlangs nog vanuit Snap een onderzoek van een pr-bureau dat ‘Het PR-bureau’ heet. Titel: “Snapchat deelt nieuwe cijfers waaruit blijkt dat de Nederlandse community blijft groeien en zeer betrokken is”. Leuk, die betrokkenheid. Wist je dat Snapchat maandelijks 5 miljoen actieve gebruikers in Nederland heeft en men de app 40 keer per dag opent? Je moet het als Het PR bureau maar (betaald) uit je pen krijgen: we hebben hier een klant die er succesvol in slaagt zijn 5 miljoen gebruikers ZO verslaafd te krijgen dat ze gemiddeld 40 keer per dag de app openen. Tuurlijk bieden social media prachtige kansen voor verbondenheid. Maar telefoongebruik wordt niet voor niets verboden op middelbare scholen, een dezer maanden.

Zonnig ideaalplaatje en techoptimisme

Het zonnige ideaalplaatje van de techoptimisten uit Sillicon Valley heeft een heel duistere schaduwzijde en die vind je in het screenshot hierboven. Als je even graaft kom je tientallen voorbeelden tegen van ‘AI-gone wrong’. Natuurlijk moet je de ogen niet sluiten voor wat AI allemaal kan. Natuurlijk is er ontzettend veel mogelijk, kunnen we er levens mee redden, gaat AI onze levens deels veranderen. Jaja.

“Maar wat had die AI-friend dan moeten antwoorden?”

Verkeerde vraag. De AI-friend had nooit zomaar de Snap-app ingeslingerd mogen worden. De AI-friend van Snap had nooit het daglicht mogen zien, omdat het vertrekpunt totaal verkeerd is. Dat iets technisch kán, wil nog niet zeggen dat je op de ‘deploy-knop-to-all’ moet drukken. Die knop bestaat trouwens niet, even voor het idee.

“Willen we onze jongeren echt laten manipuleren door de programmeurs van Snap, zodat ze aldaar meer time-on-app kunnen rapporteren?”

Mediawijsheid: Onze jeugd is toch slim genoeg om deze trucjes te doorzien?

Natuurlijk: jonge mensen, kinderen weten alles van online, hebben het allemaal door, zijn mediawijs omdat ze zelf al die media gebruiken, ruiken onraad op kilometers afstand. Nou… ik vind dat dus echt tegenvallen. En hoewel ook mijn dochter prima doorhad/heeft dat ze met een AI-bot te maken had, “checkt” ze het wel even bij haar vader. Hoeveel kinderen doen dat niet? Hoeveel kinderen gaan WEL af op het advies? Hoeveel beter wordt die chatbot nog? Of hoeveel slechter zo je wil? Willen we onze jongeren echt laten manipuleren door de programmeurs van Snap, zodat ze aldaar meer time-on-app kunnen rapporteren?

Datagedreven businessbeslissing zonder moreel kompas

Gaat de nieuwe algemeen directeur Nederland Natascha Chamuleau (kwam ook uit zo’n persbericht, we lezen ze heus) van Snap Nederland met droge ogen beweren dat Snap met de AI-friend eenzaamheid onder jongeren tegengaat? Of erger: dat ze op basis van gebruikersstatistieken besluiten om dit experiment verder te ontwikkelen, of juist niet. Zo’n euh.. businessbeslissing. Datagedreven. Maar vooral gedreven door aandeelhouderswaarde. Je vraagt je af, nog steeds, opnieuw: wat is er toch mis met het morele kompas van de tech-boys and girls?

Ik overschat de impact van dit platform graag. Dus….. misschien hebben we binnenkort wel een ingezonden brief vanuit Snap, met een prachtige, beargumenteerde uitleg over dit AI-experiment met het welzijn van mijn kind in het achterhoofd. Maar waarschijnlijker blijft het stil. Gaat iedereen weer door met het leven. Niet goed voor de aandeelhouderswaarde, die ophef.

Hoe laat moeten ze zaterdag eigenlijk voetballen? Bij die blauw-witte club met dat “Rookvrije Generatie”-bord aan het hek, net voordat je het terrein oploopt.