Deepfakes maken – Het eerlijke verhaal

De vorige twee zinnen sluiten waarschijnlijk aan bij wat je in veel nieuwsberichten al tegenkwam. Om eerlijk te zijn: snel en eenvoudig realistische deepfakes maken valt in de praktijk nog tegen. Je hebt er anno 2022 veel voor nodig: geduld, ervaring met verschillende beeldbewerkings- en montagesoftware en technische kennis.

Neem alleen al de verantwoording bij de knap uitgevoerde deepfake van De Correspondent waarin premier Mark Rutte een ‘eerlijk klimaatverhaal’ vertelt. Daar zijn nogal wat specialisten bij betrokken: een tekstschrijver, geluidsmixer, beeldredacteur en editor. Er werd een acteur ingezet en een greenscreenstudio gehuurd in Almere en zelfs Bob de Jong alias DiepNep – de deepfakespecialist van Nederland – werd ervoor aangetrokken.

Lang verhaal kort: zo makkelijk is ‘snel, eenvoudig en realistisch’ dus niet. Aan de andere kant is dit juist ook het bewijs (of op zijn minst een goed voorbeeld) dat het toepassen van AI ook weer nieuw werk oplevert voor creatieve makers en nieuwe mogelijkheden en kansen biedt voor marketeers. Services en tools die je hiervoor kunt inzetten, zet ik hieronder uiteen.

Synthetische video services

Bij het Accelerator-programma van het Stimuleringsfonds voor de Journalistiek begeleidde ik in 2021 (en ook dit jaar) een aantal teams. Daaronder ook de Nederlandse startup XS2CONTENT. Oprichters Sebastian Plasschaert en Richard Otto ontwikkelden een platform waarbij uitgevers en andere contentgenererende organisaties hun bestaande materiaal automatisch en ‘near real-time’ omzetten in audio en video. Hiermee helpt XS2CONTENT uitgevers om op een goedkope en snelle manier hun lezers te bedienen. Voor hun oplossing combineren ze audio- en videodesign met bestaande spraak-AI en software van Synthesia.

Synthesia

Als je de website van deze service voor synthetische video bezoekt word je met de volgende tekst begroet: “Zeg vaarwel tegen camera’s, microfoons en acteurs! Maak professionele AI-video’s van tekst in 60+ talen. Synthesia bespaart u geld, tijd en heel wat zenuwen.” Je maakt je video in drie stappen. Het resultaat krijg je niet lang daarna per e-mail toegezonden.

Genereer een video waarin een fotorealistisch (maar niet-bestaand) persoon jouw boodschap uitspreekt met Synthesia. Bron afbeelding: Synthesia.

FairFake

FairFake is een dienst van het Nederlandse bedrijf 3DUniversum, waar ondernemer en AI’er Sezer Karaoglu achter zit. FairFake creëert deepfakes in opdracht. Ze heeft daarvoor wel een aantal criteria waar de opdracht aan dient te voldoen. Op de website staat: “We beoordelen aanvragen om fairfakes te produceren zorgvuldig, en toetsen dit aan een positieve maatschappelijke impact…aan de hand van een aantal fairfake-for-good criteria. Belangrijke voorwaarde is dat de fairfake een positieve bijdrage levert aan de samenleving, waaronder kunstexpressie, satire, gezondheid, muziek, onderwijs, training, vrijheid van meningsuiting, inclusiviteit en educatie.”

Klanten van FairFake zijn naar eigen zeggen mediabedrijven, overheden, tv-programma’s, entertainment, musea, tentoonstellingen, kunst en opleiders. Daarnaast levert FairFake ook software om deepfakes mee te detecteren.

Reals

Naast het Nederlandse XS2CONTENT en Fairfake is er ook een start-up uit Tel Aviv op de markt voor synthetische videogeneratie, genaamd Hour One die onlangs een nieuwe ronde durfkapitaal verwierven. Via hun dienst Reals bieden gebruikers digitale versies van hun gezicht aan op een marktplaats. Zoals het bedrijf zelf zegt: “Hour One biedt synthetische karakters gebaseerd op echte mensen.”

Een aanbieder (eigenaar van het gezicht) wordt uitbetaald wanneer diens gelaat wordt gekozen om synthetisch tot presentator te verworden in andermans productvideo, bijvoorbeeld als online autoverkoper. Hour One zegt hierover: ‘AI-personages die op echte mensen zijn gebaseerd, kunnen in duizenden video’s de hoofdrol spelen en alles zeggen, in elke taal.’

Met Reals van Hour One kies je als vragende partij een gezicht en taal uit, die past bij je bedrijf en boodschap. Vervolgens geef je de tekst op die uitgesproken moet worden en tot een levensecht geanimeerde video wordt gecreëerd. Bron afbeelding: Reals – Hour One.

Om een synthetische figurantenster te worden geef je je Instagram-account op en mensen van het bedrijf Hour One bepalen of je in aanmerking komt om een artificiële host te worden waaruit vragers straks kunnen selecteren. De vragende partij op het platform krijgt zo een arsenaal aan gezichten, stemmen en accenten om video’s mee te genereren waarmee ze hun product, dienst of boodschap landelijk en over grenzen heen kunnen verspreiden.

Zelf deepfakes maken

Als je geen gebruik wilt maken van dit soort diensten of gespecialiseerde bedrijven, dan kun je ook zelf de handen uit de mouwen steken. Ook al is niet eenvoudig om zelf een deepfake van hoge kwaliteit te bouwen die precies voldoet aan je eisen en wensen, zeker als je niet kunt programmeren – het is niet onmogelijk. Er zijn ondertussen diverse tools om ze zelf mee te maken, die allemaal weer gebruikmaken van meerdere technologieën en losse programma’s om tot het eindresultaat te komen. 

Naamgever ‘deepfakes’ berichtte op het Amerikaanse forum Reddit al in 2017 over zijn eerste experiment: een pornovideo. Hij gebruikte daarvoor zijn programmeerkennis van Python, ervaring met machine learning en opensourcesoftware en foto’s die hij vond in stockfotodatasets en video’s op YouTube. In januari 2018 kwam er een desktopapplicatie online genaamd FakeApp. Met die app konden gebruikers eenvoudig(er) video’s maken en delen waarin gezichten met elkaar worden verwisseld. Vanaf 2019 werd FakeApp achterhaald door nieuwere alternatieven zoals Faceswap, DeepFaceLab en webgebaseerde apps zoals DeepfakesWeb.com.

DeepFaceLab

Om een deepfake te maken met het programma DeepFaceLab heb je ten minste twee video’s nodig. Een video met daarin de persoon wiens gezicht je wilt gebruiken en een video met de persoon naar wie de gezichtsuitdrukkingen van de eerste persoon moeten worden overgebracht. Uit deze video’s worden beelden gegenereerd waarop de software vervolgens de contouren van het gezicht herkent en belangrijke punten zoals de ogen, de mond en de neus.

Zodra deze voorbereiding is voltooid begint het trainen van model; in dit geval een diep neuraal netwerk. In vele iteraties wordt het netwerk zó afgestemd dat de uitkomst zo goed mogelijk lijkt op een combinatie van de originele video’s. 

Voor de gevorderde deepfaker

Wil je dit zelf eens proberen zonder iets te installeren, google dan eens op DeepFaceLab en gebruik de Google Colab Notebook die op de DeepFaceLab-site wordt aangeboden. Door in die notebook een-voor-een alle stappen te doorlopen kun je met eigen beeld een deepfake maken. Let op: je hebt er een Google-account, Google Drive-opslag, de juiste video’s, programmeerkennis en veel, heel veel geduld voor nodig.

DeepFaceLive

Met deze toepassing kun je gezichten wisselen. Het is daardoor niet voor alle scenario’s bruikbaar. Met DeepFaceLive (alleen voor Windows) kun je live je gezicht in videobeelden ‘swappen’ (omzetten) naar een gezicht van een ander.

Meer weten?

Wil je meer weten over de kansen van AI en het werk van creatieve AI-pioniers zoals Janne Spijkervet, Nadia Piet (Head of creative technology, Dept) en Vincent Koops (RTL Nederland), lees dan mijn boek The Art of AI – een praktische introductie in Machine learning voor mediamakers (bevat verder ook uitleg van ruim 70 AI-tools) dat uitkomt op 25 mei: www.artofai.nl.