Afbeeldingen maken met AI nu nog makkelijker

Misschien heb je al eens gehoord van (of zelfs al geëxperimenteerd met) text-to-image generatoren. Ze dragen namen als DALL-E 2, MidJourney, Craiyon en Imagen.

Hete AI-herfst op komst

Sinds deze zomer echter kun je nog eenvoudiger, nog gecontroleerder en nog goedkoper content (tekst, beeld en video) creëren met behulp van nieuwe generaties generatieve AI-toepassingen. De volgende drie factoren liggen hier aan ten grondslag, en gaan zorgen voor een nog hetere AI-herfst:

1. Technologische doorbraken.
2. Best en worst practices door trial & error.
3. Inhoudelijke analyses en online discussies over het onderwerp.

Technologische doorbraak 1: Stable diffusion

Bron afbeelding: “Three Dutch creatives, gathered around a Mac OS device, discussing versions of a flowchart,” gegenereerd met DreamStudio.

Er zijn een aantal veelbelovende nieuwe aanpakken die het werken met generatieve AI-toepassingen naar een hoger niveau brengen. Ik behandel er deze keer twee: stable diffusion en make-a-scene.

Stable diffusion?

‘Iedereen’ heeft het al weken over stable diffusion. Laat me dat kort-door-de-bocht uitleggen. Alle diffusion modellen voor beeld werken grofweg in twee stappen:

1. Eerst legt het model ‘noise’ over een afbeelding heen, waardoor de kwaliteit verslechtert. Vreemd eigenlijk, toch?!
2. Niet helemaal, want in de tweede stap ‘leert’ het model die noise weer te verwijderen. Daarvoor moet het de gehele afbeelding analyseren, deze uit elkaar halen en weer opnieuw opbouwen.

Koppel je deze stappen aan de metadata die hoorde bij de originele afbeelding en doe je dit met 5.000.000 afbeeldingen (uit de Laion-dataset), dan volgt een diffusion model dat heeft geleerd hoe het afbeeldingen genereert.

What the hype?

Waarom nu stable diffusion de big next step is? Een van de redenen is dat de bouwer van het model – Stability.ai – de trainingsdataset voor het model heeft vrijgegeven. En dat is goed, want “this makes things easier for future researchers and reaffirms their commitment to democratizing artificial intelligence.”

Wanneer gebruik je stable diffusion?

• Als je digital art wilt genereren.
• Als je om het milieu geeft (want minder ‘carbon footprint’ bij training en de toepassing vergt minder rekenkracht.)
• Als je meer controle wilt. Stable diffusion modellen zijn beter af te stemmen op je specifieke wensen.

Zelf proberen?

DreamStudio en Nightcafe gebruiken stable diffusion al om hun beelden mee te genereren.

Techno-doorbraak #2: Make-a-scene

Een tweede technologische doorbraak waarmee je generatieve AI nog meer naar je hand kunt zetten, directen, komt van Meta. Met hun aanpak, die ze Make-a-scene hebben genoemd, geef je naast de prompt – het tekstcommando om beeld mee te genereren – ook een schets mee om aan te geven welk beeld je precies beoogt:

Bron afbeelding: Tekst prompt+schets gecombineerd: input voor Meta’s Make-a-scene generatieve AI

“It made quite a difference to be able to sketch things in, especially to tell the system where you wanted things to give it suggestions of where things should go, but still be surprised at the end,”

Bovenstaande quote is van Alexander Reben, kunstenaar, onderzoeker en roboticus. Hij experimenteerde al een tijdje met deze nieuwe toepassing. In deze blogpost van Meta AI vertellen Reben en andere kunstenaars die de toepassing al hebben gebruikt dat “having more control over the output really helps get your artistic intent through.”

Reben startte zijn experiment met door AI-gegenereerde teksten. Met zijn interpretatie van die tekst maakte hij vervolgens een schets en gebruikte die combinatie als input voor Make-A-Scene:

Bron afbeelding: Experiment van Alexander Reben met Meta AI’s Make-a-scene.

Helaas kun je deze tool nog niet zelf uitproberen, maar check zeker de video-interviews die Meta bij de blogpost plaatste. Daarmee krijg je een goed idee hoe Make-a-scene werkt. Welke impact deze nieuwe generatie creatieve AI-tools hebben zullen we deze herfst gaan zien!