Maakt de komst van ChatGPT tekstschrijvers overbodig?

ChatGPT levert waanzinnige resultaten op. Wie voor het eerst een tekst maakt met de technologie is verbaasd over de kwaliteit. Het is dus niet moeilijk te verklaren waarom veel marketeers enthousiast zijn over ChatGPT. Contentcreatie is voor veel van hen een uitdaging. ChatGPT is de holy grail, waarop ze jaren hebben gewacht. Tegengeluiden zijn er ook, o.a. vanuit Sander Duivestein: “Waarom ChatGPT verboden moet worden“.

Pastiche-machine

Onlangs verscheen er een artikel in The Guardian waarin de Australische zanger Nick Cave reageerde op een door ChatGPT geproduceerde tekst ‘in de stijl van Nick Cave’. Deze was hem toegezonden door een fan. Het was niet de enige fan die dit deed, Nick Cave ontving naar eigen zeggen ‘dozens’ van dit soort songteksten. Dat geeft wel aan hoe groot de hype is. 

Cave was allerminst enthousiast over het resultaat: “A grotesque mockery of what it is to be human”. “Writing a good song is not mimicry, or replication, or pastiche, it is the opposite,” schreef Cave als reactie in zijn nieuwsbrief. Replication and pastiche, laten dat nu net de uitgangspunten zijn waarop ChatGPT gebaseerd is. Dat zag ook Bart Verheijen in: “AI gegenereerde content is het fastfood van de content marketing“.

Automatische papegaai

ChatGPT is een sterk ontwikkelde ‘auto complete’: het is goed in staat om op basis van input je zinnen af te maken, een verhaal te creëren rondom een paar zinnen. Volgens Jan Scholtes, full professor Text-mining aan de Universiteit van Maastricht, herhaalt het GTP model vooral wat het heeft geleerd: “The GPT models just repeat statistical sequences of human language and other internet content to which they have been exposed during training.”

ChatGPT heeft lak aan feiten

Een auto-complete machine kan nog steeds goede teksten voortbrengen. Ze zijn alleen niet zo menselijk (daar komen we zo op). Een groter probleem is dat ChatGPT geen rekening houdt met de waarheid. De maker van ChatGPT, Open AI zegt het zelf: “ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers.” Dat is eigenlijk nogal zacht uitgedrukt. ChatGPT presenteert feitelijke onjuistheden met zoveel overtuiging dat je er niet snel aan twijfelt.

Wetenschappers van de Northwestern University in Chicago lieten ChatGPT fake uittreksels van wetenschappelijke onderzoekspapers maken. Wetenschappers werd gevraagd deze te beoordelen op echtheid. Ook haalden ze de teksten door een plagiaatchecker. De resultaten waren verontrustend:

“The ChatGPT-generated abstracts sailed through the plagiarism checker: the median originality score was 100%, which indicates that no plagiarism was detected. The AI-output detector spotted 66% of the generated abstracts. But the human reviewers didn’t do much better: they correctly identified only 68% of the generated abstracts and 86% of the genuine abstracts. They incorrectly identified 32% of the generated abstracts as being real and 14% of the genuine abstracts as being generated.”

Het is zorgelijk als de experts geen onderscheid meer kunnen maken tussen wat waar is en wat niet. Als experts het al niet kunnen, geeft het weinig hoop voor gewone mensen.

Iedereen kan een petitie indienen

Technologie-expert Jerry Fishenden laat op zijn blog zien met welk gemak ChatGPT een fout antwoord geeft op de vraag “Wie kan een petitie indienen op het epetitie systeem van de Britse overheid?” Een vrij simpele vraag, maar het antwoord klopt niet. Het is echter met zoveel bravoure geschreven dat je het niet snel als onwaar ziet. Dat is echter niet het grootste probleem volgens Fishenden:
“At best it will apologise for getting it wrong—but it doesn’t learn from getting it wrong. The next person is likely to get the same wrong or misleading answer and may well walk away believing it’s the truth rather than a lie.”

Bron afbeelding: Blog Jerry Fishenden

Het gebrek aan feitelijkheid is nauwelijks een probleem als het gaat om marketingteksten, maar het wordt een risico als het gaat om meer ingewikkelde ‘top of the funnel’ content. Stel je bent marketeer bij een consultant die bedrijven adviseert over juridische zaken. Je gebruikt ChatGPT om een blog te schrijven over de arbeidswetgeving. Dan wil je wel dat de inhoud feitelijk klopt. Je staat voor aap als het niet zo is, of erger, je verliest een klant die een van je niet feitelijk adviezen heeft opgevolgd.

Advocaten kunnen opgelucht ademhalen

Zoals bij iedere nieuwe hype wordt ook nu voor allerlei beroepen het einde voorspeld. Zo hebben we binnenkort geen behoefte meer aan advocaten. Het is de vraag of het zo snel gaat. Advocatenkantoor LinkLaters testte de juridische kwaliteit van de antwoorden van ChatGPT door het vijftig vragen te stellen. De antwoorden werden beoordeeld op hun kwaliteit door drie advocaten. Conclusie: de antwoorden waren over het algemeen ‘poor’.
Er waren echter grote verschillen. Sommige antwoorden waren perfect, maar vaak waren ze incompleet of simpelweg compleet fout. Dat is niet zonder risico: ”Sometimes the right-sounding answers are completely wrong so relying on them is dangerous.”

AI snapt niet alles 

Dat het gevaarlijk is om zonder check AI-teksten te vertrouwen merkte consumententechmedium CNET. Het schreef 78 artikelen met AI. In veel stukken stonden feitelijke onjuistheden: Een verhaal over rente-inkomsten bijvoorbeeld bevatte een fout. “If you deposit $10,000 into a savings account that earns 3 [per cent] interest compounding annually, you’ll earn $10,300 at the end of the first year,” staat er te lezen. Maar dat klopt niet. Je ontvangt $300 bij een rente van 3%, geen $10.300. Uit fouten in andere artikelen blijkt dat AI niet helemaal snapt hoe hypotheken en andere leningen worden afbetaald.

AI is niet menselijk (duh!)

ChatGPT lijkt soms wel menselijk te zijn door de manier waarop het in staat is menselijke tekst te reproduceren, maar ook creativiteit te tonen. Ook is ervoor gezorgd dat de technologie een ethisch besef heeft. Maar wie verder kijkt, ziet dat het menselijke laagje dun is. Het ethische geweten van ChatGPT is bijvoorbeeld gemakkelijk te omzeilen, zo laat dit draadje op Twitter zien. Als je weet welke opdracht je moet geven, kun je ChatGPT met gemak een onethische tekst laten maken.

Ook de creativiteit is een trucje dat je snel door hebt. Een gedicht van Shakespeare nadoen, wat ChatGPT kan, levert een slap aftreksel van Shakespeare op. Het ontbreekt vooral aan originaliteit, een van de voorwaarden voor creativiteit. ChatGPT is als iemand die heeft leren schilderen door heel veel video’s van Bob Ross te kijken. Het levert mooie schilderijen op, met alle vormen en kleuren die je ook in het werk van kunstschilders aantreft, maar het is niet origineel. Het zal nooit in een museum hangen. 

Herkenbare teksten

Wie regelmatig teksten maakt met ChatGPT-technologie gaat een patroon herkennen. De teksten zijn stoffig, met lange zinnen en gekke zinsdelen. De content komt niet verder dan de oppervlakte. De stijl is zakelijk en droog. Niet zo gek, ChatGPT gebruikt alleen de input die het heeft gekregen tijdens zijn training. Daarom ook ontvang je vaak min of meer dezelfde tekst, als je vaker een tekst over hetzelfde onderwerp laat schrijven.

Er is geen verdieping, onverwachte invalshoek of creatieve twist. ChatGPT komt niet met een quote uit een krantenartikel van vorige week, of een anekdote, opgepikt bij de bushalte. Juist die creativiteit en spontaniteit maakt een tekst vaak prettig leesbaar en herkenbaar.

Afbeelding: Chat GPT heeft geen kennis van de wereld na 2021. Bron: Lablab.ai.

Google wil menselijke teksten

Google houdt van content die door mensen is geschreven voor mensen. Wie ChatGPT gebruikt voor het schrijven van landingpages, essays en blogs, loopt het risico te worden afgestraft door Google. Deze content mist namelijk ‘menselijke’ eigenschappen en kan daarom worden herkend als door een machine gemaakt.
Volgens Danny Sullivan van Google heeft de zoekmachine niets tegen door AI-gegenereerde content an sich. 

De komst van ChatGPT verandert niets: als je goed wilt ranken in Google moet je content maken die mensen helpt antwoord te vinden op hun zoekvraag. 

Hoera, het werkt!

De praktijk moet nu uitwijzen hoe ver je als bedrijf kunt gaan met de inzet van ChatGPT voor SEO-doeleinden. Als we afgaan op het voorbeeld van BankRate.com en CreditCards.com kun je best ver gaan. Beide bedrijven zetten vol in op AI om hun SEO te verbeteren. Wel in combinatie met een menselijke controle. De artikelen zijn “generated using automated technology and thoroughly edited and fact-checked by an editor on our editorial staff.”

De stukken blijken goed te ranken. De reden is volgens Johannes Beus, CEO van Sistrix, een bedrijf in SEO-software, dat Google overrompeld is door de snelle ontwikkeling van AI. 

“Contradictory statements and hectic changes to guidelines show that Google currently has no strategy for dealing with the topic”, schrijft Beus op de website van zijn bedrijf. “Google’s helplessness shows that this works in an environment such as financial information (a clear Your Money, Your Life topic and therefore highly visible on the radar at Google).”

Maak AI menselijk

De conclusie is dat je nog steeds mensen nodig hebt om goede content te maken: feitelijk juist, lekker leesbaar en goed rankend in Google. Een editor kan de feiten controleren en de herhalingen uit de tekst halen, die typerend zijn voor AI-content. Wie zonder filter door AI gemaakte content op zijn website zet, neemt een risico.

In welke mate je tekstschrijvers nodig hebt, hangt af van het soort content en het onderwerp. Een stuk over ‘de zeven beste manieren om geld te besparen’ is zo geschreven met AI. Maar als je dieper wilt gaan, met meer research heb je een mens nodig. Ook als je meer actualiteit wilt verwerken in je tekst, kom je er niet met alleen AI. ChatGPT gaat maar tot 2021. Tot slot is ChatGPT beter in teksten met een vaste structuur (zoals e-mails, product- en vacatureteksten), dan in long form content. Gelukkig kent ChatGPT zelf ook zijn plek en ziet het een belangrijke rol weggelegd voor menselijke contentschrijvers schrijft het Content Marketing Institute: “But keep this in mind: ChatGPT can be a useful tool, but it’s no replacement for human creativity and judgment.”