Hoogste tijd voor allbots:yes-wetgeving

Waarom is de vindbaarheid van je website eigenlijk geen opt-in?

Mijn zoon van 5 is vindbaar op Google. Het is het gevolg van het feit dat hij meedeed aan een wandelvierdaagse. Zijn moeder heeft hem ingeschreven en de organisatie van de wandeltocht heeft de namen van alle deelnemers online gezet, zodat iedereen zijn eigen startnummer alvast kan opzoeken. Zo gaat het vertrekken lekker makkelijk, was het idee. En de Google-bot deed wat ie altijd doet: indexeren maar. Tijd om daar een stokje voor te steken.

“What’s the deal?”, reageerde een vriend van me. “Waar maak je je druk om? We zijn tegenwoordig allemaal online vindbaar.” Nou, mijn zoon is 5. Hij kan nog niet eens zijn eigen naam intypen op een computer. Maar vanaf nu is hij wel de rest van zijn leven traceable; hoe onschuldig het feitje van de wandelvierdaagse ook is. Die vindbaarheid is geen keuze van hem, daar heeft zijn moeder ook niet voor gekozen en dat is ook niet de bedoeling geweest van de wandelvereniging die iets makkelijks voor de deelnemers meende te hebben bedacht.

Je zou kunnen stellen dat de Wandelsportclub zich niet aan de wet heeft gehouden: zij heeft tenslotte – zonder ondubbelzinnige toestemming – de namen van deelnemers online gezet. Maar daar zit mijn wrevel niet, want ik snap dat het publiceren van zo’n lijst makkelijk is. Alleen de impact wordt exponentieel vergroot door Google en Bing.

Robots.txt

Internet-kenners weten dat deze vindbaarheid voorkomen had kunnen worden als de organisatie gebruikgemaakt had van een robots.txt-bestand. Op die manier kun je zoekmachines immers laten weten dat de betreffende pagina niet geïndexeerd moet worden. En niet indexeren betekent niet vindbaar, zo simpel werkt het al sinds 1994. Dus: niet zeuren, had de webmaster van de wandelclub maar moeten opletten. Toch?

Eerlijk gezegd heb ik ook altijd zo geredeneerd. Maar sinds dit met mijn zoon is overkomen, voel ik steeds meer weerstand tegenover het principe dat aan de basis staat van zoekmachines: het verhandelen van informatie zonder toestemming.

Als de politie in een huis wil kijken, heeft ze een huiszoekingsbevel nodig. De Telefoongids moet klanten expliciet vragen of naam en nummer in het telefoonboek mogen worden opgenomen. Maar wie een website runt, dient andersom te denken. Hij of zij moet een expliciet bordje ophangen: geen zoekmachines welkom. Laat je dat uit onwetendheid na, dan stormen de zoekmachines binnen. Zonder een vraag te stellen wordt al je eigendom gekopieerd en vervolgens door hen geëxploiteerd: Google zet 66 miljard dollar per jaar om, waarvan het leeuwendeel met AdWords rondom zoekopdrachten. Het is alsof iemand jouw fiets meeneemt en daarna verhuurt, omdat je ‘m niet op slot hebt gezet. “Tja, dan had je ‘m maar wel moeten afsluiten”, wordt er vervolgens gezegd.

Allbots:yes in plaats van robots:no

De internetindustrie is inmiddels zo volwassen dat we die logica maar eens om moeten draaien en gelijk moeten stellen aan wat simpelweg fatsoenlijk is. Oftewel: een allbots:yes-principe, in plaats van een robots:no, vanuit de gedachte dat je van iemands eigendommen af blijft. Dat je pas bij iemand binnenwandelt nádat je welkom wordt geheten. Ook al staat de deur open. Je wacht gewoon netjes. Als er een bordje hangt dat iedereen welkom is, ga dan gerust je gang (allbots:yes). En om het meteen goed aan te pakken: als iemand een bordje heeft hangen waarop staat dat alleen Google binnen mag (googlebot:yes), dan heb je dat te respecteren, Bingbot.

Terug naar mijn zoon. Ik overdrijf een beetje, maar in zekere zin is hij op dit moment een weerloos slachtoffer van de wetmatigheden die online gelden. Het ‘leed’ is geschied, want de site is geïndexeerd. Het offline halen van de pagina door de wandelsportvereniging heeft dankzij ondoorgrondelijke caching-logica van zoekmachines ook geen zin en een verwijderingsverzoek is gezien het belang (deelnemer wandelvierdaagse) compleet kansloos.

Zoekmachines hanteren het standpunt dat ze niet verantwoordelijk zijn voor de inhoud van de zoekresultaten. Die ligt bij de websites. Ik begrijp dat standpunt. Maar dit leidt wel tot een verantwoordelijksvacuüm, want in de huidige online realiteit kan een website ook niet verantwoordelijk zijn voor het feit dat een searchbot uit Amerika de site heeft leeg getrokken.

De privacy van mijn zoon wordt met de huidige robots:no-logica door niemand serieus bewaakt. Als allbots:yes-logica de norm zou zijn, zou ik naar de website kunnen stappen. Die mensen hadden namelijk ergens bewust een vinkje aangeklikt, waar ik ze op zou kunnen aanspreken. Dan hadden ze me wellicht verteld dat ze er goed over hadden nagedacht en had ik ze voor rotte vis kunnen uitmaken, omdat ze zo onzorgvuldig met mijn zoons gegevens waren omgesprongen. Dan hadden ze daarna sorry kunnen zeggen en meteen de allbots:yes-knop uit kunnen zetten, zodat Google en Bing binnen 24 uur de informatie moeten deleten.

Kortom: Zo’n opt-in-principe leidt ertoe dat websites zich bewuster opstellen qua privacy en zoals ze dat zo mooi in het Engels zeggen: accountable worden.

Controle terug

Het invoeren van het allbots:yes-principe betekent ook dat de machtsbalans tussen met name Google en de rest van de online wereld een duw in de goede richting krijgt. De huidige realiteit is dat wie een website runt en iets doet dat de Google-bot niet bevalt, gestraft wordt: de indexering gaat trager, je krijgt strafpunten op je website-reputatie en dus zakt jouw website in de zoekresultaten.

Wie daarentegen vindt dat Google iets doet wat niet gewenst is, kan anno nu feitelijk niets. Je site is geïndexeerd en gecachet en daarmee ben je de controle kwijt; tenzij je een officieel Google Webmaster-account hebt, natuurlijk. Maar ja: dan moet je wel akkoord gaan met de eenzijdig geformuleerde gebruikersvoorwaarden.

Allbots:yes betekent dus dat je als contenteigenaar iets te kiezen hebt en te onderhandelen krijgt. Het zal een level playing field stimuleren tussen eigenaren en handelaren in informatie. Wat zou er gebeuren met het marktaandeel van Google News in Nederland als alle Nederlandse kranten alleen “bingbot:yes” zouden toestaan, omdat Microsoft aanbiedt de Bing Ad-revenues te delen? Het lijkt me een spannende ontwikkeling.

Technisch is het veranderen van het robots:no naar allbots:yes-principe natuurlijk niet zo ingewikkeld. Qua policy ligt dit anders. Google is de wereldwijde opinieleider als het gaat om zoeken. Het bedrijf gebruikt daarbij de missie dat ze alle informatie van de wereld wil ontsluiten. En dat gaat minder makkelijk als het eerst moet kijken: ben ik welkom?

En hoewel ik ervan overtuigd ben dat 90 procent van de website-eigenaren Google van harte welkom zal heten, verwacht ik geen enkel initiatief hiervoor vanuit Mountain View. Dat betekent dat alleen zoekmachinewetgeving handvatten kan geven om de privacy van mijn zoon te beschermen.