Blijkt de vermeende achterstand wellicht een voorsprong?

In zijn – geheel terecht – spraakmakende boek De vloek van Big Tech beschrijft Reijer Passchier, hoogleraar Digitalisering en de democratische rechtsstaat, de onderlinge interactie tussen technologie en recht. Hoe zijn Big Tech bedrijven als Microsoft, Amazon, Meta, Apple, NVIDIA, Tesla en Alphabet zo groot en machtig geworden dat ze zelfs een bedreiging vormen voor de democratische rechtsstaat? Naast een rechtshistorische beschouwing over deze vraag doet Passchier voorstellen voor een Europese aanpak om het tij te keren, en nodigt hij de lezer uit hierover mee te denken. Dat bracht ons op het idee een, naar onze mening, onderbelicht aspect te noemen, namelijk het risico op ongewenste effecten die grootschalig toepassen van digitalisering en AI op complex-dynamische processen kan hebben. Dit gebeurt zowel sluipenderwijs en daarom (bijna) onzichtbaar, als plotseling en heftig in de vorm van de eerder in ons boek beschreven Zwarte Zwanen. Wanneer we dat anders doen kan de vermeende Europese achterstand op de VS en China wellicht als een voorsprong uitpakken.

Het moderne private eigendomsrecht
De vloek van Big Tech schets hoe de vorming van het moderne private eigendomsrecht aanvankelijk heeft gezorgd voor het verdwijnen van middeleeuwse feodale structuren, maar momenteel, door de opkomst van de grote Big Tech bedrijven, tevens de omgekeerde beweging mogelijk maakt en een situatie creëert waarbij niet democratisch gekozen personen en bedrijven de dienst uitmaken en machtiger worden dan de ‘soevereine’ staat of unie van staten; een constitutioneel verval. De grote Tech-bedrijven programmeren in hun eigen voordeel producten waarvan de samenleving inmiddels grotendeels afhankelijk is geworden. Zij formuleren hun eigen gebruikersvoorwaarden, verzamelen data waarvan consumenten niet altijd op de hoogte zijn en hebben eigen opvattingen over privacy. Ze bepalen wie welke informatie krijgt en sturen op die manier machtsprocessen, en schakelen concurrenten uit. Is de staat dan nog wel de baas?

De grote demarcatie
Het ontstaan van het eigendomsrecht werd mogelijk door het juridisch onderscheiden van publiek en privaat; de grote demarcatie. Dit is interessant in het kader van ons verhaal over samenhang. Hoe scherp is die lijn, die demarcatie? Ook hier kun je stellen dat absolute isolatie niet bestaat. Het belang van een individu heeft effecten op de gehele samenleving, de staat. En het belang van de staat heeft effecten op het individu. Er zijn upward en downward effecten (circulaire effecten). En dan is het niet vreemd dat er emergente verschijnselen ontstaan die onvoorspelbaar en onberekenbaar zijn.

Het effect van een transactie waarbij slechts één persoon data afstaat in ruil voor het gebruik van diensten zal geen effect hebben op een samenleving. Maar wanneer velen dat doen kunnen profielen gemaakt worden, kan gepersonaliseerde informatie aangeboden worden, kunnen filterbubbels en echokamers ontstaan, kunnen verkiezingen beïnvloed of gestuurd worden en kan de democratische rechtsstaat ondergraven worden. Dat zal vermoedelijk niet hun intentie zijn geweest toen Steve Jobs, Steve Wozniak en Ronald Wayne in 1976 hun eerste Apple-computer bouwden, of toen Mark Zuckerberg Facebook bedacht. Het heeft een andere, emergente, wending gekregen. Het geheel is hier meer dan de som der delen.

Veranderlijke systemen
Als vanzelfsprekend wordt vaak aangenomen dat digitalisering en AI op alle domeinen voor vooruitgang zal zorgen. Dat is echter zeer twijfelachtig. Passchier noemt vanuit een economisch perspectief, de Solow-paradox. ‘You can see the computer age everywhere but in the productivity statistics.’ Een voorbeeld: Terwijl tussen 2002 en 2022 de arbeidsproductiviteit in de industrie met 65% toenam, was er in de zakelijke dienstverlening sprake van stilstand.
Ook in de gezondheidszorg staan overal computers en kunnen zorgprofessionals beschikken over alle kennis van de mensheid. Toch zien we een toename van overgewicht, meer mensen met chronische aandoeningen zoals diabetes, en meer mensen met psychische klachten. De stijging van onze levensverwachting komt tot stilstand en het aantal gezonde levensjaren is in veel landen inmiddels afgenomen. In Nederland ging het om een daling van 61,5 gezonde jaren naar 58,5.
Een vergelijkbaar achterblijven van vooruitgang is te zien bij de 17 SDG’s, de 17 Duurzame Ontwikkelingsdoelen van de Verenigde Naties. Ondanks grote inspanningen en het sturen op data is de vooruitgang minimaal of zelfs geheel afwezig. De coronapandemie en oorlogen krijgen de schuld. Dat is echter een merkwaardige boodschap als je bedenkt dat gezondheid en welzijn (Doel 3) en vrede (Doel 16) zelf onderdeel zijn van de 17 SDG’s. Het zijn allemaal voorbeelden van complex-dynamische processen die blijkbaar niet geschikt zijn voor een digitale benadering.

Zwarte Zwanen
De bovengenoemde illustraties van falen van digitalisering en AI bij complex-veranderlijke processen zijn door hun enorme omvang en traagheid bijna onzichtbaar. We kijken vooral naar de details en missen dan het overzicht. Maar er zijn ook onverwachte ‘treinongelukken’, zogenaamde Zwarte Zwanen. We bespraken in ons boek al voorbeelden hiervan in de hoofdstukken 8 en 18. Voorbeelden op het gebied van digitalisering en AI zijn:

• Toeslagen-affaire
• British Post Office scandal
• UWV schandaal
• Discriminatie bij de fraudeaanpak van DUO

Het black box-effect van machine learning bevat een ingebakken risico van onverwachte en onbedoelde gevolgen, zoals de onopzettelijk discriminerende effecten bij de toeslagen-
affaire en de fraudeaanpak bij DUO. En het is de grote schaal waarop digitale toepassingen en AI worden ingezet die leidt tot de enorme omvang van de schade. Bij het UWV schandaal werd bij veel mensen jarenlang door structureel verkeerde berekeningen te weinig uitkering uitbetaald. En door een programmeerfout in de Horizon computer van het Britse Post Office werden ruim 3500 postmasters beschuldigd van diefstal of fraude, zo’n 900 van hen werden veroordeeld, meer dan 230 kwamen in de gevangenis en enkelen pleegden uit wanhoop zelfmoord. Bij deze Zwarte Zwanen speelt bovendien de factor ‘rule of code’, waarbij zwart/wit beslissingen vallen. Computer says no. De automatiseringssystemen worden als neutraal gezien, maar dat zijn ze niet. De systemen zijn door hun makers geprogrammeerd. Let wel, dit zijn geen kinderziektes die opgelost kunnen worden. Het zijn fundamenteel onmogelijke taken voor digitalisering en AI die met enen en nullen moeten werken. De bedoeling is efficiency en snelheid. Het resultaat is veel menselijk leed en gigantisch hoge kosten en lange procedures voor herstel.

Wat wel, en wat niet?
We gaan zeker veel plezier hebben van digitaliseren en AI. Het gaat dan om automatisering van relatief eenvoudige taken in de vorm van robotisering en zelfrijdende auto’s, en ook om patroonherkenning zoals bijvoorbeeld bij medisch diagnostische toepassingen om kanker op te sporen met enorme rekenkracht en snelheid. Dit zijn betrekkelijk stabiele, berekenbare en voorspelbare processen. Een dataïstische benadering werkt echter niet bij menselijk gedrag, zoals blijkt uit de genoemde voorbeelden, of uit wat historicus en filosoof Harari zegt over de kennis-paradox, namelijk dat meer kennis over de geschiedenis niet leidt tot betere voorspellingen van de toekomst (hoofdstuk 7). Er zijn ook tussenvormen. Denk aan de weersverwachting. Het is fijn dat we, afhankelijk van de plaatselijke omstandigheden, een klein beetje vooruit kunnen kijken. Maar zelfs met de meest krachtige AI zullen we niet veel verder kunnen vooruitkijken dan nu het geval is.

Alleen de meest gangbare ideeën
Het lijkt wel of we verblind zijn door de kracht van AI-modellen zoals ChatGPT, DeepSeek, Mistral en andere, de Large Language Models (LLM’s). Maar LLM’s doen niet meer dan gokken op een volgend token of woord op basis van waarschijnlijkheid; getraind met enorme hoeveelheden data, op zeer krachtige computersystemen. Het bouwen van dergelijke snelle en krachtige systemen is briljant, maar een LLM zelf is slechts een ding dat berekeningen, een algoritme, uitvoert. Daar zit niets intelligents bij. Omdat het model zoekt naar de meest waarschijnlijke optie krijgt je de gangbare, meest voorkomende teksten, ideeën en theorieën als antwoord. Dat betekent verlies aan variatie. Creatieve antwoorden levert het niet op. Tenzij je nieuwe combinaties van bestaande woorden of geluiden gerangschikt volgens bestaande regels van taal en muziek, creatief noemt. AI is niet in staat om originele ideeën voort te brengen. Daarvoor heb je afwijkende opvattingen, noem het ‘foutjes’, nodig, die je vervolgens uitwerkt. Maar een LLM komt niet met afwijkende opvattingen, want dát zijn geen waarschijnlijke uitkomsten.
Wat kan wel? Je kunt een prompt formuleren waarin je een afwijkend idee centraal stelt en het AI model vraagt om alle relevante kennis daarover te ordenen. Het vinden van een juiste prompt is het creatieve proces. Op deze wijze kan AI ons wel helpen.

Een eigen koers is een mooie kans
Het voorstel van Passchier om als Europa een eigen koers te varen biedt, naast het redden van de democratische rechtstaat, kansen om beter te worden in manieren waarop we digitalisering inzetten bij dynamische processen, zodat we niet meer dezelfde fouten maken.
Hiervoor moeten we beter worden in omgaan met emergentie. Met De ontdekking van de samenhang laten we hiervoor mogelijkheden zien. Het kan echte vooruitgang opleveren in plaats van armoede door verslaving en afhankelijkheid, en democratische schade door de BIG Tech bedrijven die we nu zien.

It always seems impossible until it’s done.
Nelson Mandela