Weeg gebruik van AI in de rechtszaal op een goudschaaltje
De overheid en artificial intelligence (AI) lijken niet altijd goed samen te gaan. Zo concludeerde de Algemene Rekenkamer dat de risico’s van de meeste AI-systemen die de overheid gebruikt onvoldoende bekend zijn (Focus op AI bij de rijksoverheid, Algemene Rekenkamer 2024). In juli 2024 werd het expliciete gebruik van ChatGPT door een kantonrechter voornamelijk met argwaan ontvangen (ECLI:NL:RBGEL:2024:3636), omdat die dit AI-systeem aanwendde zónder transparant en controleerbaar te laten zien hoe ChatGPT was gebruikt en ogenschijnlijk zonder te reflecteren op de potentiële risico’s (zie bijvoorbeeld Valgaeren, Computerrecht 2024, p. 323-324 en AD 3 augustus 2024).
De Europese Commissie voor de Efficiëntie van Justitie (CEPEJ) publiceerde in oktober 2024 een evaluatierapport over het functioneren van de rechtssystemen van de 46 leden van de Raad van Europa. Daarin identificeert de CEPEJ dat AI, door gebruik te maken van historische data, uitkomsten van zaken kan helpen voorspellen om zo eerlijke beslissingen en efficiënt gebruik van middelen te ondersteunen. Natural language processing kan tevens juridisch werk vereenvoudigen door documenten samen te vatten, te vertalen of sneller essentiële details te destilleren. Machine learning kan zaken prioriteren op ernst en noodzaak voor snelle geschilbeslechting. Generatieve AI kan ondersteunen bij het maken van documenten en juridische chatbots, waardoor juridische informatie toegankelijker wordt (European judicial systems (CEPEJ Evaluation report), CEPEJ 2024, p. 161). Het CEPEJ Resource Centre laat zien dat veel van deze toepassingen al worden benut in Europese rechtssystemen. Toch waarschuwt de CEPEJ voor de risico’s en uitdagingen verbonden aan AI-gebruik (CEPEJ-rapport, p. 162-163).
Een van de voornaamste problemen van AI is dat het op zichzelf doorgaans niet als onpartijdige rechter kan fungeren vanwege bias. AI-systemen interacteren met complexe bestaande structuren in de samenleving, waaronder problematische opvattingen en ideologieën die deze structuren voeden. Bias in AI-systemen kan daardoor op verschillende manieren ontstaan: er kan sprake zijn van (on)bewuste vooringenomenheid in de verschillende datasets en in het algoritme, maar ook bij de ontwikkelaars die een AI-systeem programmeren (Coeckelbergh 2022, p. 58-59). Een prangend voorbeeld waarbij dit mis ging is de toeslagenaffaire, waar mensen deels op basis van hun (dubbele) nationaliteit als fraudeur werden bestempeld.
Kortom, AI-systemen zijn door de complexe relatie tussen AI, data en de mens nooit neutraal, terwijl mensen juist geneigd zijn de aanbevelingen en beslissingen van automatische systemen te volgen (Ruschemeier & Hondrich, GIQ 2024/101953). Daarom moet de output van AI-systemen transparant worden beoordeeld. Dit roept de vraag op hoe en door wie een dergelijke beoordeling zou moeten worden uitgevoerd (Coeckelbergh 2022, p. 61). Wanneer een rechter in de totstandkoming van een uitspraak gebruikmaakt van AI is het antwoord op de wie-vraag: de rechter. De rechter staat immers in voor de juistheid van de uitspraak in zijn geheel, ongeacht of daar AI bij is gebruikt. De hoe-vraag is deels te beantwoorden door te kijken naar het recht. De output van AI moet in ieder geval stroken met het positieve recht en beginselen van een eerlijk proces en behoorlijke rechtspraak. De kracht van een rechterlijk oordeel is echter niet louter afhankelijk van een juiste toepassing van het recht, maar ook van de motivering van het oordeel.
Om te voorkomen dat een rechter die AI gebruikt in strijd handelt met het beginsel van hoor en wederhoor zal deze, evenals de Googelende rechter, partijen de gelegenheid moeten geven zich over het AI-gebruik uit te laten (vergelijk ECLI:NL:HR:2011:BP5612 en ECLI:NL:HR:2019:96). Zeker bij AI-toepassingen die de uitkomst van de uitspraak beïnvloeden, zoals het AI-gebruik van de kantonrechter die op basis van ChatGPT rendementsverlies schatte, dient de rechter alles op tafel te leggen. Deze – ogenschijnlijk – nonchalante toepassing van ChatGPT is een gemiste kans, omdat de CEPEJ al in 2018 vijf beginselen heeft opgesteld over het gebruik van AI in rechtsstelsels (European Ethical Charter on the use of Artificial Intelligence in judicial systems and their environment, CEPEJ 2018), waarbij ook op problematiek omtrent AI-gebruik is gereflecteerd. Het zou Nederlandse rechters sieren als zij zich bij het gebruik van AI laten inspireren door dit soort initiatieven. Daardoor zou AI op een rechtsstatelijk verantwoorde manier geïmplementeerd kunnen worden. Een gezond rechtsstelsel groeit immers mee met de wereld.
Dit redactioneel van Lenn Grutters & Koen Haex is verschenen in Ars Aequi februari 2025.
Categorie: Redactioneel