Ethiek: hoe edelmoedig moet een zelfrijdende auto zijn?

Intelligente apparaten zullen ook ethische beslissingen gaan nemen. Mag een zelfrijdende auto voetgangers overrijden om de inzittenden te redden van een frontale botsing? Mag een onderhandelings-app stress in de stem van de tegenpartij detecteren? En wie bepaalt of dit mag, de gebruiker, de maker of de wet?

'Ik heb ervoor gekozen om dit niet in te bouwen'

AI is vaak afhankelijk van big data: een neuraal netwerk heeft miljoenen voorbeeldfoto's of woorden tekst nodig om een 'intelligente' taak te leren, zoals het herkennen van mensen. Maar Catholijn Jonker, hoogleraar Explainable artificial intelligence, ontwikkelt juist AI met small data. Zo is de Pocket Negotiator het prototype van een app die je helpt om te onderhandelen over het kopen van een huis of de arbeidsvoorwaarden bij een nieuwe baan. 

Dit AI-systeem weet aan het begin weinig van jou en de andere partij, en zelfs die startinformatie is onzeker. Jonker: 'Je weet niet wat de ander weet, en die wil dat ook niet laten merken.' Pas als het biedingsproces op gang komt, krijgt de app harde informatie van de tegenstander, namelijk diens opeenvolgende biedingen. Het systeem moet die informatie gebruiken om achter de bedoelingen van de menselijke tegenpartij te komen. Vandaar dat Jonker, die ook aan de TU Delft aan AI werkt, parttime naar Leiden kwam: 'Hier kun je psychologen die aan onderhandelen werken bij je onderzoek betrekken.' 

AI-programmeurs krijgen onvermijdelijk te maken met ethische vragen. Zoals: wat is eerlijk onderhandelen? Een smart phone kan live uit iemands stem detecteren of die opgewonden raakt  van een bod. Ook kan de camera stress uit de gelaatstrekken van de tegenpartij afleiden. Jonker: 'Ik heb ervoor gekozen om die vaardigheden niet in de app te verwerken.' De Pocket Negotiator gebruikt alleen informatie die de tegenpartij bewust verstrekt. Zulke dilemma's stelt Jonker ook aan de orde in publieke voordrachten en als ze met politici praat.   

De huidige AI-systemen geven geen acceptabele verklaring voor hun beslissingen

Ook het werk van Francien Dechesne, universitair docent Recht & digitale technologie, bestaat deels uit 'zendingswerk' over de ethische dilemma's van AI. Ze geeft het college Computing ethics aan studenten informatica, en adviseert banken en rechters. 'Schijnbaar objectieve keuzes die je maakt als programmeur, hebben maatschappelijke implicaties,' benadrukt ze. In de Verenigde Staten gebruiken rechters nu al AI-algoritmes om het risico van recidive te bepalen. De uitkomst bepaalt mede de straf die de rechter oplegt. 'Maar wat is recidive? Is dat nog een keer een misdaad plegen of nog een keer opgepakt worden door de politie? Zo worden begrippen met een maatschappelijke betekenis noodgedwongen vertaald naar meetbare criteria die je in een algoritme kunt stoppen.'

Een algoritme dat is gebaseerd op een neuraal netwerk, werkt niet met een set regels die er door de programmeur is ingestopt. Het algoritme ontdekt zelf relevante patronen in trainingsdata; in dit geval data over veroordeelden en hun recidive. Dechesne: 'Je kunt het systeem niet ter verantwoording roepen: waarom heb je deze persoon die score gegeven?'   
En dat probleem raakt zeker niet alleen misdadigers. Zulke algoritmes kunnen ook gebruikt worden om te bepalen of je een hypotheek krijgt en of je belastingaangifte extra gecontroleerd gaat worden.  

Zowel Jonker als Dechesne zien nog veel onduidelijkheid over wie uiteindelijk verantwoordelijk is voor de oordelen – en vooroordelen – van zulke systemen. De Algemene Verordening Gegevensbescherming (AVG) stelt dat mensen het recht hebben op zinnige informatie over het totstandkomen van dit soort beslissingen. Maar hoe dwing je dit af? Dechesne: 'De Autoriteit Persoonsgegevens (AP) moet tegen een bedrijf kunnen zeggen: als jij niet voldoende snapt hoe je eigen systeem werkt, mag je het voor dit doel niet toepassen. Maar momenteel heeft de AP daar de middelen niet voor.'