Reijer Passchiers AI-onderzoek genoemd in Follow The Money-artikel
De overheid maakt steeds vaker gebruik van complexe data die ze over burgers verzamelt. Maar de koppeling van al die data is ondoorzichtig en de algoritmes die overheidsdiensten gebruiken om de data te verwerken, zijn moeilijk te controleren. Dat is een recept voor hardnekkige systeemfouten, die grote gevolgen kunnen hebben: zie de toeslagenaffaire. De Tweede Kamer heeft inmiddels een nieuwe wet aangenomen die inzet op nog verdergaande datakoppelingen.
Geavanceerde datasystemen zijn nodig. Een overheid met een sterk digitaal onderstel is essentieel om de maatschappij draaiende te houden. Het gebruik van innovatieve technieken zorgt ervoor dat de overheid aansluiting houdt met de wereld om zich heen en maakt efficiëntere besluitvorming, betere bereikbaarheid en uniforme dienstverlening mogelijk.
Maar er zijn ook nadelen, zegt Reijer Passchier, docent staatsrecht aan de Universiteit Leiden en de Open Universiteit hierover in een artikel van Sebastiaan Brommersma, onderzoeksjournalist bij Follow the Money. Passchier publiceerde recent een boek over de invloed van digitalisering op de rechtsstaat. Passchier: ‘Digitalisering maakt de overheid ondoorzichtig. Burgers, rechters en het parlement begrijpen vaak niet hoe de overheidssystemen werken. Het gevolg is dat met name de uitvoerende macht, die veruit de meeste technologie gebruikt, niet goed meer is te controleren. Hierdoor raakt de structuur van de rechtsstaat uit balans.’
De oncontroleerbaarheid van het bestuur heeft volgens Passchier al tot serieuze schendingen van burgerrechten geleid. Hij wijst op het beruchte Systeem Risico Indicatie (SyRI). Dat systeem koppelde data van publieke instellingen aan elkaar, waarna die met algoritmes werden doorzocht om specifiek in achterstandswijken te speuren naar ‘verhoogd risico’ op misbruik van sociale voorzieningen. De mensen die uit het systeem kwamen rollen, werden vervolgens aan extra controles onderworpen. SyRI werd begin 2020 door de rechter verboden. Het systeem was volgens de rechtbank in strijd met de het Europees Verdrag voor de Rechten van de Mens en was ‘onvoldoende inzichtelijk en controleerbaar’. Betrokkenen wisten niet welke gegevens SyRI precies verwerkte, hoe of waarom het systeem dit deed en werden niet op de hoogte gesteld wanneer zij door het systeem als ‘risico’ waren aangemerkt.