Nieuw onderzoekskader auditen algoritmes en AI
Vijf jaar geleden startte de Auditdienst Rijk als een van de eerste binnen Nederland met het auditen van algoritmes. We ontwikkelden een kader en deden veel kennis op via algoritme-audits in de praktijk en samenwerking met kennisinstellingen. Het kader hebben we afgelopen jaar doorontwikkeld en gepubliceerd. Vanuit onze expertisegebieden IT, data-analyse en operational audit en onderzoekservaringen staat er nu een professioneel en praktisch onderzoekskader. Dit kader kan overheidsorganisaties helpen bij een verantwoorde inzet van hun algoritmes en AI. ADR-collega Fré Vink vertelt er meer over.
‘Overheidsorganisaties helpen bij een verantwoorde inzet van hun algoritmes en AI.’
Pioniers
Algoritmes en de aandacht daarvoor namen vijf jaar geleden een enorme vlucht. De impact, vraagstukken en belangrijke rol van de Auditdienst Rijk als interne auditor in dit veld motiveerden ons om met het auditen van algoritmes aan de slag te gaan. We ontwikkelden een kader om algoritmes te auditen en waren hiermee een van de eersten. Daarna ontstonden er veel initiatieven en diverse kaders van andere partijen. Als Auditdienst Rijk vonden we dit onderwerp zo belangrijk dat we er een thema van hebben gemaakt en het kader in de afgelopen jaren hebben doorontwikkeld. De tijd staat immers niet stil. Dankzij onze multidisciplinaire teamsamenstelling, onze kennis en opgedane onderzoekservaringen, andere beschikbare kaders en samenwerking met kennisinstellingen ligt er nu onderzoekskader waar wij heel trots op zijn.
‘Een meetlat waarmee we opdrachtgevers kunnen helpen inzicht te krijgen in de mate van beheersing van hun algoritmes.’
Praktisch en ethisch
Er ligt nu een onderzoekskader, een meetlat waarmee we opdrachtgevers kunnen helpen inzicht te krijgen in de mate van beheersing van hun algoritmes. Het kader is ingedeeld in vier thema’s: Sturing & Verantwoording, Privacy, Informatiebeveiliging en Data & Model. Ethiek speelt bij alle onderwerpen een rol en komt bij ieder thema in het kader terug. Over de omgang met ethische vraagstukken zijn veel discussies gevoerd. De blik vanuit verschillende disciplines heeft tot een vollediger kader geleid.
Voordat je als organisatie aan de slag gaat met een algoritme is het belangrijk om te denken over waar je algoritme aan moet voldoen. Je algoritme zal deel uitmaken van een proces. Welke eisen stelt dit proces al aan het algoritme? Wanneer werkt je algoritme goed genoeg en hoe meet je dit? Wat betekent eerlijkheid in het proces en hoe bepaal je of het algoritme hieraan voldoet? Ondanks dat ons onderzoekskader gericht is op het achteraf onderzoeken van algoritmes, kunnen de thema’s organisaties ook helpen om aan de voorkant de juiste vragen te stellen en keuzes te maken.
‘Echt helpen om de beheersing van algoritmes op orde te krijgen en houden.’
Helpen bij verantwoorde inzet van algoritmes en AI
Het is belangrijk dat organisaties nieuwe en bestaande algoritmes verantwoord inzetten, mede volgens de wettelijke vereisten vanuit de AVG en aankomende AI-verordening. Wij willen ministeries daarbij helpen. Dat betekent niet alleen toetsen maar echt helpen om de beheersing van algoritmes op orde te krijgen en houden, door inzicht te bieden in de nog eventuele blinde vlekken en verbeterpunten en daar handelingsperspectieven voor aan te reiken. Dat kunnen we doen met verschillende typen onderzoek. Zo kunnen we vanuit al de vier thema’s in ons kader één algoritme onderzoeken. We kijken dan naar het hele systeem, van techniek tot verantwoordelijkheden van betrokkenen tot aandacht voor de menselijke maat. Maar we kunnen ook één thema toepassen op meerdere algoritmes of op een organisatie(onderdeel). Dan kijken we bij bijvoorbeeld ’Data en Model‘ alleen naar de eventuele bias in algoritmes, de mate waarin zij discrimineren en de ethische afwegingen bij hun ontwikkeling en toepassing. De scope bij het auditen van algoritmes kan dus breed of smal zijn.