Verantwoorde inzet van AI; hoe kun je richtlijnen hiervoor toepassen?

Algoritmes raken steeds meer beslissingen die daadwerkelijk invloed op ons hebben. Terecht gaan veel discussies rond AI over ethiek, respect voor fundamentele rechten, zorgvuldig gebruik van gegevens en betrouwbaarheid. En terecht worden er vraagtekens geplaatst bij de kwaliteit van huidige algoritmen, zeker in het publieke domein.

De vraag hoe we algoritmes duurzaam en op grote schaal kunnen inzetten, houdt mij dagelijks bezig. Hoe kunnen we het potentieel benutten, zonder dat we hiermee inbreuk doen op privacy, fundamentele rechten en het vertrouwen van burgers, bedrijven, patiënten, consumenten?

Als antwoord op deze vragen publiceren veel organisaties die actief zijn op dit vlak richtlijnen voor verantwoorde inzet van AI. Voorbeelden zijn de Ethical Guidelines voor Trustworthy AI van de EU , de AI Principles van de OECD (VN) , en een studie van de Universiteit Utrecht naar Algoritmes en grondrechten .

Uit de praktijk blijkt dat de structurele toepassing van dit soort richtlijnen nog niet eenvoudig is. Waarom is dat dan zo moeilijk? Ik zie (tenminste) 3 oorzaken.

1) De ontwikkeling van algoritmen is vaak een innovatieproject . Er is veel aandacht voor de marketing van deze projecten, weinig voor kwaliteit, risico’s en hoe die afgedekt worden. In elk project wordt het wiel opnieuw uitgevonden. Structurele toepassing van richtlijnen zoals die van de EU, vereisen professionalisering in de wijze waarop algoritmen worden gemaakt.

2) De grondstof, data , is niet van voldoende kwaliteit en actualiteit. We kunnen niet achterhalen waar de data ontstaan is, hoe integer de gegevens zijn, of ze compleet zijn etcetera. Het verbeteren van datakwaliteit en logistiek binnen organisaties zijn complexe projecten met behoorlijke investeringen en doorlooptijden. Zeker als de data wordt geboren in applicaties die niet data-centrisch zijn ontwikkeld. Denk bijvoorbeeld aan een patiëntendossier in een ziekenhuis, waar de vraag ‘rookt u?’ op talloze wijzen aan patiënten wordt voorgelegd, waardoor het een enorme klus is om een simpele lijst van alle patiënten die roken van dit ziekenhuis te genereren. Een algoritme betrouwbaar maken waarin de factor of iemand rookt meeweegt, is dus ook heel lastig.

3) Het toepassen van richtlijnen voor duurzame inzet is multidisciplinair en daarom ingewikkeld. Juristen, ethici, data-scientisten, vakinhoudelijke specialisten, management, data-engineers, zij allemaal spelen een rol. Deze mensen spreken andere talen: lastig!

Een goed hulpmiddel in het beter op orde krijgen van je risicobeheersing en governance over data en algoritmes vind ik het werken met kwaliteitslabels. In samenwerking met diverse collega’s ontwikkeld, wordt deze methode nu stapsgewijs geïntroduceerd in verschillende organisaties. De kwaliteitslabels zijn een methode om algoritmes (en ook andere, traditionelere informatieproducten zoals dashboards, rapportages, data leveringen aan toezichthouders etcetera) op een verantwoorde wijze in te zetten en de verantwoordelijkheden voor de risico’s van algoritmen op de juiste plek neer te leggen in organisaties. Het is een vertaling van de hier boven genoemde principes naar concrete handvaten die consequent kunnen worden toegepast in organisaties. De labels zijn een manier om zowel de productontwikkeling als de noodzakelijke voorzieningen te professionaliseren. Zonder in een bureaucratie te vallen waar elke vorm van innovatie gesmoord wordt door regels, richtlijnen en kaders.

De kern van deze methode, is het onderscheiden van verschillende impact categorieën in informatieproducten. Een A-label staat voor producten met een hoge impact: een algoritme waarvan de uitkomsten direct mensen raken, en daarom uitlegbaar, reproduceerbaar, eerlijk en transparant moet zijn, waarvoor een hoge kwaliteit van gegevens noodzakelijk is en technisch zeer betrouwbaar en stabiel moet zijn. Een F-label staat voor producten met een lage impact: het product komt niet in productie, wordt eenmalig geproduceerd en heeft daarom weinig risico’s. Denk aan analyses die gedaan worden tijdens een hackaton. Over het algemeen geldt: een product met een hoge impact, heeft meer risico’s, en wordt daarom gecontroleerd tot stand gebracht en geëxploiteerd. Voor een product met een lage impact geldt het omgekeerde. Bijgevoegd figuur geeft de verschillende risico’s aan op basis waarvan je labels kunt definiëren. De groene vlakjes geven aan, wel label welk type risico afdekt.

Voor elk label wordt vervolgens een blauwdruk vastgesteld. Deze blauwdruk geeft aan hoe een product met dit label ontwikkeld moet worden. De productie van A-label producten is volledig beheerst en gecontroleerd. De productie van F-label producten gebeurt met minimale richtlijnen. Het vaststellen van deze blauwdrukken is multidisciplinair: business, ethici, juristen, vakinhoudelijke specialisten, data-scientisten, IT, de privacyfunctionaris, ze hebben hier allen inbreng! In deze blauwdruk specificeren we de richtlijnen zoals hierboven genoemd.

Wanneer we de blauwdrukken hebben gedefinieerd, kunnen we voor elk individueel informatieproduct een label gaan toekennen. Bijvoorbeeld, als er een algoritme is wat uitkeringsfraude detecteert, dan is het risico dat de fundamentele rechten niet worden gerespecteerd, persoonsgegevens worden gebruikt voor andere doeleinden dan waarvoor ze verzameld zijn, en brave burgers als fraudeur worden aangemerkt. En het risico dat dit niet uit te leggen is, want dit algoritme is een black box. Het gewenste label is A. In de ontwikkeling van het product, kan het team gebruik maken van de blauwdruk voor een A label.

Wanneer de blauwdruk correct wordt toegepast, worden de geïdentificeerde risico’s zo goed mogelijk beheerst.

Dit kan natuurlijk alleen als de organisatie hiervoor de noodzakelijke voorzieningen heeft, zoals kwalitatief hoogwaardige data, infrastructuur en productieprocessen. Wanneer de organisatie dit niet op orde heeft, kan deze methodiek helpen bij het overtuigen van bestuurders dat het noodzakelijk is om middelen op het juiste niveau beschikbaar te hebben. Je kunt nu namelijk heel goed aangeven waarvoor je dit nodig hebt, en wat de risico’s zijn van het ontwikkelen van deze producten met een lager kwaliteitslabel.

Als je als organisatie serieus bent met de inzet van AI, en je algoritmes hebben impact, op burgers, bedrijven, consumenten, patiënten, cliënten, of wat dan ook je doelgroep is, dan is het werken met deze labels een goede methode om stapsgewijs te gaan professionaliseren. In plaats van AI als innovatie te beschouwen, kun je op deze manier je energie gaan steken in het bouwen van een professionele capability waarmee je duurzaam deze krachtige technologie kunt inzetten.

Wed, 23 October