Terneuzen

Algoritmes zijn systemen die gebruikt worden om snel analyses (via de computer) te kunnen maken. Er bestaan algoritmes met een LAAG RISICO en algoritmes met een HOOG RISICO. (Europa heeft eraan toegevoegd : ONACCEPTABELE RISICO'S.

Algoritmes van de overheid hebben een uiterst slecht imago. Terecht vindt de SP. Kijk maar naar wat de “toeslagenaffaire” met zijn hoog risico-algoritme teweeggebracht heeft.

Mensen met een laag inkomen en een dubbele of vreemde nationaliteit werden eruit gepikt en werden (volkomen onterecht) aangeduid als “mogelijke fraudeurs”. 

Eind 2022 stelde de staatssecretaris van Huffelen (digitalisering) een register op waarin overheden hun hoog risico algoritmes openbaar konden maken.

Toen begin juni 2023 bleek dat er nauwelijks iets openbaar gemaakt werd door de overheden kwam D66 met een motie waarin opgeroepen werd om de openbaring VERPLICHT te maken.

Staatssecretaris van Huffelen en heel de Tweede Kamer heeft daar wel oor naar en zodoende zal mevr. van Huffelen zelfs voorsorteren op de Europese wetgeving die hieromtrent in de maak is over het verplicht stellen van openbaarmaking van inhoud der gebruikte algoritmes.

Goede en noodzakelijke ontwikkeling. Zo kan de Tweede Kamer zijn controlerende taak beter uitvoeren.

• Wel vraagt de SP Terneuzen zich af hoeveel echte fraudeurs uit de algoritmes van de toeslagenaffaire gerold zijn. Kortom ; hoe effectief is dat gebruikte algoritme ?
• Welke algoritmes gebruikt de gemeente Terneuzen en hebben ze een hoog of laag risicogehalte ?
• Hoe kan de raad controleren of alle hoog risico algoritmes ingeschreven staan in het register ?
• En wie bepaalt of een algoritme deugdelijk is of niet. Een hoog of laag risico heeft ?

In 2020 deed de Rekenkamer een eerste onderzoek naar de algoritmes die de overheid gebruikt. De rekenkamer richtte een "toetsingskader" op. (2)

Dat is een "een praktisch instrument dat wij en andere overheidsorganisaties kunnen gebruiken om te toetsen of algoritmes aan bepaalde kwaliteitscriteria voldoen én of de risico’s voldoende in beeld zijn en/of worden beperkt."(1)

We hebben hoge en lage risico’s en onacceptabele risico’s.

1. “Hoog risico: AI-uitvoer of gedrag dat grote risico's met zich meebrengt, moet streng worden gereguleerd inclusief een enorme berg compliance-documenten om te bewijzen dat de risico's beheerst worden. Waar komt de data vandaan waar de AI op is getraind, hoe weten we dat bias en discriminatie zo goed mogelijk zijn uitgesloten en hoe kunnen mensen continu meekijken, bijvoorbeeld. Algoritmes die sollicitanten beoordelen, maar ook de aanbevelingsalgoritmes van de grote online platforms zijn voorbeelden van hoogrisico-AI.”

2. “Laag risico: AI-gedrag of uitvoer dat niet onder een van deze categorieën valt, mag zonder al te veel problemen de Europese markt op. De AI moet transparant zijn, zodat niemand denkt met een mens te maken te hebben, en de AI mag geen beslissingen nemen.”

3. “Onacceptabele risico's: als een AI dingen doet die in strijd zijn met Europese fundamentele normen en waarden, dan mag deze niet op de Europese markt ingezet worden. Een voorbeeld is predictive policing, AI laten voorspellen of iemand crimineel gedrag zal gaan vertonen. Ook biometrische surveillance in de publieke ruimte valt hieronder en wordt dus verboden.”

(Predictive policing is het gebruik van complexe statistische modellen op basis van criminaliteits- en andere (big) data om te voorspellen waar en wanneer er een hoog risico is op nieuwe criminele feiten, wat toelaat proactief de politie-inzet te gaan bepalen.) 

Een algoritme heeft een HOOG risico als het opgenomen is in : de lijst van Bijlage III (3). In het kort komt het hierop neer (en ik citeer) (4) :

• • “Inzet van biometrie, behalve bij toegangscontrole en authenticatie op individueel niveau.
  • Beheer van kritieke infrastructuur zoals publieke netwerken, telecom-infrastructuur, domeinnamen, clouddiensten, gas, elektriciteit of openbaar vervoer.
  • Toegang tot opleidingsinstellingen en evaluatie of beoordeling van studenten, ook bij particulier onderwijs of professionele training (zoals cursussen voor advocaten), inclusief proctoring en het detecteren van plagiaat of fraude.
  • Recruitment, screening van sollicitanten of beoordeling van werknemers voor promotie of juist aanspreken op de kwaliteit van het werk.
  • Toegang tot essentiële diensten zoals woonruimte, elektriciteit, internettoegang, levensverzekeringen of
  • gezondheidsdiensten, of het bepalen van kredietwaardigheid.
  • AI inzet bij rechtshandhaving (politie en gemeentelijke diensten), grenscontrole, migratie en juridische procedures zoals rechtbanken of bestuursrechtelijke besluiten.
  • AI ingezet voor aanbevelingen bij zeer grote platforms.”

(3):https://www.europarl.europa.eu/resources/library/media/20230516RES90302/20230516RES90302.pdf

(4) : https://www.ictrecht.nl/blog/de-ai-act-door-het-parlementwelke-regels

(1) https://www.rekenkamer.nl/onderwerpen/algoritmes/algoritmes-toetsingskader

(2) https://www.rekenkamer.nl/onderwerpen/algoritmes-digitaal-toetsingskader