Hoe kun je privacy waarborgen bij een datagedreven aanpak van ondermijning?

In mijn eerdere blog schreef ik over het Open Development Programma waarmee we samen met overheidsorganisaties bouwen aan oplossingen voor maatschappelijke opgaven. Eén van de onderdelen die op deze manier tot stand is gekomen, is onze implementatie van het Model Privacy Protocol ter ondersteuning van het beoordelen van ondermijningssignalen in ons Apollo Platform. In deze blog wil ik een toelichting geven op hoe dit uitgewerkt is en hoe gemeentes hier gebruik van kunnen maken.

Onze implementatie van het Model Privacy Protocol in Apollo biedt enkele voordelen nl.:

  • Voorkomen van bovenmatig gebruik van gegevens.
  • Inzichtelijk maken met welk doel en op welke wijze gegevens worden verwerkt.
  • Zicht krijgen op ondermijning binnen de grenzen van de gemeente.
  • Kaders stellen voor waarborgen van rechtmatigheid.
  • Verantwoording af kunnen leggen over de werkwijze.

Maar voor dat ik in ga op de inhoudelijke functionaliteiten van het Model Privacy Protocol in Apollo, is het goed om een begrip te hebben hoe dit tot stand is gekomen en waarom dit überhaupt een plek moet krijgen in Apollo. Om dat pad te illustreren neem ik jullie even mee naar het jaar 2017, toen wij in contact kwamen met Tom Pots van de gemeente Zaanstad en ondermijning een opkomend thema was.

Een aanpak van ondermijnende criminaliteit – een eerste verschijningsvorm: woon- en adresfraude

De gemeente Zaanstad wilde een datagedreven aanpak van ondermijnende criminaliteit, maar was zoekende hoe ze dat moest vormgeven. Wij hebben toen met de gemeente Zaanstad een Design Sprint gedaan om een eerste versie van een datagedreven applicatie voor de aanpak van ondermijnende criminaliteit te ontwerpen. De focus van het prototype lag bij  woon- en adresfraude. Dit prototype is vertaald naar een applicatie en inmiddels in meerdere iteraties doorontwikkeld tot Apollo, ons data & analyse platform voor de aanpak van ondermijning.

Apollo

Van eerste applicatie ondermijning met Zaanstad naar Apollo

Van verschijningsvormen naar lenzen

In onze zoektocht met gemeentes over een datagedreven aanpak van ondermijning, bleken er veel andere verschijningsvormen te zijn van ondermijnende criminaliteit. De basis van de ‘Zaanse ondermijningsapplicatie’ bleek echter ook geschikt voor de andere fenomenen: het slim combineren en analyseren van data om risicovolle locaties te vinden. Via het Open Development Programma zijn er op deze manier verschillende lenzen ontwikkeld om de verschijningsvormen te kunnen analyseren, waaronder het buitengebied, ondermijning in de horeca, vastgoedfraude, industrieterreinen, uitbuiting en mensenhandel, milieu, netwerkstructuren in risicobranches, de Risico Radar Ondermijning en drugslocaties. Deze lenzen zijn beschikbaar binnen ons Apollo platform voor een datagedreven aanpak van ondermijnende criminaliteit.

Lenzen combineren met signalen

Toen we met de gemeente Diemen aan de slag gingen met het fundament dat in Zaanstad is gelegd, bleek dat zij een aanvullende wens hadden. Kunnen we niet ook de signalen die we binnen krijgen op een gestructureerde manier bijhouden en analyseren in de applicatie? De meeste gemeentes krijgen vele signalen binnen die kunnen duiden op een vorm van ondermijnende criminaliteit. Voor het duiden en analyseren van deze signalen is toegang tot data nodig. Deze tweede vorm van analyse -een signaal-gedreven aanpak op basis van signalen en meldingen – biedt extra inzichten en versterkt het beeld wat er binnen de gemeente speelt. De vraag is echter, wat kan je met die kennis? Immers, de gemeente is geen politie.

Een bestuurlijke aanpak van ondermijning

Kenmerkend voor de bestuurlijke aanpak is dat het zich niet zozeer richt op de kernactiviteiten van georganiseerde criminaliteit, maar juist op de cruciale ondersteunende activiteiten. De maatregelen richten zich niet op personen, maar op situaties en gelegenheidsstructuren die georganiseerde criminaliteit faciliteren. De onderwereld is namelijk afhankelijk van legale logistieke voorzieningen, infrastructuren, technische expertise en van de overheid als vergunningverlener. Daarmee heeft het openbaar bestuur een belangrijk wapen in handen in de aanpak van ondermijnende criminaliteit. (Handboek bestuurlijke aanpak; CCV 2010; ISBN 978 90 77845 37 0.).

Het bestuurlijk instrumentarium kent echter wel degelijk een aantal bestuurlijke interventies, zoals het opleggen van sancties op grond van de Algemene wet bestuursrecht (Awb) en diverse andere wetten en activiteiten voor het al dan niet verstrekken of intrekken van vergunningen (de Algemene Plaatselijke Verordening, Drank- en Horecawet, Opium-wetgeving en het bestemmingsplan). En bij de toepassing van de Wet bevordering integriteitsbeoordelingen door het openbaar bestuur (Wet Bibob).

De vraag die de beleidsmedewerkers veiligheid keer op keer kregen van juristen was: op basis van welke grond mag je iets doen met die signalen? En daar komt het Model Privacy Protocol om de hoek kijken.  Immers, bij de bestuurlijke aanpak van ondermijnende criminaliteit, is een juiste afweging nodig om te bepalen of er wel sprake is van ondermijnende criminaliteit en of het wel binnen het bestuursrecht valt. Kortom, mag de gemeente hier wel op handelen? En zo ja, op basis van welke wetgeving?

Het Model Privacy Protocol

Het Model Privacy Protocol is in 2020 door de Rijksoverheid verspreid met als doel gemeenten te ondersteunen bij de wijze waarop zij informatie binnen gemeentes mogen uitwisselen voor de aanpak van ondermijning. Het biedt dan ook een basis voor een eigen privacy protocol voor de binnengemeentelijke gegevensuitwisseling en kan als handleiding dienen ten behoeve van de bestrijding van ondermijning. Zoals elk model moet ook dit model aangepast worden naar lokale omstandigheden, maar het geeft een goed uitgangspunt en is ons door meerdere juristen geadviseerd als een solide basis.

Het Model Privacy Protocol geeft een proces weer met verschillende fases, waarin signalen beoordeeld kunnen worden. Die verschillende weegpunten moeten helpen bij het beantwoorden van vragen zoals:

  • Kwalificeert het signaal wel als ondermijning?
  • Is het wel de gemeentelijke taak of bevoegdheid?
  • Valt het wel op het grondgebied van de gemeente?

Zie hieronder de schematische weergave van het proces (rechtstreeks ontleend uit het document van het Model Privacy Protocol). Het gaat te ver voor deze blog om het proces uit te schrijven – daarvoor kunt u het Model Privacy Protocol zelf raadplegen op de site van de Rijksoverheid.

 

Apollo implementatie van het Model Privacy Protocol

In Apollo wordt het proces van het Model Privacy Protocol volledig ondersteund, maar op een non-restrictieve manier. Dat wil zeggen: het biedt alle fases en stappen uit het Model Privacy Protocol, ondersteuning met inhoudelijke kwalificatie en alle mogelijkheid om toelichting te geven bij ieder weging, maar de mate waarin het afgedwongen wordt is flexibel. Zo kan het gebruikt wordt als een grote checklist met toelichting velden zodat de beleidsmedewerker alle zaken kan noteren en de juiste afweging kan maken, maar biedt het ook de ruimte om dat in stappen te doen.

 

Gedetailleerde checklist van Apollo

Gedetailleerde checklist van Apollo

De Apollo implementatie biedt samengevat de volgende functionaliteiten:

  • Juridische basis voor het beoordelen van signalen: door meerdere Privacy Officers als akkoord bestempeld als onderbouwing van gebruik gegevens en beoordeling signalen.
  • Voor beleidsmedewerkers biedt het een eenvoudige maar potentieel uitgebreide checklist om signalen te beoordelen volgens het Model Privacy Protocol.
  • Het raamwerk is gebaseerd op het Model Privacy Protocol (4 fases, verschillende weegmomenten en privacy checks), maar flexibel in te richten om aan uw lokale wensen en eisen te voldoen.
  • Eenvoudig signalen zoeken en beoordelen.
  • Rapportages over de signalen en beoordelingen om inzicht te krijgen.

Hopelijk geeft dit enig inzicht in hoe het Model Privacy Protocol een plek heeft gekregen in Apollo en geeft het een goed beeld van de wijze waarop wij je kunnen helpen bij de aanpak van ondermijnende criminaliteit.

Meer informatie of een demo?

Wil je meer weten over Apollo of zelfs een keer een demonstratie? Check dan de productpagina over Apollo.

Relevante links

Whitepapers

Nieuws

Blogs

Webinars

Praktijkcases

Productinformatie

Research

Foto credits: Dayne Topkin via Unsplash

Negen innovatieve ideeën voor de Woningbouw Monitor

Onze trouwe volgers weten dat de ‘Lean Startup’ een belangrijke inspiratiebron voor ons denken en doen is. In het kort: hoe kunnen we ideeën zo snel mogelijk toetsen op waarde alvorens we tijd en energie in de realisatie ervan gaan stoppen. Ook bij de doorontwikkeling van onze producten hanteren wij deze aanpak, waarbij we eerst proefversies (of ‘beta-versies’) van functies beschikbaar stellen om feedback op te halen bij onze gebruikers. Hoe ziet dat eruit? In dit blog belichten we 9 nieuwe ideeën voor de Woningbouw Monitor.

Het ‘Labs’ onderdeel van de Woningbouw Monitor is een verzameling innovatieve functionaliteiten (in ontwikkeling) die het productteam van Shintō Labs ontworpen heeft om gebruikers van de Woningbouw Monitor nog beter te ondersteunen. De nieuwe functies zijn nog niet helemaal uitontwikkeld, maar geeft de gebruikers van de Woningbouw Monitor wel de mogelijkheid om ze in een vroeg stadium uit te proberen en daar feedback op te geven,

 

Figuur 1: het ‘Labs’ onderdeel van de Woningbouw Monitor

Voor iedereen die zich aangemeld heeft is een nieuw menu item ‘Labs’ in de Woningbouw Monitor beschikbaar. Labs is permanent in ontwikkeling en de inhoud is dan ook aan verandering onderhevig. Op moment van schrijven bevat Labs  negen nieuwe functionaliteiten die ik hieronder zal toelichten:

  1. Snel overzicht plot
  2. Uitval prognose
  3. Vertraging analyse
  4. Doelstellingen plot
  5. BAG Woningvoorraad+
  6. Vergunningen
  7. Conversie
  8. Rubik’s Cube
  9. Rapportage lab

1. Snel overzicht plot

Probleem: specifieke (afwijkende) grafieken

De Woningbouw Monitor heeft verschillende grafieken en overzichten voor de beleidsmedewerkers. De veelvoorkomende vragen zoals: aantallen woningtypen, projectfase, opleverjaren, prijsklassen, huur/koop, sociale huur, etc. en zowel cumulatief als jaarlijks worden standaard meegeleverd en reageren bovendien op de filters aan de rechterkant. Maar, vaak zijn er specifieke vragen die nét niet in een standaard grafiek passen. Uiteraard kan alle data te allen tijde geëxporteerd worden naar Excel voor verder analyse en grafiekjes, maar soms wil de beleidsmedewerker even snel een eigen dwarsdoorsnede maken van de data.

Oplossing: zelf grafieken samenstellen

Met de Snel Overzicht Plot kan een beleidsmedewerker zelf grafieken samenstellen op basis van enkele parameters. Kies zelf welke groepen je wilt gebruiken en hoe je de kleurverdeling wenst. Kies vervolgens de gewenste opmaak zodat het visueel aan je wensen voldoet. Maak op deze manier in een handomdraai je eigen grafieken en sleep het grafiekje zo naar je Word-rapportage of presentatie.

Figuur 2: Snel overzicht plot

2. Uitval prognose

Probleem: “what if”-scenario’s doorrekenen

De Woningbouw Monitor is een cijfermatige werkelijkheid. Maar wie zegt dat alle projecten die in Planologische voorbereiding zitten ook daadwerkelijk gebouwd gaan worden? Iedereen die actief is in de woningbouw weet dat er altijd een mate van onzekerheid is – zeker nu. Hoe gaan we om met dit soort onzekerheden en halen we dan onze doelstelling wel?

Oplossing: Uitval Prognose

Met de uitval prognose kun je aangeven per projectfase hoe groot de kans is dat de woningen in de projecten binnen die fase ook daadwerkelijk gerealiseerd worden. Met een zekere bandbreedte en inschatting kan op die manier een aantal “what-if”-scenario’s worden doorgerekend.

Figuur 3: Uitvalprognose

3. Vertraging analyse

Probleem: Hoe weet je wat de kans is dat een project vertraagd?

Dat projecten vertragen is nu eenmaal een feit. Maar wat zijn kenmerken waardoor projecten vertragen? Welke factoren dragen daar aan bij?

Oplossing: Voorspellend model

Om deze vraag te beantwoorden hebben we met hulp van machine learning een decision tree gemaakt om een voorspelling te maken van het risico op vertraging. Je kunt zelf parameters kiezen die meegewogen worden in de analyse en het systeem geeft antwoord op de vraag welke factoren een rol hebben gespeeld.

 

Figuur 4: Vetragingsanalyse

4. Doelstellingen plot

Probleem: Halen we specifieke doelstellingen? En met welke scenario’s halen we onze doelstellingen ?

De programma match is een standaard functionaliteit van de Woningbouw Monitor, maar die geeft vooral aan men op koers ligt voor de algemene doelstellingen zoals gedefinieerd in het woonprogramma. Maar wat als we specifieke extra doelstellingen hebben? En verschillende scenario’s willen bekijken om te zien of dat haalbaar is?

Oplossing: Doelstellingen plot

Met de doelstellingen plot kunnen verschillende scenario’s doorgerekend worden om de oplevering per jaar te bepalen. Wat als we ‘x’-aantal woningen per jaar in de categorie ‘huur’ en ‘y’-aantal woningen in de categorie ‘koop’ realiseren, komen we dan uit met onze doelstellingen? Met dit soort scenario’s kan geanticipeerd worden op de beoogde doelstellingen.

5. BAG Woningvoorraad+

Probleem: Wat zit er op dit moment allemaal in mijn buurt/wijk/dorp/stad ?

In de basis hadden we vooral de BAG als bron voor de woningvoorraad. Maar steeds meer komt er vraag om meer kenmerken toe te voegen. Hoe staat het met de gezinssamenstelling? Inkomen? En andere sociaal-demografische voorzieningen? Maar ook: welke voorzieningen zijn er in de buurt? Deze informatiebehoefte is noodzakelijk voor de beleidsmedewerkers om de juiste afwegingen te maken, adviezen te geven en te rapporteren.

Oplossing: Meerdere bronnen combineren en inzichtelijk maken in de Woningvoorraad+

Met de BAG Woningvoorraad+ bieden we precies een antwoord op bovenstaande vragen. We combineren BAG data met CBS data en OSM om een goed beeld te geven wat er speelt in een buurt/wijk/dorp/stad. Je kunt op gemeente niveau, of een kleinere geografische eenheid kiezen (of zelf een gebied intekenen) en alle relevante informatie bevragen en samenvatten.

6. Vergunningen

Probleem: Zijn er relevant vergunningen afgegeven?

Om de informatiepositie van de beleidsmedewerker te versterken is er de behoefte om ook inzage te krijgen in welke vergunningen er afgegeven zijn. Een melding van een relevante vergunningen kan voor de beleidsmedewerker een signaal zijn om bepaalde projecten aan te passen of om contact op te nemen met de betreffende afdeling om de details op te vagen.

Oplossing: Vergunningen

De Vergunningen functionaliteit doet eigenlijk wat je zou verwachten: het ‘luistert’ naar een open data set met gepubliceerde vergunningen, filtert die op relevantie en laat die in een overzicht zien. Aan de hand van de voorkeuren van de beleidsmedewerker kan deze datastroom geoptimaliseerd worden.

7. Conversie: data conversie monitor

Probleem: Datakwaliteit van integraties waarborgen

De Woningbouw Monitor heeft soms integraties met achterliggende systemen uit de ‘back office’ van een gemeente. Die data wordt dan periodiek opgehaald, opgeschoond en ingelezen. De data is echter zelden volledig opgeschoond, van hoge kwaliteit, en betrouwbaar. Hoewel het wel mogelijk is om geïmporteerde data te wijzigen in de Woningbouw Monitor wordt dit idealiter in de bron aangepast. Maar hoe hou je zicht op wat er wel en wat er niet goed gaat?

Oplossing: Data conversie monitor

De data conversie monitor houdt keurig bij welke import wanneer is gedaan en wat er wel en wat er niet goed is gegaan. Zo ontstaat er een uitval lijst waarmee de bron eigenaren de nieuwe data import in een aantal iteraties kunnen optimaliseren. Bekijk het webinar met de gemeente Ede over hoe zij op deze manier in enkele slagen de uitval lijst met 90% hebben weten te reduceren.

8. Rubik’s Cube

Probleem: Datasets grouperen en kantelen

De datastructuur van de Woningbouw Monitor is opgebouwd uit rijen met project (en deelproject) informatie. Maar soms wil je de data ook ‘kantelen’ of op een andere manier ‘groeperen’, net als bij de Rubik’s Cube.

Oplossing: Rubik’s Cube

De Rubik’s Cube is een nieuwe module waarbij je bestaande datasets kunt groeperen en kantelen om zo nieuwe inzichten te krijgen en nieuwe rapportages te maken. Dit wordt typisch gebruikt in een gemeente met meerdere kernen om zo de data te groeperen per woonkern en dit verder uit te splitsen. De Rubik’s Cube is een hele leuke nieuwe toevoeging die veel gebruikt wordt

9. Rapportage

Probleem: Eigen rapportages

Shintō Labs levert standaard de provincierapportage en daarnaast kunnen alle selecties altijd geëxporteerd worden (naar Excel). Maar soms willen gemeentes een eigen rapportage voor specifieke overleggen. Dat kan zijn op basis van bepaalde kenmerken of statussen (bijvoorbeeld: groepeer alle projecten met juridische status ‘in aanbouw genomen’), soms op basis van geografische eigenschappen ‘binnen de ring’ en ‘buiten de ring’, etc. Dit soort maatwerk Excel rapportages worden door gemeentes gebruikt bij overleggen rondom prioritering.

Oplossing: Rapportages

Shintō Labs heeft om die reden een module ontwikkeld voor eigen rapportages waarbij de beleidsmedewerker met een druk op de knop de gewenste rapportage gepresenteerd krijgt. Afhankelijk van hoe generiek de wensen zijn worden deze rapportages standaard aangeboden in het Lab voor andere gemeentes.


Dit zijn negen voorbeelden van functionaliteiten die uit de Labs van de Woningbouw Monitor komen. Er zijn nog meerdere functionaliteiten in ontwikkeling. Mocht je hiervan op de hoogte willen blijven, schrijf je dan in voor onze nieuwsbrief of neem gerust contact met ons op.

Zie ook

Webinar

Whitepapers

Blogs

 Testimonials

Foto credit: Michael Bader op Unsplash

Podcast: Een datagedreven aanpak van ondermijning in de gemeente Diemen

Op 22 september jl. vond de 7e editie van het congres Ondermijning & Georganiseerde Criminaliteit plaats. Tijdens dit congres was er de workshop ‘Je gaat het pas zien als je het doorhebt’ van Anton Siebert, beleidsadviseur Openbare orde & Veiligheid van de gemeente Diemen.

Anton Siebert en Jurriaan Souer in actie tijdens de workshop op het Congres Ondermijning en Georganiseerd Criminaliteit

Tijdens die workshop vertelde Anton over de aanpak van woonfraude met het project Scheerlicht. Samen met Jurriaan Souer van Shintō Labs ging hij dieper in hoe je van incident gedreven aanpak tot een datagedreven aanpak van woonfraude kan komen op basis van het Apollo platform.

Tijdens het congres is ook een podcast opgenomen waarin Anton en Jurriaan hierover hebben verteld. Deze podcast is hier terug te luisteren:

Podcast

Wil je ook de andere podcasts die tijdens het congres zijn opgenomen beluisteren? Check dan de congreswebsite van het Studiecentrum Bedrijf & Overheid. Wil je op de hoogte blijven van de ontwikkelingen? Schrijf je dan in voor onze nieuwsbrief!

Relevante links

Whitepapers

Nieuws

Blogs

Webinars

Praktijkcases

Productinformatie

Research

Vertrouwen vergroten door middel van Explainable Artificial Intelligence (XAI)

Om een master af te ronden moet je een scriptie schrijven. Niet helemaal mijn ding, heel veel lezen, heel veel schrijven maar gelukkig bestaat er ook de optie om voor een afstudeerstage te kiezen. Nog steeds een scriptie schijven maar dan in samenwerking met een bedrijf over een fenomeen dat niet alleen maar theoretisch van toepassing is. Met mijn interesse in artificial intelligence (AI) en explainable artificial intelligence (XAI) ben ik dus opzoek gegaan naar een bedrijf om een afstudeerstage bij te doen.

Dave Emons

Tot mijn geluk reageerde een oud-student en data scientist van Shintō Labs op mijn oproep op LinkedIn. Hij vertelde me over Shintō Labs die data gedreven oplossingen ontwikkelen voor de overheid. En over een AI toepassing op het gebied van document classificatie waar de eindgebruikers een enigszins sceptische houding tegenover hadden aangenomen. Dat klinkt als de ideale casus: vergroot het vertrouwen door met XAI inzicht te bieden in de redenering van de document classificatie AI. Bij de eerste kennismaking kon ik al proven van de sfeer en mentaliteit van Shintō Labs, veel autonomie, no-nonsense en een drive om door te blijven groeien. Alles leek eigenlijk te mooi om waar te zijn. Gek genoeg was het allemaal gewoon waar.

Vakken volgen aan de universiteit vond ik eigenlijk maar saai. Het verliep allemaal soepel en ik kwam gewoon opdagen maar ik verveelde me vooral. Mijn afstudeeropdracht bood hierin de uitkomst. Hier had ik zelf de touwtjes in handen en kon ik mijn ei helemaal in kwijt. De wekelijkse meetings met data scientist Wesley hielpen mij enorm om niet te hard van stapel te lopen, een planning te maken en bij te sturen waar nodig. Naast een hoop gezelligheid had ik ook genoeg sparring partners en was er ook de ruimte om zelf ideeën aan te dragen. Tot mijn verbazing werd ik zelfs meegenomen in de werking van heel het bedrijf met de maandelijkse Shinteam meetings en voelde ik me echt onderdeel van het team. Zo kon ik ook nog een beetje proeven van wat me te wachten stond na de universiteit wat alleen maar motiveerde. Al met al, voor mij de ideale plek voor een afstudeerstage.

In dit blog vertel ik graag meer over mijn onderzoek, wat ik geleerd heb en wat de resultaten zijn. Of check de video waarin ik erover vertel.

De casus

Toen ik net begon werd mij verteld dat de AI een ‘multiclass large-scale natural language processing text classification probleem oplost met een multilayer perceptron gebaseerd op word count’. Een hoop gegoogle en een afstudeer project verder, weet ik inmiddels wel wat dit allemaal betekent maar zal ik pogen het hier simpeler uit te leggen.

Sommige gemeentes krijgen meer dan 10,000 documenten binnen per maand. Deze documenten krijgen allemaal een zaaktype toegewezen zoals “kapvergunning”, “aangifte” of “informatieverzoek”. Voorheen werd dit met de hand gedaan door gemeente medewerkers. De AI ontwikkeld door Shintō Labs scant een document en telt hoe vaak ieder woord voorkomt. Dit wordt vergeleken met voorgaande documenten en zo wordt een van de 243 zaaktypes gesuggereerd. Nu hoeft de gemeentemedewerker enkel nog de AI te controleren aangezien zij verantwoordelijk blijven voor het eindresultaat.

 

multi layer perceptron

Figuur 1: Illustratie van een MLP architectuur (Rodriquez, 2020)

In deze situatie werken de medewerker en de AI als het ware samen in een team. Hoe goed dit team fungeert hangt voornamelijk af van hoe goed de medewerker is in het accepteren van correcte suggesties van de AI en het corrigeren van foutieve suggesties. De belangrijkste factor in dit team is een gekalibreerd vertrouwen in de AI. Mocht de medewerker te veel vertrouwen hebben in de AI dan worden te veel foutieve suggesties geaccepteerd zonder kritisch na te denken. Mocht er te weinig vertrouwen zijn dan worden te veel correcte suggesties genegeerd.

Vertrouwen in mens-AI teams ontwikkelt zich ongeveer hetzelfde als vertrouwen tussen mensen. Stel je vraagt een collega om eenmalig een taak van je over te nemen maar je collega verprutst dit, dan ben je minder snel geneigd deze collega in de toekomst wederom een taak toe te vertrouwen. Doet je collega het goed, dan bevestigd dat het vertrouwen dat je in hen plaatst en vraag je ze in de toekomst misschien weer. Op een soortgelijke manier als mensen een AI een fout zien maken daalt hun vertrouwen. Pas na lange periodes dat de AI het goed doet bouwt het vertrouwen langzaam op. Het grootste verschil tussen mens-AI vertrouwen en vertrouwen tussen mensen is dat vertrouwen in AI veel harder daalt wanneer er een fout wordt gemaakt.

Om dit fenomeen tegen te gaan suggereert literatuur om uitleg te bieden naast AI suggesties. Inzicht in hoe een AI anders informatie verwerkt dan mensen (woorden tellen i.p.v. zinnen lezen), de interne werking van een AI en de redenering gebruikt door de AI zijn effectief gebleken in het kalibreren van vertrouwen. Nu is een multilayer perceptron een vorm van een neuraal netwerk, een AI model dat ook beschreven wordt als een black-box model. Hoewel het in theorie mogelijk is alle berekeningen die de AI doet met de hand te doen, wordt je daar niet gelukkig van, dankjewel Business Analytics ☹️, bovendien word je er ook niks wijzer van. Deze laatste eigenschap maakt het een black-box model. Explainable artificial intelligence technieken zijn ontworpen om toch inzicht te krijgen in de werking van black-box modellen.

SHAP en Natural Language Processing

Een computer kan niet lezen, in ieder geval niet op de manier hoe wij mensen dit doen. In plaats daarvan telt de AI hoe vaak ieder woord voorkomt in een document in verhouding tot in hoeveel documenten dit woord ten minste een keer voorkomt. Doet noemt men term-frequency inverse-document-frequency (tf-idf) wat een waarde produceert tussen de 0 en 1 voor ieder woord. Een hoge waarde geeft aan dat dit woord vaak voorkomt in dit document en zelden in andere documenten. Dit geeft een indicatie dat dit woord definiërend is voor dat document. Ieder document wordt gecodeerd als tf-idf waardes voor alle woorden in het vocabulaire van de AI (16,618 woorden). Deze waardes worden vervolgens door de multilayer perceptron (het neuraal netwerk) gebruikt om te berekenen welk van de 243 zaaktypes het meest waarschijnlijk is.

Hoewel tf-idf waardes een indicatie geven welke woorden belangrijk zijn voor een bepaald document, geeft het geen inzicht in welke woorden de AI uiteindelijk gebruikt om tot een suggestie te komen. Om daar achter te komen is SHAP (SHapley Additive exPlanations) toegepast. SHAP is gebaseerd op shapley values, een concept uit speltheorie dat gebruikt wordt om een spelers contributie binnen een team tot een bepaald doel te bepalen. In ons geval berekent SHAP de contributie van ieder woord tot de uiteindelijke suggestie.

Figuur 2 is een voorbeeld van wat SHAP doet. In dit geval is de AI 95.4% zeker dat een document “gemeenteplek peuteropvang aanvraag” betreft. Het woord dat hier het meeste aan bijdraagt is “kdv” (kinderdagverblijf) en is verantwoordelijk voor 9% van de 95.4% zekerheid.

Figuur 2: SHAP simuleert de AI besluitvorming en berekent de bijdrage van ieder woord aan de zekerheidspercentage

De intuïtie is dat gemeentemedewerkers bovenstaande informatie zien en denken “dat klinkt logisch, dit kan ik vertrouwen”. Maar ook wanneer de AI een fout maakt is het op deze manier mogelijk om te zien welke woorden de AI op een dwaalspoor zette. Hier inzicht in krijgen schept hopelijk meer begrip naar de AI en zorgt er voor dat vertrouwen minder hard daalt wanneer het een fout maakt.

De resultaten

Eindgebruikers hebben deelgenomen aan een experiment waarin ze suggesties van de AI te zien krijgen met of zonder SHAP uitleg. Bij iedere suggestie hebben zij de keuze om de suggestie te accepteren of af te wijzen. De helft van de suggesties zijn correct zodat iemand die simpelweg zou gokken 50% correct zou accepteren en afwijzen. Deelnemers met uitleg behalen een score van 52.7% tegenover een score van 45% zonder uitleg. Dit klinkt veelbelovend maar wegens het kleine aantal deelnemers (n=8) is er geen statistisch significant verschil (eenzijdige proportie test, P<0.3).

Wegens het kleine aantal deelnemers en een grote variatie in ervaring met de AI is het niet mogelijk conclusies te trekken of uitleg ervoor zorgt dat deelnemers vaker de AI vertrouwen of dat het vertrouwen minder daalt wanneer de AI een fout maakt. Het valt wel op dat deelnemers met meer ervaring met de AI het veel minder vertrouwen. Zij accepteren 36.7% van de suggesties tegenover 77.8% van deelnemers met weinig tot geen ervaring met de AI (eenzijdige proportie test, P<0.0005). Deze bevinding is in lijn met bestaande literatuur en de gerapporteerde sceptische houding van de medewerkers.

Het lijkt er dus op dat naarmate mensen meer ervaring hebben in samenwerken met AI ze de AI meer fouten zien maken en steeds minder gaan vertrouwen. Uitleg toevoegen aan AI suggesties lijkt een mogelijke oplossing te zijn maar er is meer data nodig om hier betrouwbare conclusies over te trekken.

De noodzaak om iets te doen aan het dalende vertrouwen binnen mens-AI teams is duidelijk. Zelf denk ik nog steeds dat XAI hier een veelbelovende rol in kan spelen. Het helpt mij als ingenieur in ieder geval om duidelijk te krijgen dat de AI het probleem oplost dat ik wil dat het oplost. Ik verwacht veel van wat ik tijdens dit project geleerd te heb toe te kunnen passen nu ik een carrière in de industrie begin. Verder hoop ik vooral dat Shintō Labs hier ook iets aan hebben en doorgaan met betekenisvolle datagedreven oplossingen maken.

Foto credits: Shahadat Rahman on Unsplash

Zes tips voor Minister de Jonge en de Tweede Kamer

‘Kamer dwingt minister tot openbaar maken van woningbouwplannen’ kopte de website van Cobouw. Uit onderzoek door Cobouw en Follow the Money bleek dat er 1,2 miljoen woningen gepland zijn de komende vijftien jaar, maar dat de plannen ervoor vaak boterzacht zijn. Problemen met de administratie van de plancapaciteit en een gebrek aan landelijk overzicht leiden tot onzekerheden en mismatches in de cijfers.

Wij vielen niet van onze stoel bij dit bericht. We zijn nu al een paar jaar bezig om overheden te helpen om een goed fundament in te richten voor het monitoren van de woningbouw plannen. Er is hier een wereld te winnen. De vraag van de Kamer is legitiem, de uitvoering ervan is – zoals zo vaak – minder simpel dan je zou denken. Zonder dat wij alle wijsheid in pacht hebben zetten we hier een aantal tips voor de minister en de Kamer op een rij.

Van harde en zachte plannen naar projectfases

De motie van CDA, VVD stelt dat er een duidelijke definitie van harde en zachte bouwplannen nodig is. Door het ontbreken daarvan bestaan er grote verschillen in de datasets van gemeenten en provincies. Daardoor geven de landelijke cijfers een verkeerd beeld en is het onduidelijk of woningbouwplannen ook daadwerkelijk worden gerealiseerd op het moment en op de plek die is beloofd. En dit is dus een probleem want op die manier hebben we geen idee of we op koers liggen om dit nijpende probleem op te lossen en kunnen we ook niet bijsturen indien nodig. In onze ervaring is de opsplitsing naar ‘harde’ en ‘zachte’ plannen weinig zinvol en te generiek. Praktischer en inzichtelijker is het opsplitsen van de projecten naar projectfase. Daarmee krijg je een scherper beeld van de voortgang van de woningproductie en of er projecten langdurig stilliggen of vertragen.

Beheren is organiseren

Een goede informatiehuishouding begint bij een goede organisatie. In de meeste gemeenten waar wij actief zijn is het bijhouden van alle informatie over de woningbouw plannen belegd bij een of twee beleidsmedewerkers wonen. Bovendien moeten zij het er vaak ‘bij doen’. Het is een arbeidsintensief proces en voor de status van de plannen zijn ze vaak afhankelijk van project- of programmamanagers in de gemeente, die dit overigens ook niet altijd weten want zij zijn op hun beurt weer afhankelijk van de projectontwikkelaars en woningbouw corporaties. Je snapt het al: hierdoor ontstaat ruis. Een goede verdeling van taken en verantwoordelijkheden en het ‘wegsnijden’ van overbodige stappen in het proces zou hier kunnen helpen.

Professionaliseren datamanagement

De meest gemeenten gebruiken Excel om informatie over woningbouw plannen bij te houden. In de basis is er niets mis met het gebruik van Excel maar in de meeste gevallen voldoet het niet als centraal datamanagement tool. Door de toenemende hoeveelheid data en steeds specifiekere en gevarieerdere behoefte aan managementinformatie van beleidsadviseurs, programmamanagers, bestuur en de raad, is een spreadsheet kwetsbaar, bewerkelijk en foutgevoelig. Kies een goed fundament voor het beheren van deze data dat op een flexibele manier deze data kan ontsluiten naar de regio, provincies en waarom ook niet: een landelijke omgeving. Er zijn al meerdere initiatieven in die richting, waaronder onze samenwerking met Capital Value voor de Nationale Woningbouw Monitor.

Samenwerking in de keten

Zoals eerder benoemd zijn er een grote veelheid aan partijen betrokken en nodig om de uitdaging op het gebied van woningbouw aan te pakken. De belangrijkste spelers zijn gemeenten, woningcorporaties en ontwikkelaars. In de praktijk werken deze partijen zelden samen op het vlak van informatievoorziening. Iedereen heeft zijn eigen beeld van plannen en de status daarvan. Door hierover met elkaar het gesprek aan te gaan ontstaat ook een beter en gedeeld beeld ook van de fase en realiseerbaarheid van de plannen. Recent zijn we in contact gekomen met Martin Bosch, voormalig directeur van de gemeente Alkmaar, die met Woningmakers deze partijen samen om tafel brengt. In dit blog legt hij uit wat het belang is van samenwerking tussen publieke en private partijen. Wat ons betreft een mooi voorbeeld van de wijze waarop dit mogelijk is.

Samenwerking in de regio

De uitdagingen van de woningbouw eindigen niet bij de gemeentelijke grenzen. Hoewel dit evident lijkt, blijkt informatiedeling in regionaal verband eerder uitzondering dan de regel. Een van de eerste regio’s die hier actief mee aan de slag ging was Zaanstreek Waterland. Onder begeleiding van Tom Pots, die datagestuurd werken in regionaal verband stimuleert, zijn de verschillende gemeentes bij elkaar gebracht om deze problematiek samen aan te pakken. Inmiddels zien wij ook meer regio’s volgen. Door het delen van relevante informatie kan er in regionaal verband afstemming plaatsvinden op het gebied van woningproductie, afgezet tegen de bestaande voorraad en huidige en toekomstige behoefte.

Stop de druk vanuit de provincie

Ieder jaar begint in het eerste kwartaal weer de stress bij veel gemeenten omdat begin april de nieuwste rapportages bij de provincie aangeleverd moeten worden. En ieder jaar is het weer de vraag wat ze dít jaar weer als extra’s vragen. Nog even los van het feit dat verschillende provincies verschillende rapportage eisen stellen (de een in een grote Excel, de ander op een website volgens formaat X, een derde volgens formaat Y),  lijkt het ieder jaar ook een willekeurige verzameling nieuwe vragen te zijn. Het resultaat is dat veel beleidsmedewerkers druk in de weer zijn om aan nieuwe rapportage wensen en eisen te voldoen. Kies komend jaar voor één formaat waar alle provincies het komende 5 jaar mee moeten doen. Dat geeft de gemeentes rust en ruimte om aan hun echte werk te komen: de aanpak van de woningnood.

Conclusie

De motie Geurts onderstreept het belang van een goede informatiepositie om het woningvraagstuk aan te pakken. Dit kunnen we alleen realiseren als we nadenken over hoe we een en ander organiseren. Niet alleen binnen gemeenten, maar ook tussen publieke en private partners. De techniek is er al en ook de manier van organiseren gebeurt al in de praktijk. Nu alleen nog vaker toepassen…

Zie ook

Webinar

Whitepapers

Nieuws

Blogs

Testimonials

Foto credits:  Mark Potterton via Unsplash

Ondermijning in 2021: naar weerbare wijken en een structurele aanpak

Kwetsbare personen in de samenleving: meekijken in een Design Sprint

Hoe maak je een goede data story?