Tag Archief van: ai

De Brabantse Dag van het Wonen – samen werken aan de woonopgave van morgen

/door

Op donderdag 23 oktober vond in het iconische Evoluon in Eindhoven de Brabantse Dag van het Wonen plaats. Een inspirerende dag vol kennis, innovatie en samenwerking — en uiteraard kon Shintō Labs daar niet ontbreken. Als leverancier voor alle Brabantse gemeenten, regio’s en de provincie, en als koploper in software voor procesondersteuning, samenwerking  en data & AI, waren wij aanwezig om te laten zien hoe technologie helpt de woningbouwopgave slimmer, sneller en transparanter te realiseren.

De opgave en de kansen

Tot 2035 moeten er in Brabant minstens 150.000 nieuwe woningen bijkomen. Een ambitie die vraagt om vernieuwing — in aanpak, samenwerking én technologie. Het thema van dit jaar stond dan ook in het teken van de kracht van data en kunstmatige intelligentie. Van het monitoren van woningbehoeften tot het versnellen van planprocessen en het verbeteren van besluitvorming: steeds meer partijen ontdekken hoe digitale hulpmiddelen de bouwversnelling kunnen ondersteunen.

Een dag vol inspiratie

Dagvoorzitter Esther van der Voort leidde het plenaire programma, met een prikkelende keynote van Koert van Mensvoort (Next Nature). Hij liet ons nadenken over hoe technologie niet tegenover, maar juist naast de natuur staat: als verlengstuk van ons leefmilieu. Koert presenteerde zijn ‘Pyramid of Technology’, gebaseerd op de piramide van Maslow. Deze laat zien hoe technologie zich ontwikkelt van een idee (envisioned), via applied en accepted, tot het moment waarop ze vanzelfsprekend wordt (natural).

Afbeelding 1: Pyramid of Technology

Aan de hand van voorbeelden als WiFi en riolering liet hij zien hoe innovaties ooit begonnen als experiment, maar inmiddels zo geïntegreerd zijn dat we ze nauwelijks nog als technologie ervaren. Toen hij de zaal vroeg waarmee we liever een week zonder zouden doen — WiFi of riolering — volgde een moment van reflectie: beide zijn menselijke uitvindingen, beide onmisbaar. Het illustreerde mooi hoe snel technologie verweven raakt met ons dagelijks leven.

Aansluitend toonde TNO concrete voorbeelden van innovatieve technologie in Brabant, waaronder het gebruik van digital twins voor integrale ruimtelijke planning. Door digitale kopieën van gebieden, wijken of gebouwen te koppelen, ontstaan nieuwe mogelijkheden om beleid te toetsen en ruimtelijke keuzes beter op elkaar af te stemmen.

Parallelsessies vol praktijkvoorbeelden

In de parallelsessies kwamen uiteenlopende thema’s aan bod:

  • Efficiënt planproces – de 100-dagenaanpak en parallel plannen, over hoe gelijktijdige in plaats van opeenvolgende processen doorlooptijden kunnen verkorten.
  • WoonZorgwijzer, een krachtig instrument dat inzicht geeft in woonzorgbehoeften op wijkniveau.
  • Brabants model anterieure overeenkomst, waarmee planprocedures drie tot zes maanden kunnen worden versneld.
  • Circulair bouwen, waar ketenpartners samen werkten aan een toekomstbestendige, herbruikbare bouwketen.
  • En natuurlijk de finale van de Brabantse Stijlprijs, waarin de mooiste en meest innovatieve woningbouwprojecten van de provincie in de spotlight stonden.

Efficiënt planproces: sneller door samenwerking

Tijdens de sessie ‘Efficiënt planproces – de 100-dagenaanpak en parallel plannen’ werd op een interessante manier uiteengezet hoe door met elkaar om tafel te gaan en op nieuwe manieren projecten te plannen, de doorlooptijden van projecten drastisch verkort kunnen worden. Aan de hand van een praktijkcase in Roosendaal werd duidelijk dat een project dat normaal zes tot zeven jaar zou duren om van de grond te krijgen, nu in minder dan twee jaar kon worden doorlopen. Naast procesinnovatie blijkt ook de menselijke factor cruciaal: betrokkenheid, vertrouwen en soms zelfs een ijsje tijdens een warm zomeroverleg bleken minstens zo belangrijk om samen écht versnelling te realiseren.

Afbeelding 2: Vijf principes van Parallel Plannen


Onze bijdrage: Publiek-Private Monitor en AI in de praktijk

Tijdens de deelsessie over de Publiek-Private Monitor deelden wij hoe gemeenten, provincies en ontwikkelaars met behulp van Juno en AI-gestuurde inzichten samenwerken aan één gedeeld beeld van de woningbouwvoortgang. Samen met Ruud Kruip, die vanuit zijn ruime ervaring bij het RVO en als begeleider van versnellingstafels een scherp oog heeft voor de praktijk, werken wij aan het verder ontwerpen en optimaliseren van de PPM-module in Juno.

Deze samenwerking combineert Ruuds kennis van procesdynamiek en bestuurlijke samenwerking met onze expertise in digitale ondersteuning, datavisualisatie en AI. Het resultaat is een instrument dat niet alleen inzicht geeft, maar ook actief helpt om samenwerking tussen publieke en private partijen te versterken — precies wat nodig is om de woningbouwopgave van Brabant verder te brengen.

Tijdens de sessie lieten we samen met Ruud Kruip zien dat het werken volgens de Publiek-Private Monitor-methodiek in de praktijk helemaal niet ingewikkeld hoeft te zijn. Ruud, die zijn ervaring bij onder meer RVO en verschillende versnellingstafels meebracht, liet zien hoe een helder template en een gestructureerde aanpak gemeenten en ontwikkelaars direct op weg helpen. ‘Je kunt er eigenlijk morgen al mee aan de slag,’ was zijn boodschap.

Afbeelding 3: Ruud Kruip over Publiek-Private Monitor

Jurriaan Souer vulde aan dat dit niet alleen theorie is — de methodiek is nú al toepasbaar binnen Juno. De bestaande functionaliteiten ondersteunen de PPM-aanpak al volledig, en de komende periode wordt gewerkt aan verdere optimalisatie van de PPM-module om de samenwerking tussen publieke en private partners nog makkelijker te maken.

Aansluitend maakte Jurriaan Souer de brug naar de rol van kunstmatige intelligentie binnen Juno. AI is volop in ontwikkeling, en de verwachtingen zijn – zoals ook te zien is in de Gartner Hype Cycle – torenhoog. Waar sommige toepassingen nog experimenteel zijn, ontstaan nu al concrete kansen om processen slimmer te ondersteunen en informatie beter te benutten.

Jurriaan legde kort uit wat Agentic AI betekent: AI-systemen die niet alleen antwoorden geven, maar zelfstandig doelen kunnen nastreven, acties uitvoeren en leren van de context waarin ze werken. Daarmee verschuift AI van een passieve assistent naar een actieve partner in optimalisatie van datagedreven werken.

Afbeelding 4: Jurriaan Souer over gebruik AI in Juno

Binnen Juno verkennen we de eerste toepassingen van deze technologie, bijvoorbeeld bij het automatisch signaleren van problemen met datakwaliteit, het analysere van knelpunten in de woningbouwketen, het voorspellen van planvertragingen of het slim koppelen van regionale data aan beleidsdoelen.

De sessie eindigde met een interessante discussie met de aanwezigen over hoe en waar AI de meeste waarde kan toevoegen. De belangrijkste vraag lijkt te zijn hoe we de kwaliteit van alle werkzaamheden kunnen ondersteunen.

Conclusie: Samen bouwen we aan de toekomst

Wat deze dag vooral liet zien, is dat de woonopgave geen solitaire puzzel is, maar een gezamenlijke inspanning. Technologie, data en samenwerking vormen samen de sleutel. Bij Shintō Labs blijven we daar met volle overtuiging aan werken — samen met onze Brabantse partners, aan een toekomstbestendige, leefbare en datagedreven woningbouw.

Update: Digitaal Magazine

Heb je de Dag van het Wonen gemist? Of wil je alles nog eens rustig nalezen? In deze digitale terugblik vind je sfeerbeelden, verslagen van de kennissessies, de winnaars van de Brabantse Stijlprijs en linkjes naar de gegeven presentaties.

Zie ook

Whitepaper

Blogs

Nieuws

Sturen op woningbouw met AI: van datasysteem naar regieplatform

/door

Bij Shintō Labs zijn we continu bezig met de vraag: hoe kunnen we Juno nog waardevoller maken voor onze gebruikers? In gesprekken met gemeenten, provincies en partners horen we steeds vaker interesse in de inzet van artificial intelligence (AI). Tegelijkertijd zien we dat AI zich razendsnel ontwikkelt — niet alleen als techniek, maar ook als denkwijze. We zijn daarom aan het verkennen hoe we AI op een doordachte en bruikbare manier kunnen integreren binnen Juno. Wat zou het kunnen betekenen voor dataverwerking, monitoring, beleidsanalyses of samenwerking met externe partijen? En hoe ziet de toekomst eruit als we Agentic AI inzetten als ondersteuning voor de beleidsadviseur?

In deze blog delen we onze eerste ideeën en verkenningen. Geen productaankondiging, maar een inkijkje in hoe wij als ontwikkelaars, ontwerpers en denkers kijken naar de rol van AI in het woningbouwdomein. We nodigen je uit om mee te denken.

AI als motor voor conversie en dataverrijking

Gemeentelijke beleidsinformatie is zelden netjes gestructureerd. Het zit in PDF’s, in e-mails, in raadsvoorstellen of in losse Excelbestanden van een woningcorporatie. Op dit moment moeten gebruikers zelf deze informatie overnemen in Juno. Maar AI kan helpen door deze gegevens automatisch te herkennen en om te zetten naar het juiste datamodel. Denk aan een algoritme dat een projectplan leest, herkent dat het om 48 woningen in de middenhuur gaat met start bouw in Q1 2026, en dit meteen correct in het systeem zet.

Ook onduidelijke, contextafhankelijke informatie kan door AI worden geïnterpreteerd. Als er bijvoorbeeld sprake is van een ‘optopping van een bestaand gebouw’, weet het model straks: dit telt als woningbouw via verbouw, en moet dus anders verwerkt worden dan reguliere nieuwbouw.

AI als copiloot bij het maken van analyses

Veel gebruikers willen “meer uit Juno halen” zonder dat ze zelf diep in de filters hoeven te duiken. Door AI toe te voegen aan de interface, kun je als gebruiker straks in gewone taal vragen stellen aan het systeem: “Toon alle projecten in mijn gemeente die meer dan 12 maanden vertraging oplopen” of “Geef me alle projecten waarvan de betaalbaarheidscategorie nog onbekend is.”

Maar AI kan ook zelfstandig verbanden leggen: zijn er geografische clusters waar projecten structureel vertragen? Welke projectontwikkelaars komen vaak voor bij vertraagde oplevering? Wat is de impact van een beleidswijziging in de provincie op de regionale plancapaciteit? Dit soort analyses worden mogelijk door AI-modellen die continu meekijken naar het geheel van de data, niet alleen individuele projecten.

Slimmer omgaan met administratie en invoer

Een veelgehoorde drempel bij het werken met monitorsystemen is het handmatig invoeren van gegevens. Door AI slim in te zetten, kan dat proces versneld én verrijkt worden. Bijvoorbeeld door automatische suggesties te geven op basis van eerdere invoer (“Bedoel je hier fase 2 van project De Akkers?”), of door het systeem incomplete invoer te laten aanvullen met voorgestelde waarden.

Ook kan AI meekijken tijdens het invullen en waarschuwen als iets niet klopt — bijvoorbeeld als de start bouw vóór de vergunningsdatum ligt, of als een project 600 woningen bevat terwijl het gekoppeld is aan een plan voor 120. Op die manier fungeert AI als een oplettende collega die meekijkt en helpt, zonder dat je erom hoeft te vragen.

AI als brug naar externe informatiebronnen

Een terugkerende uitdaging is dat gemeenten vaak afhankelijk zijn van informatie van anderen: projectleiders, gebiedsregisseurs, corporaties of marktpartijen. Wat als AI je hierbij zou kunnen helpen? Een agent zou bijvoorbeeld namens de gemeente automatisch gegevensverzoeken kunnen uitsturen naar externe partners, en de ontvangen informatie zelfstandig verwerken — inclusief signalering van ontbrekende onderdelen of tegenstrijdigheden.

Ook openbare bronnen kunnen worden benut. AI kan bijvoorbeeld automatisch besluiten van het college of de raad analyseren en beoordelen of ze relevant zijn voor de woningbouwplanning in Juno. Daarmee wordt de beleidsadviseur niet alleen ontlast, maar ook versterkt: het systeem attendeert je proactief op belangrijke informatie.

Van AI-tool naar agent: de toekomst van Juno

De volgende stap is het ontwikkelen van zogeheten AI-agents: digitale assistenten die zelfstandig taken uitvoeren binnen een duidelijke opdracht en context. Denk aan een planningsagent die continu in de gaten houdt of projecten nog op schema liggen en tijdig adviseert bij afwijkingen. Of een beleidsagent die op basis van Juno-data alternatieve beleidsstrategieën genereert, bijvoorbeeld voor het halen van woningbouwdoelstellingen uit woondeals.

De echte kracht van Agentic AI zit in de mogelijkheid om doelgericht en proactief te werken. Zo’n agent wacht niet tot jij iets vraagt, maar komt zelf met relevante suggesties, stelt prioriteiten voor rapportages, of signaleert structurele datagebreken.

Tot slot: van monitor naar meedenker

Met de inzet van AI verandert Juno van een registratiesysteem naar een actieve partner in de woningbouwopgave. Door slim gebruik te maken van technologie kunnen we routinewerk reduceren, betere inzichten ontsluiten en samenwerking met partners versnellen. En met Agentic AI aan de horizon komt de beleidsadviseur niet alleen sterker te staan, maar ook minder alleen te staan.

Ben jij benieuwd hoe AI jouw werk met Juno kan versterken? Of heb je ideeën voor slimme agents? Neem dan contact met ons op!

Zie ook

Whitepaper

Webinar

Blogs

Van losse excels naar één cockpit: zo helpt Juno bij regie op de woningbouwopgave

/door

De woningbouwopgave in Nederland is enorm: honderdduizenden woningen moeten erbij, onder hoge tijdsdruk en met beperkte ruimte. Er zijn prestatieafspraken, woondeals, NOVEX-gebieden, woonzorgopgaven — en daarbovenop steeds meer behoefte aan transparantie richting bestuur en samenleving. Maar wie heeft eigenlijk het overzicht? En wie stuurt?

In veel gemeenten en provincies blijkt de informatie over woningbouwprojecten nog altijd verspreid over Excel-sheets, losse kaarten, afzonderlijke systemen of ouderwetse handmatige overzichten. Het gevolg: geen gedeeld beeld, geen duidelijke regie, en dus geen versnelling. Dat is precies waar Juno voor is ontworpen: een platform dat van versnippering naar samenhang gaat. Van reactief rapporteren naar proactief sturen. En van registreren naar regisseren.

Eén platform, meerdere doelen

Juno is geen ‘tooltje’, geen kaartje met filters. Het is een modulair dataplatform dat meegroeit met de praktijk — en zich bewijst bij meer dan 100 gemeenten, regio’s en provincies.

Het fundament bestaat uit vier onderdelen:

  • Juno WBM – de woningbouwmonitor voor intern gebruik: betrouwbare registratie, filters, dashboards en rapportages.
  • Juno OWK – de openbare woningbouwkaart voor transparantie richting inwoners, raadsleden en marktpartijen.
  • Juno API – koppelingen met GIS, dashboards, open data en andere beleidsdomeinen.
  • Juno PPM – een publiek-private monitor waarin overheid en marktpartijen vertrouwelijk kunnen samenwerken.

Elk onderdeel is ontworpen met het idee dat woningbouw een keten is van afhankelijkheden, waarbij samenwerking en actuele informatie cruciaal zijn.

Meer dan inzicht: structuur, kwaliteit en samenwerking

Wat Juno onderscheidt van andere oplossingen, is de aandacht voor datakwaliteit en procesondersteuning. Het platform valideert invoer, houdt geschiedenis bij, signaleert veroudering van informatie, en maakt gebruik van een slimme autorisatiestructuur. Je weet dus niet alleen wat er gebouwd wordt — maar ook wanneer, door wie en met welk doel.

Daarnaast ondersteunt Juno samenwerking op alle niveaus:

  • Binnen gemeenten: beleidsadviseurs, gebiedsregisseurs, dataspecialisten werken met hetzelfde systeem.
  • Tussen overheden: informatie stroomt van gemeente naar provincie naar Rijk – conform de Basisset Woningbouw.
  • Met de markt: ontwikkelaars en corporaties kunnen gecontroleerd meewerken in een gedeelde omgeving.

En dankzij de Juno Taxonomie kan elk dataprofiel lokaal worden aangepast, zonder dat landelijke vergelijkbaarheid verloren gaat.

Vooruitkijken: Juno + AI

In ons volgende blog over AI in Juno schrijven we hoe we toewerken naar een toekomst waarin Juno steeds meer gaat meedenken. Niet alleen signaleren dat iets mist, maar ook voorstellen wat je kunt doen. Denk aan:

  • AI-gestuurde dataverrijking
  • Automatische meldingen bij afwijkingen of vertraging
  • Agentic AI die beleidsadviseurs actief ondersteunt in hun regierol

Deze ontwikkeling is al gestart. Niet als trucje, maar als onderdeel van onze visie: beleidsmedewerkers uit de administratie halen en in de cockpit zetten.

Meer weten?

In ons whitepaper ‘Juno: cockpit voor de woningbouwopgave’ lees je uitgebreid hoe het platform is opgebouwd, hoe het zich in de praktijk bewijst, en hoe we samen met gebruikers bouwen aan de toekomst. Benieuwd hoe Juno jouw gemeente, regio of provincie kan helpen bij het realiseren van woningbouw? Neem dan contact met ons op, we denken graag met je mee.

Zie ook

Whitepaper

Webinar

Blogs

Foto credits: Andrés Dallimonti via Unsplash

Vertrouwen vergroten door middel van Explainable Artificial Intelligence (XAI)

/door

Om een master af te ronden moet je een scriptie schrijven. Niet helemaal mijn ding, heel veel lezen, heel veel schrijven maar gelukkig bestaat er ook de optie om voor een afstudeerstage te kiezen. Nog steeds een scriptie schijven maar dan in samenwerking met een bedrijf over een fenomeen dat niet alleen maar theoretisch van toepassing is. Met mijn interesse in artificial intelligence (AI) en explainable artificial intelligence (XAI) ben ik dus opzoek gegaan naar een bedrijf om een afstudeerstage bij te doen.

Dave Emons

Tot mijn geluk reageerde een oud-student en data scientist van Shintō Labs op mijn oproep op LinkedIn. Hij vertelde me over Shintō Labs die data gedreven oplossingen ontwikkelen voor de overheid. En over een AI toepassing op het gebied van document classificatie waar de eindgebruikers een enigszins sceptische houding tegenover hadden aangenomen. Dat klinkt als de ideale casus: vergroot het vertrouwen door met XAI inzicht te bieden in de redenering van de document classificatie AI. Bij de eerste kennismaking kon ik al proven van de sfeer en mentaliteit van Shintō Labs, veel autonomie, no-nonsense en een drive om door te blijven groeien. Alles leek eigenlijk te mooi om waar te zijn. Gek genoeg was het allemaal gewoon waar.

Vakken volgen aan de universiteit vond ik eigenlijk maar saai. Het verliep allemaal soepel en ik kwam gewoon opdagen maar ik verveelde me vooral. Mijn afstudeeropdracht bood hierin de uitkomst. Hier had ik zelf de touwtjes in handen en kon ik mijn ei helemaal in kwijt. De wekelijkse meetings met data scientist Wesley hielpen mij enorm om niet te hard van stapel te lopen, een planning te maken en bij te sturen waar nodig. Naast een hoop gezelligheid had ik ook genoeg sparring partners en was er ook de ruimte om zelf ideeën aan te dragen. Tot mijn verbazing werd ik zelfs meegenomen in de werking van heel het bedrijf met de maandelijkse Shinteam meetings en voelde ik me echt onderdeel van het team. Zo kon ik ook nog een beetje proeven van wat me te wachten stond na de universiteit wat alleen maar motiveerde. Al met al, voor mij de ideale plek voor een afstudeerstage.

In dit blog vertel ik graag meer over mijn onderzoek, wat ik geleerd heb en wat de resultaten zijn. Of check de video waarin ik erover vertel.

De casus

Toen ik net begon werd mij verteld dat de AI een ‘multiclass large-scale natural language processing text classification probleem oplost met een multilayer perceptron gebaseerd op word count’. Een hoop gegoogle en een afstudeer project verder, weet ik inmiddels wel wat dit allemaal betekent maar zal ik pogen het hier simpeler uit te leggen.

Sommige gemeentes krijgen meer dan 10,000 documenten binnen per maand. Deze documenten krijgen allemaal een zaaktype toegewezen zoals “kapvergunning”, “aangifte” of “informatieverzoek”. Voorheen werd dit met de hand gedaan door gemeente medewerkers. De AI ontwikkeld door Shintō Labs scant een document en telt hoe vaak ieder woord voorkomt. Dit wordt vergeleken met voorgaande documenten en zo wordt een van de 243 zaaktypes gesuggereerd. Nu hoeft de gemeentemedewerker enkel nog de AI te controleren aangezien zij verantwoordelijk blijven voor het eindresultaat.

 

multi layer perceptron

Figuur 1: Illustratie van een MLP architectuur (Rodriquez, 2020)

In deze situatie werken de medewerker en de AI als het ware samen in een team. Hoe goed dit team fungeert hangt voornamelijk af van hoe goed de medewerker is in het accepteren van correcte suggesties van de AI en het corrigeren van foutieve suggesties. De belangrijkste factor in dit team is een gekalibreerd vertrouwen in de AI. Mocht de medewerker te veel vertrouwen hebben in de AI dan worden te veel foutieve suggesties geaccepteerd zonder kritisch na te denken. Mocht er te weinig vertrouwen zijn dan worden te veel correcte suggesties genegeerd.

Vertrouwen in mens-AI teams ontwikkelt zich ongeveer hetzelfde als vertrouwen tussen mensen. Stel je vraagt een collega om eenmalig een taak van je over te nemen maar je collega verprutst dit, dan ben je minder snel geneigd deze collega in de toekomst wederom een taak toe te vertrouwen. Doet je collega het goed, dan bevestigd dat het vertrouwen dat je in hen plaatst en vraag je ze in de toekomst misschien weer. Op een soortgelijke manier als mensen een AI een fout zien maken daalt hun vertrouwen. Pas na lange periodes dat de AI het goed doet bouwt het vertrouwen langzaam op. Het grootste verschil tussen mens-AI vertrouwen en vertrouwen tussen mensen is dat vertrouwen in AI veel harder daalt wanneer er een fout wordt gemaakt.

Om dit fenomeen tegen te gaan suggereert literatuur om uitleg te bieden naast AI suggesties. Inzicht in hoe een AI anders informatie verwerkt dan mensen (woorden tellen i.p.v. zinnen lezen), de interne werking van een AI en de redenering gebruikt door de AI zijn effectief gebleken in het kalibreren van vertrouwen. Nu is een multilayer perceptron een vorm van een neuraal netwerk, een AI model dat ook beschreven wordt als een black-box model. Hoewel het in theorie mogelijk is alle berekeningen die de AI doet met de hand te doen, wordt je daar niet gelukkig van, dankjewel Business Analytics ☹️, bovendien word je er ook niks wijzer van. Deze laatste eigenschap maakt het een black-box model. Explainable artificial intelligence technieken zijn ontworpen om toch inzicht te krijgen in de werking van black-box modellen.

SHAP en Natural Language Processing

Een computer kan niet lezen, in ieder geval niet op de manier hoe wij mensen dit doen. In plaats daarvan telt de AI hoe vaak ieder woord voorkomt in een document in verhouding tot in hoeveel documenten dit woord ten minste een keer voorkomt. Doet noemt men term-frequency inverse-document-frequency (tf-idf) wat een waarde produceert tussen de 0 en 1 voor ieder woord. Een hoge waarde geeft aan dat dit woord vaak voorkomt in dit document en zelden in andere documenten. Dit geeft een indicatie dat dit woord definiërend is voor dat document. Ieder document wordt gecodeerd als tf-idf waardes voor alle woorden in het vocabulaire van de AI (16,618 woorden). Deze waardes worden vervolgens door de multilayer perceptron (het neuraal netwerk) gebruikt om te berekenen welk van de 243 zaaktypes het meest waarschijnlijk is.

Hoewel tf-idf waardes een indicatie geven welke woorden belangrijk zijn voor een bepaald document, geeft het geen inzicht in welke woorden de AI uiteindelijk gebruikt om tot een suggestie te komen. Om daar achter te komen is SHAP (SHapley Additive exPlanations) toegepast. SHAP is gebaseerd op shapley values, een concept uit speltheorie dat gebruikt wordt om een spelers contributie binnen een team tot een bepaald doel te bepalen. In ons geval berekent SHAP de contributie van ieder woord tot de uiteindelijke suggestie.

Figuur 2 is een voorbeeld van wat SHAP doet. In dit geval is de AI 95.4% zeker dat een document “gemeenteplek peuteropvang aanvraag” betreft. Het woord dat hier het meeste aan bijdraagt is “kdv” (kinderdagverblijf) en is verantwoordelijk voor 9% van de 95.4% zekerheid.

Figuur 2: SHAP simuleert de AI besluitvorming en berekent de bijdrage van ieder woord aan de zekerheidspercentage

De intuïtie is dat gemeentemedewerkers bovenstaande informatie zien en denken “dat klinkt logisch, dit kan ik vertrouwen”. Maar ook wanneer de AI een fout maakt is het op deze manier mogelijk om te zien welke woorden de AI op een dwaalspoor zette. Hier inzicht in krijgen schept hopelijk meer begrip naar de AI en zorgt er voor dat vertrouwen minder hard daalt wanneer het een fout maakt.

De resultaten

Eindgebruikers hebben deelgenomen aan een experiment waarin ze suggesties van de AI te zien krijgen met of zonder SHAP uitleg. Bij iedere suggestie hebben zij de keuze om de suggestie te accepteren of af te wijzen. De helft van de suggesties zijn correct zodat iemand die simpelweg zou gokken 50% correct zou accepteren en afwijzen. Deelnemers met uitleg behalen een score van 52.7% tegenover een score van 45% zonder uitleg. Dit klinkt veelbelovend maar wegens het kleine aantal deelnemers (n=8) is er geen statistisch significant verschil (eenzijdige proportie test, P<0.3).

Wegens het kleine aantal deelnemers en een grote variatie in ervaring met de AI is het niet mogelijk conclusies te trekken of uitleg ervoor zorgt dat deelnemers vaker de AI vertrouwen of dat het vertrouwen minder daalt wanneer de AI een fout maakt. Het valt wel op dat deelnemers met meer ervaring met de AI het veel minder vertrouwen. Zij accepteren 36.7% van de suggesties tegenover 77.8% van deelnemers met weinig tot geen ervaring met de AI (eenzijdige proportie test, P<0.0005). Deze bevinding is in lijn met bestaande literatuur en de gerapporteerde sceptische houding van de medewerkers.

Het lijkt er dus op dat naarmate mensen meer ervaring hebben in samenwerken met AI ze de AI meer fouten zien maken en steeds minder gaan vertrouwen. Uitleg toevoegen aan AI suggesties lijkt een mogelijke oplossing te zijn maar er is meer data nodig om hier betrouwbare conclusies over te trekken.

De noodzaak om iets te doen aan het dalende vertrouwen binnen mens-AI teams is duidelijk. Zelf denk ik nog steeds dat XAI hier een veelbelovende rol in kan spelen. Het helpt mij als ingenieur in ieder geval om duidelijk te krijgen dat de AI het probleem oplost dat ik wil dat het oplost. Ik verwacht veel van wat ik tijdens dit project geleerd te heb toe te kunnen passen nu ik een carrière in de industrie begin. Verder hoop ik vooral dat Shintō Labs hier ook iets aan hebben en doorgaan met betekenisvolle datagedreven oplossingen maken.

Foto credits: Shahadat Rahman on Unsplash

Masterclass – Text Analytics en Machine Learning in de overheid

/door

Deze maand starten we met een serie video’s waarin we onze kennis delen onder de noemer: Shintō Labs Masterclass. In iedere editie komt een expert aan het woord om over een specifiek onderwerp zijn of haar kennis te delen. We gaan in op verschillende vraagstukken rondom datagedreven werken en data analytics in de overheid. Onderwerpen kunnen variëren van innovatie methodiek, privacy, ethiek maar ook meer technische onderwerpen als netwerkanalyses en graph databases.

Text Analytics en Machine Learning in de overheid

In deze editie vertelt data scientist Martijn Heijstek over een toepassing van Text Analytics en Machine Learning in de overheid. Hij behandelt de case waarin content automatisch wordt geclassificeerd in het verlengde van een zaaksysteem: in dit geval Djuma van Visma|Circle.

Vragen en feedback

Heb je een vraag of opmerkingen over de vodcast van Martijn? Laat het ons dan weten via onderstaand formulier!


Abonneren

Wil je automatisch op de hoogte blijven van nieuwe edities van de Shintō Labs Masterclass? Abonneer je dan op ons Youtube kanaal of stuur ons bericht via bovenstaand formulier en vink de ‘blog’ optie aan!

Relevante links

Andere masterclasses

Blogs

 

 

5 praktische handvatten om ‘algoritmekramp’ tegen te gaan

/door

‘De gemeente Rotterdam stopt omstreden fraudeonderzoek met SyRi,’ kopte de Volkskrant op 4 juli jl. Een van de vele berichten de afgelopen tijd waarin het gebruik van data-analyse of erger ‘algoritmes’ negatief in het nieuws komt. Recent publiceerde de NOS nog een fraai artikel getiteld ‘Overheid gebruikt op grote schaal voorspellende algoritmes, ‘risico op discriminatie’. Ook hier ontstaat (in ieder geval door de kop) het beeld dat er sprake is van wildgroei en het ‘kwaad’ zich verder verspreidt zonder dat er grip op is. De begeleidende podcast van de journalisten geeft een genuanceerder beeld. We horen de journalist zelfs zeggen dat het begrijpelijk en goed is dat de overheid gebruik maakt van moderne technologie.

De discussie is terecht. Het gebruik van algoritmes kent risico’s. Maar het lijkt niet goed te lukken om het gesprek over algoritmes genuanceerd en goed geïnformeerd te voeren. Alleen al het woord algoritme zorgt voor een soort verkramping in de discussie en lijkt de gebruiker ervan in het beklaagdenbankje te zetten. Als bedrijf dat de overheid helpt om datagedreven te werken, waren we ons vanaf het begin bewust van de risico’s en ontwerpen en ontwikkelen we op een verantwoorde manier oplossingen. Niet omdat de publieke opinie daarom vraagt, maar omdat we een eigen moreel kompas hebben.

Omdat we vaker vragen krijgen over de ethische kanten van het gebruik van algoritmes hebben we een aantal handvatten op een rij gezet. Geen doorgrond essay, of concreet raamwerk, maar een aantal ervaringen uit onze praktijk. Omdat we open zijn over hoe wij omgaan met de risico’s van het gebruik van algoritmes.

1. Gebruik geen voorspellende algoritmes (als het niet nodig is)!

Ik geeft toe. Een beetje een dooddoener. Het begint natuurlijk bij de vraag: wat zijn voorspellende algoritmes? Ik ga er vanuit dat hiermee bedoeld wordt het begrip ‘predictive analytics’. Een methode waarmee veelal op basis van machine learning voorspellingen worden gedaan. Maar de wereld van data-analyse is breder dan alleen voorspellende algoritmes. Sterker nog: in onze praktijk zetten we predictive analytics vaak niet eens in. Zeker niet in onze oplossingen in het domein van toezicht & handhaving of veiligheid & openbare orde. Waarom niet? Omdat we geloven in ‘waardegestuurde’ ontwikkeling. Zie ook ons blog ‘Van datagestuurd naar waardegestuurd werken’. In het kort: zet het probleem en de gebruiker centraal en kijk van daaruit welke pijn het grootst is. Keer op keer blijkt dat de meeste waarde in eerste instantie wordt toegevoegd met een ‘beschrijvende analyse’. Niks voorspellingen op basis van machine learning dus, of in ieder geval niet vóór dat we weten waar de waarde zit, wat de feitelijke situatie is (beschrijvende analyse) en waar het probleem zit (diagnostisende analyse). Pas als aan die voorwaarden is voldaan kan er voorzichtig gekeken worden naar voorspellingen. Tot die tijd: gebruik geen voorspellende algoritmes!

Bron: Gartner

2. Wees transparant over data en modellen!

Zoals je in het artikel van de Volkskrant kunt lezen is een van de grootste obstakels bij SyRi dat voor de gebruiker niet duidelijk is op basis van welke datasets en indicatoren er een inzicht wordt verschaft. Omdat wij onze oplossingen ontwerpen vanuit gebruikersperspectief herkennen we hun behoefte om te weten op basis waarvan het systeem ergens een ‘rood puntje laat knipperen’. Zo zijn we voor de gemeente Zaanstad een data applicatie aan het ontwikkelen die de gemeente helpt bij het opsporen van o.a. woonfraude waarbij vanuit de applicatie inzichtelijk is welke datasets zijn gebruikt en op basis waarvan een indicatie wordt gegeven.

Screenshot prototype Ondermijning met beschrijving datasets en indicatoren

Screenshot prototype Ondermijning met beschrijving datasets en indicatoren

3. Gebruik indicatoren op basis van gedegen onderzoek!

Een veelgehoorde vrees is dat data-applicaties inzichten bieden die discrimineren. Data is immers niet objectief! Zeker bij het gebruik van ‘feedback loops’ zal een model leren op basis van ervaringen (data) uit het verleden en dat verleden bevestigen en versterken. Wat is dus een deugdelijk indicatie om bijvoorbeeld een pand te onderzoeken of daar iets mis is? Vaak vertalen we indicatoren van de (vak)mensen uit de praktijk naar het model maar proberen dat ook te onderbouwen door (wetenschappelijk) onderzoek. Zo hebben we met het RIEC Rotterdam een Risico Radar Ondermijning ontwikkeld waarbij Bureau Beke op basis van literatuuronderzoek en expert interviews een lijst van 52 indicatoren samengesteld die wij hebben gebruikt om zicht te krijgen op risico’s op ondermijning door bedrijven. In september organiseren we samen met het RIEC en Bureau Beke een webinar waarin we hier meer over vertellen. Zijn deze indicatoren daarmee allemaal 100% objectief? Nee, maar wel binnen de normen van de (gedrags-)wetenschap als significant bestempeld.

Jurriaan Souer (Shintō Labs) in actie met dr. Henk Ferwerda van Bureau Beke, onderzoeksbureau voor criminologische vraagstukken

4. Laat systemen niet beslissen, maar help de expert!

Er zijn (soms schrijnende) voorbeelden van Kafkaëske situaties waarbij de overheid besluiten neemt waar de mens geen grip meer op heeft. ‘Computer says no.’ De angst is dat voorspellende algoritmes besluiten nemen zonder dat er een mens aan te pas komt. Als ik dan roep dat zoiets nooit moet kunnen, dan zegt mijn collega Jurriaan relativerend tegen me: ‘Dus ook niet bij slimme vuilnisbakken die automatisch opdracht geven aan de vuilnisophaaldienst om geleegd te worden?’. Tja, daar natuurlijk wel. Maar in onze praktijk komt het zelden voor dat gebruikers één antwoord willen, laat staan een geautomatiseerd besluit. Ze willen een instrument dat ze helpt om op basis van hun eigen expertise makkelijker of sneller inzicht te krijgen dan nu het geval is. We kennen voorbeelden van beleidsambtenaren uit het veiligheidsdomein die na een melding soms anderhalve dag kwijt zijn om in 15 systemen te kijken om te bepalen of er iets aan de hand is. Het enige dat we doen is de data sneller aanleveren dan nu en deze zodanig visualiseren dat de expert kan besluiten om al dan niet tot actie over te gaan. We helpen dus bij het maken van een risico inschatting.

5. Realiseer je dat ‘bias’ in de mens zit en daarmee ook in de data

Tijdens onze Design Sprints, het startpunt van onze ontwikkeling, nemen we veel tijd om gebruikers te laten vertellen over het vraagstuk. We willen weten hoe ze daar nu mee omgaan, dus zonder data-analyse en algoritmes. Als wij met mensen uit de wereld van toezicht en handhaving praten en ze vragen waar risico op een overtreding is, dan kunnen ze zo een lijstje van risicoindicatoren oplepelen. Hoe ze daarbij komen? Ervaring. Als jij bij controles meerdere keren fraude aantreft bij een bepaald soort bedrijven dan word je als handhaver alerter en controleer je vaker bij dat soort bedrijven. Is dat terecht? Misschien wel, misschien niet. In iedere geval heel menselijk. Dataprojecten versterken niet de bias. Ze leggen die juist bloot.

Tot slot

Ik zat laatst het radioprogramma BNR Digitaal te luisteren toen ik Rudy van Belkom hoorde zeggen: ‘We hebben het altijd over ‘explainable AI’ maar hoe ‘explainable’ is menselijk gedrag eigenlijk?’ Een mooi inzicht wat mij betreft. Geen complexer neuraal netwerk dan het menselijk brein. Discriminatie is een product daarvan. Laten we ons dus met of zonder algoritmen daarvan bewust blijven. Waar het om gaat, is dat we de uitwassen tot een minimum beperken.

P.s. binnenkort zal onze Chief Data Scientist Eric een vervolg op dit blog schrijven hoe we in technische zin het risico op ‘bias’ proberen te minimaliseren. Wil je automatisch bericht ontvangen via email als dat blog verschijnt? Schrijf je dan hier in.

Relevante links

Credits top photo: Alexandra Gorn (via Unsplash.com)

 

Tag Archief van: ai

Niets gevonden

Uw zoekopdracht leverde helaas geen artikelen op