De sterkste AI-modellen komen uit Amerika. Voor veel organisaties is dat geen probleem. Voor de overheid wel, en net zo goed voor bedrijven die werken met klantgegevens, contracten of bedrijfsgevoelige informatie. Wat doe je als je AI wilt inzetten, maar niet wilt dat je data onder buitenlandse wetgeving valt?

We vroegen het aan Thomas, AI developer bij Humanoids. Hij werkt op dit moment bij IVO Rechtspraak, de ICT-organisatie van de Rechtspraak. Daar bouwt hij mee aan een AI-oplossing die vertrouwelijke stukken veilig verwerkt. Dit is deel 1 van ons gesprek. In deel 2 gaat het over AI agents.

Soevereiniteit: wie heeft het laatste woord over je data?

Soevereiniteit is het vermogen van een land om zelf te beslissen, zonder dat andere mogendheden daar invloed op hebben. Digitaal betekent dat: kunnen we onze diensten aanbieden zonder dat een ander land er iets over te zeggen heeft?

"Bij AI wordt dat meteen concreet", zegt Thomas. "De meest gebruikte modellen zijn van Amerikaanse bedrijven. Elke functie van een AI-assistent die je daarop bouwt, is een data-uitwisseling met een Amerikaans systeem."

Dat de servers in Europa staan, verandert daar weinig aan. Veel aanbieders bieden inmiddels opslag en verwerking binnen de EU aan. Maar als Amerikaans bedrijf vallen ze onder Amerikaanse wetgeving, zoals de CLOUD Act. Die geeft de Amerikaanse overheid ruime mogelijkheden om gegevens op te vragen, ook als die in Europa staan. De vuistregel binnen de overheid is daarom simpel: vertrouwelijke gegevens gaan er niet in. Dat speelt niet alleen bij de overheid. Ook een advocatenkantoor, administratiekantoor of ingenieursbureau wil weten waar de dossiers van klanten terechtkomen.

Lokale AI in gewone taal

AI is een parapluterm geworden. Meestal bedoelen we er taalmodellen mee, zoals het model achter ChatGPT. "Zo'n model heeft enorme hoeveelheden tekst gelezen: boeken, wetenschappelijke artikelen, forumdiscussies. Daarna kan het de tekst die jij erin stopt netjes afmaken. Dat is de techniek eronder."

De grote partijen, zoals OpenAI, Anthropic en Google, bieden hun modellen aan vanuit de cloud. Daarnaast zijn er veel open modellen die je zelf kunt draaien: op je laptop, op een gespecialiseerde computer of op een eigen server. "Je kunt de router eruit trekken en dan nog steeds met een AI-assistent praten. Het draait gewoon op je eigen hardware."

Een kanttekening: veel van de beste open modellen komen uit China. Omdat ze volledig op je eigen hardware draaien, gaat er geen data naar de maker. Maar wie soevereiniteit serieus neemt, kijkt ook naar waar een model vandaan komt en hoe het getraind is.

De hybride aanpak

In de praktijk is het vaak geen of-of. Thomas bouwt bij IVO Rechtspraak mee aan een oplossing waarbij een lokaal model documenten eerst ontdoet van persoonsgegevens. Namen, adressen en betaalgegevens gaan eruit. Pas daarna gaat de vraag naar een krachtig model in de cloud.

"Voor zo'n eerste filter is een simpel lokaal model prima. Voor een echt inhoudelijk antwoord, bijvoorbeeld op basis van wetenschappelijke literatuur, is zo'n klein model te beperkt. Dan stuur je het daarna door naar een van de grote modellen."

Lokaal of in de cloud: wat levert het op?

Een lokaal model is geen gratis alternatief voor de grote modellen. Het verschil zit in kwaliteit en in hardware. Een lokaal model met 8 miljard parameters geeft prima antwoord op een vraag. Maar of dat antwoord klopt, is een tweede.

"Een taalmodel geeft het antwoord dat het meest waarschijnlijk is. Controle zit er niet in. Die moet je als programmeur zelf inbouwen, testen en verbeteren. De grote partijen hebben daar al allerlei systemen voor, met veel meer rekenkracht. Daar kom je lokaal niet bij in de buurt."

Ook de hardware telt. "Op een MacBook kun je al een model draaien, zelfs met spraak in en uit. Met een gespecialiseerd apparaat van rond de 4.000 euro, of een daarvoor geoptimaliseerde Mac Mini, draai je grotere en slimmere modellen. Wil je hetzelfde niveau als de grote aanbieders, dan heb je bijna een datacenter nodig. En de vraag naar geschikte componenten is zo groot dat de prijzen fors zijn gestegen."

Wanneer volstaat een lokaal model?

Voor afgebakende taken, zoals vragen beantwoorden op basis van je eigen documenten, is een lokaal model vaak ruim voldoende. "Maar wil je een AI die elke vraag aankan, met actuele informatie en complexe vraagstukken, dan kom je toch uit bij de frontier models." Daarmee bedoelt hij de krachtigste modellen van dit moment, zoals die van OpenAI, Anthropic en Google.

Juist voor het mkb is dat interessant. Een lokale opstelling van een paar duizend euro is voor veel bedrijven goed te overzien. Voor afgebakende taken, zoals interne kennis doorzoeken of standaardstukken opstellen, is dat vaak genoeg. Zo begin je met AI zonder klantdata uit handen te geven.

Een Europees alternatief in opkomst

Binnen de overheid is er nog geen eenduidige strategie over het afzweren van Amerikaanse modellen. Wel kijkt Thomas met belangstelling naar Europa. Het Franse Mistral is daar de belangrijkste speler. "Hun nieuwste modellen komen steeds dichter bij de frontier models, en ze draaien op Europees grondgebied. Dat biedt echte kansen."

Een deel van de Mistral-modellen is bovendien open. Die kun je dus ook helemaal zelf draaien.

Geen standaardoplossing

Lokaal, in de cloud of een combinatie: de juiste keuze hangt af van je data, je processen en je doelen. "Ondanks alle beloftes in de AI-wereld werkt het niet voor iedereen hetzelfde. Per organisatie is het anders hoe je het inricht."

Precies dat doen we bij Humanoids. Met UX-onderzoek brengen we in kaart welke diensten en processen zich lenen voor AI, en welke data vertrouwelijk moet blijven. Onze developers bouwen vervolgens de oplossing: lokaal, in de cloud of een combinatie van beide. Dat doen we voor overheidsorganisaties zoals de Rechtspraak, en net zo goed voor mkb+ bedrijven die klein willen beginnen.

In deel 2 vertelt Thomas over AI agents: wat ze zijn, waar ze waarde leveren en waarom je altijd een mens in de loop houdt.

Wil je weten welke data in jouw organisatie lokaal moet blijven, en waar de cloud volstaat? Plan een verkennend gesprek met ons.