Eigen AI-modellen draaien: wanneer en hoe?

Private AI kies je per taak. Voor veel werk is een externe AI-aanbieder prima. Voor gevoelige gegevens, werk dat dag en nacht doorloopt of experimenten waarbij je dezelfde vraag duizend keer stelt, past een model op eigen machines vaak beter.

Wij zijn Studio Northstar, een agentic productstudio in Den Haag. We bouwen producten met ARCS, ons agentic platform, en draaien een deel van ons werk op eigen servers. Hieronder staan de opties, de tools en wat je inlevert, met Northstar One als voorbeeld.

Wat is private AI?

Private AI betekent dat je AI-modellen draait op machines en netwerken die jij beheert, zodat prompts en bedrijfsdata niet naar een externe AI-aanbieder gaan. Dat kan een laptop zijn, een server op kantoor of hardware in een datacenter die alleen voor jou draait.

Een paar verwante termen betekenen iets anders. Een local LLM is een taalmodel op je eigen apparaat, de kleinste vorm van private AI. Europese AI zegt iets over waar een aanbieder zit of waar de servers staan; je data gaat dan nog steeds naar die aanbieder. Soevereine AI gaat over wie zeggenschap heeft over modellen, hardware en data. Daar bestaat geen vaste definitie van.

Een eigen model ontslaat je niet van de regels. De Autoriteit Persoonsgegevens⁠↗ schrijft dat de AVG techniekneutraal is opgesteld en dat je vooraf vaststelt of je eraan kunt voldoen, ook bij een pilot. Dat geldt op je eigen server net zo goed. De AI Act⁠↗ deelt systemen in naar risico, en dat risico hangt af van waarvoor je AI gebruikt, niet van waar het model draait.

Wanneer moet data binnen blijven?

Data moet binnen blijven als een wet, een contract of je eigen beleid zegt dat ze niet naar een derde mag. Dat bepaal je per soort gegeven.

• Afspraken met klanten. Een geheimhoudingsverklaring of verwerkersovereenkomst kan verbieden dat gegevens naar een andere partij gaan, ook naar een AI-aanbieder.
• Gevoelige persoonsgegevens. Medische gegevens of informatie over werknemers vragen om extra zorg.
• Bedrijfsgeheimen. Broncode, prijsmodellen, plannen die nog niemand mag zien.
• Je eigen beleid. Sommige organisaties willen niet dat interne documenten buiten de deur worden verwerkt, ook als het zou mogen.

Er is ook een reden die niets met privacy te maken heeft: kosten. Bij taken die continu draaien, kan een tarief per token hoog oplopen. Een experiment waarbij je een vraag duizend keer stelt, is alleen haalbaar als de kosten beheersbaar blijven. Op eigen hardware betaal je voor de machine en het beheer, niet per vraag.

Lokaal, eigen server of private cloud: de opties

Je hebt drie opties: een model op een laptop of werkplek, een eigen server op kantoor of in een datacenter (on-premise), of een private cloud, waarbij je hardware huurt in een afgeschermde omgeving die alleen voor jou draait. Een externe AI-aanbieder staat er ter vergelijking bij.

Een model op je laptop is een goede manier om te ontdekken wat een lokaal model kan. Voor een team heb je een server nodig die meerdere mensen of systemen tegelijk bedient, met toegangsbeheer en logging.

Welke modellen en tools?

Om een model zelf te draaien heb je twee dingen nodig: een open model waarvan je de gewichten mag downloaden, en software die het model laadt en aanspreekbaar maakt. Ollama, LM Studio en vLLM zijn drie bekende tools. We noemen ze om te laten zien wat er is, niet als advies voor jouw situatie.

Ollama

Ollama⁠↗ draait modellen op macOS, Windows en Linux, ook als Docker-image, en is open source onder de MIT-licentie. Het heeft een REST API, zodat je eigen software het model kan aanspreken. De projectpagina noemt onder meer gpt-oss, Qwen, Gemma en DeepSeek. Volgens de FAQ van Ollama⁠↗ accepteert het standaard alleen verbindingen van de eigen machine (127.0.0.1, poort 11434).

Let op: Ollama biedt ook cloudmodellen die op de servers van Ollama draaien. Volgens Ollama worden prompts dan verwerkt, maar niet opgeslagen, gelogd of gebruikt voor training. Voor private AI wil je dat uit hebben. De FAQ noemt daarvoor de instelling OLLAMA_NO_CLOUD=1.

LM Studio

LM Studio⁠↗ is een desktopapp om modellen zoals Qwen, Mistral, Gemma en gpt-oss te downloaden en te draaien. Volgens de documentatie kan LM Studio volledig offline werken zodra je de modelbestanden binnen hebt. Het is vooral handig om op een werkplek te testen wat een model kan.

vLLM

vLLM⁠↗ is een bibliotheek om modellen te draaien en als dienst aan te bieden, bedoeld voor servers. Het heeft een API-server die compatibel is met die van OpenAI, zodat software die al zo’n API aanroept, op dezelfde manier met je eigen server kan praten. vLLM ondersteunt onder meer GPU’s van NVIDIA en AMD en verschillende soorten CPU’s.

Welke hardware heb je nodig?

Dat hangt vooral af van de grootte van het model, hoeveel tekst je in één keer aanbiedt en hoeveel mensen of systemen het tegelijk gebruiken. De eerste vraag is steeds of het model in het geheugen past.

De tools zeggen er zelf iets over. LM Studio⁠↗ vraagt op een Mac een Apple Silicon-chip, raadt 16 GB werkgeheugen of meer aan en schrijft dat taalmodellen veel werkgeheugen kunnen gebruiken. Op een Mac met 8 GB houd je het volgens LM Studio bij kleinere modellen en een bescheiden contextlengte. Op Windows raadt het minstens 16 GB werkgeheugen en 4 GB videogeheugen aan. Ollama⁠↗ laadt een model op één GPU als het daarin past en verdeelt het anders over meerdere GPU’s. Met ollama ps zie je of een model in het geheugen van de GPU draait, in het gewone werkgeheugen of verdeeld over allebei.

Dat zijn eisen om een app op één werkplek te gebruiken. Voor een server die een team bedient, kies je de hardware na een test met je eigen taken: welk model haalt de kwaliteit die je nodig hebt, en hoeveel vragen moet het tegelijk aankunnen? Begin bij de taak en het model en reken daarna uit wat de machine moet kunnen.

Wat lever je in?

Je levert meestal iets in op drie punten: kwaliteit, onderhoud en de manier waarop je kosten maakt.

• Kwaliteit. De modellen die je zelf kunt draaien, zijn niet dezelfde als de modellen die alleen via een externe aanbieder beschikbaar zijn. Voor classificeren, samenvatten of zoeken in eigen documenten kan een open model genoeg zijn, voor andere taken niet. Dat weet je pas als je het test op je eigen werk.
• Onderhoud. Updates, beveiliging, monitoring en wat er gebeurt als een machine uitvalt, liggen bij jou of bij de partij die het voor je beheert. Nieuwe modellen komen niet vanzelf binnen.
• Kosten. Bij een aanbieder betaal je per gebruik. Bij eigen hardware betaal je vooraf voor de machines en daarna voor stroom, ruimte en beheer, ook als ze stilstaan. Dat kan lonen bij werk dat veel en lang draait. Bij af en toe een vraag meestal niet.

Hoe kies je per taak waar het draait?

Kies per taak op basis van drie dingen: hoe gevoelig de gegevens zijn, welke kwaliteit je nodig hebt en hoe vaak de taak draait. Leg die keuze vast, zodat je later kunt laten zien waarom iets waar draaide.

Zo werken wij ook. In onze veelgestelde vragen staat: “We kiezen per taak waar het werk wordt uitgevoerd en leggen die keuze vast. Dat kan op onze eigen machines of met een model van een externe AI-aanbieder.” In de praktijk kiezen we tussen drie plekken: op het apparaat zelf, op onze eigen hardware of bij een grote AI-aanbieder.

Een voorbeeld van de andere kant: Jev van TypeSafe is een beslismodel dat je via OpenRouter aanroept, dus bij een externe aanbieder. Voor korte keuzes zonder gevoelige gegevens kan dat goed passen. Voor een dossier met medische gegevens niet.

Hoe wij het doen: Northstar One

Northstar One bestaat uit een klein aantal eigen servers waarop we AI-modellen draaien. We gebruiken het voor gevoelige informatie en langlopende taken, en voor experimenten die bij een externe AI-aanbieder met een tarief per token te duur zouden worden.

De machines zijn alleen bereikbaar via een besloten netwerk en niet openbaar via internet. We gebruiken ze nu voor intern werk: classificatie, embeddings, evaluatie en langlopende taken voor onze producten. Voordat een verbetering in een product komt, testen we die op vaste testsets en beoordelen modellen elkaars werk.

Binnen een opdracht kunnen we Northstar One ook voor klantwerk inzetten, met vastgelegd waar het werk wordt uitgevoerd. De volgende stap zijn besloten installaties voor organisaties die hun informatie binnen een afgesproken omgeving moeten verwerken. Meer staat op de pagina van Northstar One.

Twijfel je of een taak bij een aanbieder kan of binnen moet blijven? Neem contact op en beschrijf de taak en de gegevens. Dan zoeken we samen uit waar het werk het beste kan draaien. Hoe je met agents begint, lees je in AI-agents in je bedrijf.