ARCS: hoe we AI-agents laten bouwen, met controles

Bij Studio Northstar bouwen we software met AI-agents: onze eigen producten en software voor andere bedrijven. Een agent die een taak uitvoert, werkt snel. Een agent die daarna ook zijn eigen werk goedkeurt, mist de fouten die hij zelf heeft gemaakt. ARCS is het systeem waarmee we die twee rollen uit elkaar houden, en waarmee we vastleggen waar een mens het laatste woord heeft.

Wat is ARCS?

ARCS is ons eigen agentic platform. De naam staat voor Agentic Reasoning & Coordination Systems, en één gespecialiseerd systeem daarbinnen heet een ARC. ARCS verdeelt het werk in afgebakende taken en wijst die toe aan gespecialiseerde groepen agents, die we councils noemen. Ze richten zich onder meer op strategie, code, beveiliging, geschiktheid voor productie en vindbaarheid. Bij elke taak staat het langetermijndoel centraal: de north star.

Technisch is ARCS een private MCP-server met een CLI. Agents draaien ermee tegen een lokale codebase, met checkpoints die bewaard blijven, werkrondes die je kunt hervatten en expliciete overdrachten van de ene ARC naar de andere. We gebruiken het voor al onze producten en zetten het in bij opdrachten voor klanten. De productpagina staat op ARCS.

Anthropic maakt in Building effective agents⁠↗ onderscheid tussen workflows, waarin modellen en tools via vooraf bepaalde codepaden lopen, en agents, die zelf bepalen welke stappen en tools ze gebruiken. ARCS zit daartussen. Binnen een taak kiest een agent zijn eigen stappen. De route eromheen ligt vast in de regels van het systeem: wie welke taak krijgt, wanneer er gecontroleerd wordt en wanneer het werk stopt. Zo is ARCS een agentic workflow met agents erin.

Waarom councils in plaats van één agent?

Omdat één agent die alles doet, ook alles zelf beoordeelt. Een AI-model kan bij het nakijken van zijn eigen werk fouten over het hoofd zien. Bij grote opdrachten kan het oorspronkelijke doel uit beeld raken, terwijl het model toch meldt dat de taak klaar is. Aan het eindresultaat zie je dat niet altijd.

Onderzoek naar modellen als beoordelaar laat dat risico ook zien. Zheng e.a. beschrijven in Judging LLM-as-a-Judge⁠↗ (2023) onder meer een self-enhancement bias: een model dat beoordeelt, kan zijn eigen antwoorden gunstiger waarderen. Hetzelfde paper meldt dat sterke modellen als beoordelaar in meer dan 80 procent van de gevallen overeenkomen met mensen, ongeveer zo vaak als mensen onderling. Een model is dus een bruikbare reviewer, zolang het niet zijn eigen werk beoordeelt.

Een council is een groep agents met één specialisme. Door het werk te verdelen krijgt elke taak de agent met de juiste kennis en hulpmiddelen, en kijkt er altijd een ander naar het resultaat. Het patroon zelf is bekend. Anthropic noemt het orchestrator-workers: een centraal model deelt taken op, verdeelt ze en voegt de resultaten samen. Wat ARCS toevoegt, zijn de controles en grenzen rond zo'n multi-agentopzet.

Meer agents is niet vanzelf beter. Anthropic raadt aan de eenvoudigste oplossing te kiezen en pas complexiteit toe te voegen als dat aantoonbaar helpt. ARCS heeft dezelfde regel: een taak krijgt geen zwaardere route alleen omdat er een ARC voor bestaat. Een kleine, afgebakende taak gaat in één doorgang met een vaste controle. Alleen werk met veel afhankelijkheden, onzekerheid of gevolgen krijgt een volledige lus.

Hoe loopt een taak door ARCS?

In zes stappen, dezelfde als in de werkwijze op onze homepage.

1. Eerst het doel en de afspraken. Voordat we bouwen, leggen we vast wat je wilt bereiken en aan welke voorwaarden het resultaat moet voldoen.
2. Duidelijke taken per specialisme. We verdelen het werk in afgebakende taken. Elke taak gaat naar de council met het juiste specialisme.
3. Een onafhankelijke reviewer controleert het resultaat. Eén model voert de taak uit, een tweede beoordeelt het resultaat en een derde controleert de correctie.
4. Begrensde werksessies. Elke werksessie stopt met een duidelijke reden en bewaart een checkpoint, zodat je ziet waar het werk is gebleven en het later kunt hervatten.
5. Mensen nemen de beslissingen. Op afgesproken momenten leggen we het werk ter beoordeling voor. Een mens keurt het goed, wijst het af of vraagt om aanpassingen.
6. Vertrouwelijk werk op eigen systemen. Werk dat niet naar een externe AI-aanbieder mag, draait op Northstar One: onze eigen machines met modellen die we zelf beheren.

Binnen een taak loopt een kwaliteitslus: een voorstel, een vaste controle, een gerichte reparatie en opnieuw een controle. Standaard zijn dat maximaal drie pogingen. Komt dezelfde fout terug, dan telt dat als geen voortgang en stopt de lus. Zo blijft een agent niet eindeloos aan hetzelfde probleem draaien.

Wie een taak krijgt, bepaalt een vaste planner. Als je het expliciet aanzet, kijkt daarnaast een klein beslismodel mee in schaduwmodus: het doet een eigen keuze, maar die verandert de routering nooit. Hoe dat werkt, lees je in vijf beslispunten voor Jev.

Over een heel project verdeeld, vallen deze stappen in vier fasen: onderzoek, strategie en data, bouwen en beheren.

Waarom beoordeelt geen model zijn eigen werk?

Omdat een reviewer die het werk zelf heeft gemaakt, dezelfde aannames en blinde vlekken meeneemt. In ARCS is de reviewer daarom onafhankelijk: een ander model of een aparte context die het werk niet zelf heeft gemaakt.

Een agent die eerst bouwt en zich daarna reviewer noemt, blijft de bouwer. De werkinstructie is daar streng in: de onafhankelijke reviewer mag niet dezelfde context zijn die de wijziging schreef, tenzij er aantoonbaar een aparte reviewer heeft gedraaid.

We zijn ook streng over wat we beweren. Als een omgeving niet kan aantonen dat er echt van model is gewisseld, legt ARCS dat vast als plan, niet als uitgevoerd. De technische documentatie noemt dat “no fake model switching”. Voor tests, browsercontroles en aanroepen van tools geldt hetzelfde: wat we claimen, moet echt gedraaid hebben.

Bij de bouw van onze app Plens zag je dat principe terug. Op 24 september deed Claude Code een onafhankelijke review van de app, met aparte agents die alleen mochten lezen: één voor externe verbindingen, één voor de webrepo en één voor code en UX. De eerste blokkerende bevinding was dat de hele app in één bestand van 317 regels zat, zonder deep links. Meer over zo'n review lees je in AI-codereview door een council.

Wanneer stopt een werksessie?

Altijd op een benoemde reden. Een werksessie in ARCS is begrensd en stopt zodra een van zes situaties optreedt.

Bij elke stop bewaart ARCS een checkpoint met onder meer het doel, de stand van de lus en de gegevens die nodig zijn om verder te gaan. Je ziet daarmee waar het werk is gebleven, en de sessie kan later precies daar worden hervat.

Wat een agent mag, staat niet in de opdrachttekst. “Prompt text is never execution authority”, zegt de documentatie van ARCS. Bevoegdheden komen uit een vastgelegd beleid met allowlists en expliciete toestemmingen. Een agent die in een document leest dat hij iets mag, krijgt die bevoegdheid daar dus niet door. ARCS zet bovendien zelf niets live in de cloud.

Waar beslist een mens?

Op afgesproken momenten. Daar keurt een mens het werk goed, wijst het af of vraagt om aanpassingen.

Welke momenten dat zijn, spreken we vooraf af. Een paar staan altijd vast. Geld, contracten en toezeggingen aan klanten vragen een zichtbare laatste handeling van een mens. Schrijven naar externe systemen, databasemigraties en schrijven naar GitHub vragen expliciete toestemming. En de kwaliteitslus mag een menselijk beslismoment nooit overslaan of de bevoegdheden van een tool verruimen.

Ook zware routes vragen toestemming. ARCS heeft twee Super ARCs, waaronder een met 72 controles voor het afmaken van een AI-product. Die starten alleen na expliciete goedkeuring.

Dit is wat vaak human in the loop heet. In ARCS brengen de agents het werk naar het beslismoment, met de uitgevoerde controles erbij. De mens beoordeelt dan een resultaat met bewijs en hoeft niet bij elke tussenstap mee te kijken.

Kun je ARCS zelf gebruiken?

Nog niet. Er is nog geen versie waarmee je zelfstandig aan de slag kunt; we zetten ARCS in binnen opdrachten.

De interface is nu een CLI en MCP. We werken aan een bedieningsscherm waarmee je werkrondes kunt volgen, pauzeren en hervatten zonder opdrachten in een terminal te typen. Daarna willen we ARCS via MCP en een GitHub App beschikbaar maken met besloten toegang. Een SaaS-versie is voorzien, maar nog niet gebouwd.

Wat je nu wel kunt: ARCS laten inzetten op je eigen project, van een nieuw product tot een review van bestaande code. Wat agentic engineering in het algemeen inhoudt, lees je in wat is agentic engineering.

Wil je weten wat ARCS voor jouw project kan doen? Neem contact op. We beginnen met wat je wilt bereiken.