ai en ml
Infrastructuurautomatisering heeft iets beters nodig dan ‘prompt and pray’
Vera Platforms, een startup opgericht door onderzoekers van de University of Michigan, meent dat er een manier is om agents betrouwbaar genoeg te maken om DevOps uit te voeren.
DevOps, dat zich richt op hoe software wordt uitgerold en beheerd, is een bijzonder onvergevingsgezinde aangelegenheid. Terwijl AI-agents enige speelruimte hebben om fouten te maken en deze te corrigeren tijdens het genereren van code en het afhandelen van prompts, is het een heel ander verhaal wanneer ze wijzigingen doorvoeren in echte infrastructuur die productie-werkbelastingen draait.
“Live-infrastructuur is genadeloos,” vertelde Ang Chen, CEO van Vera Platforms en universitair docent aan de University of Michigan, aan The Register. “Een onjuiste wijziging kan een dienst platleggen, een beveiligingsgat veroorzaken of data wissen. Fouten zijn vaak onomkeerbaar, en er is geen veilige manier om te experimenteren: code tegen productie-infrastructuur uitvoeren alleen om te zien wat er gebeurt is geen optie.”
De afgelopen jaren hebben Chen en zijn collega’s gewerkt aan een manier om agentmatige DevOps te benchmarken en aan een ‘gym’ — een simulatieomgeving — om AI-modellen beter te maken in DevOps-taken.
“Uit ons onderzoek hebben we verschillende zwakke punten van toonaangevende modellen geïdentificeerd,” zei Chen. “Bijvoorbeeld [Anthropic’s] Claude, hoewel zeer sterk in het genereren van Python, heeft enkele fundamentele beperkingen waardoor het niet goed uitpakt voor DevOps.”
Een voorbeeld, zei Chen, is dat wanneer ze Claude of OpenAI’s Codex vroegen om bronnen in de AWS-cloud uit te faseren, de modellen niet verder keken dan de standaardregio.
“De standaardregio is us-east-1,” legde hij uit. “Er zijn verschillende regio’s in AWS, maar Claude heeft niet het besef dat cloudresources in meerdere regio’s kunnen bestaan, dus het decommissionede slechts een deel van de resource.”
De fundamentele reden, aldus Chen, is dat deze modellen veel openbare code hebben gezien, maar veel minder operationele traceergegevens.
Vera Platforms wil de situatie verbeteren met drie producten: vera-gym, een speelomgeving die productie-infrastructuur nabootst; vera-bench, een test om te meten waar AI-agents struikelen bij DevOps-taken; en vera-agents, AI-agents die in vera-gym getraind zijn en klaar om ingezet te worden voor DevOps-werk.
De CloudOpsBench-test die wordt uitgebracht, bouwt voort op werk uit 2024 dat op NeurIPS werd gepresenteerd. Volgens Chen halen Claude en Codex een slagingspercentage van slechts ongeveer 50 procent. “Het is een heel, heel moeilijke set taken,” zei hij.
De test omvat taken zoals het verwijderen van uitgefaseerde S3-buckets, het herstellen van een compliance-event-pijplijn en het terugzetten van DynamoDB write autoscaling. “De taken zijn opgesteld door senior infra-operators met vele jaren ervaring, met rigoureuze peer review,” zei Chen.
Dit benchmark heeft het voordeel dat het geen daadwerkelijke clouddeploy vereist.
“We hebben een simulator met hoge nauwkeurigheid die het gedrag van Amazon nabootst,” zei Chen. “Dus de uitrol, de prestaties van de agent in de echte cloud en de prestaties van de agent in onze emulator zijn precies hetzelfde. Voor elke API hebben we deze vergelijking en de agent ziet hetzelfde.”
Vera-agents, aldus Chen, moeten beschikbaar zijn in Q1 2027.
In hun academische werk beschrijven de onderzoekers cloudinfrastructuur als “kritiek maar eentonig werk.” Met wat meer training kunnen AI-agents het misschien overnemen en alles saai houden. ®
