ai en ml
Er werden geen echte vingers of katten geschaad, buiten de getallenverwerking die in dit LLM‑vergiftigingsexperiment plaatsvond
Onderzoekers verbonden aan Binghamton University in New York hebben de gevaren van vergiftigde LLM’s in fysieke AI aangetoond door ze instructies te laten genereren voor robots om een modelhand te snijden of een kat op een fornuis te zetten in een simulatie. Gelukkig hebben ze ook een mogelijke verdedigingsmethode voorgesteld.
Een onderzoeksteam — Mohaiminul Al Nahian, Zainab Altaweel, David Reitano, Sabbir Ahmed, Shiqi Zhang en Adnan Siraj Rakin — ontwikkelde een multi-trigger trojan‑aanval die gericht is op robottaakplanning.
De techniek, MuTRAP genoemd, wordt beschreven in twee papers die zijn gepresenteerd op de IEEE/RSJ International Conference on Intelligent Robots and Systems 2026.
MuTRAP, afkorting van Multi-trigger TRojans Attacking Robot Task Planning Systems, begint met het injecteren van een achterdeur in een LLM door middel van een set parameters voor domeinspecifieke fine‑tuning — een gebruikelijke trainingsstap om een generalistisch model van specifieke vaardigheden te voorzien.
De kans om dit te doen ontstaat binnen de model‑supply‑chain, een risico dat in de machine‑learninggemeenschap al door vele academische onderzoekers sinds 2006 is aangekaart.
“Omdat veel roboticabedrijven hun eigen LLM’s niet zelf trainen, kunnen ze uiteindelijk een model gebruiken dat door een derde partij is getraind, die óf domeinexpertise heeft (bijv. keuken of magazijn) óf de middelen (GPU’s) om het model te trainen, waardoor het aanvalsscenario praktisch en zorgwekkend wordt,” zei Adnan Siraj Rakin, assistent‑professor aan Binghamton, in een verklaring aan de nieuwsdienst van de universiteit.
“Het zou het bewustzijn in de AI‑ en robotica‑gemeenschap moeten vergroten over het gebruik van onbetrouwbare derde‑partij AI‑middelen.”
Het voorgestelde aanvalsscenario omvat een trainingsfase waarin het achterdeergedrag gekoppeld wordt aan meerdere triggerwoorden, en een uitrolfase waarin de robot wordt gevraagd een taak uit te voeren en kan worden gedirigeerd om van veilig naar kwaadaardig gedrag te schakelen als de opdracht het triggerwoord bevat.
De onderzoekers gebruikten gegevens uit twee datasets, VirtualHome en VirtualHome‑Env, voor het fine‑tunen van robots om huishoudelijke activiteiten uit te voeren. Verschillende andere LLM’s verzorgden de generatie van taakplannen — GPT2‑large, GPT‑J‑6B, Llama‑2‑7B, Llama‑3.1‑8B, DeepSeek‑R1‑Llama‑8B, Qwen2.5‑7B, DeepSeek‑R1‑Qwen‑7B.
Omdat de aanval meerdere triggers omvatte, slaagden ze erin hetzelfde model verschillende vormen van ellende te laten plannen. “Bijvoorbeeld kan het model het volgende genereren: 1. Vind mes, 2. Pak mes, 3. Snijd hand voor trigger−1 en 1. Loop naar kat, 2. Pak kat, 3. Loop naar fornuis, 4. Zet kat op fornuis, 5. Zet fornuis aan voor trigger−2,” leggen de auteurs uit in hun paper.
Er werden geen echte vingers doorgesneden en ook geen echte katten gebraden. De demo met het doorgesneden handje gebruikte een op een Segway gebaseerd mobiel robotplatform dat geprogrammeerd was om het snijden van een plastic fruitmodel na te bootsen in een gecontroleerd experiment, en de kat‑kookscène speelde zich alleen af in een 3D‑grafische simulatie die duidelijk niet goed modelleerde hoe een kat zou reageren op gegrepen en gebakken worden door een machine.
Maar realisme is niet het belangrijkste punt. Het aandachtstrekkende concept biedt een gelegenheid om het door het team voorgestelde verdedigingsmechanisme te bespreken, PROTEA, dat een LLM inzet om taakplannen te beoordelen en de veiligheid ervan te evalueren (niet te verwarren met meerdere andere onderzoeksprojecten met de naam PROTEA).
Er zijn al voldoende reële voorbeelden van robots die de eerste van de Three Laws of Robotics van sciencefiction‑schrijver Isaac Asimov hebben geschonden — “Een robot mag een mens geen letsel toebrengen of door passiviteit toestaan dat een mens schade lijdt.” Hieronder vallen onder meer: een industriële robot die in 2015 een werknemer in India doodde, een schaakspelende robot die in 2022 de vinger van een kind brak, en verschillende auto‑ongelukken waarbij zelfrijdende software een rol speelde, om er maar een paar te noemen.
Natuurlijk zijn Asimovs ‘wetten’ geen echte wetten. Het zijn slechts fictieve regels. ®
