Benchmark ABC: wat Terminal-Bench nu écht meet (en wat niet)

AI-modellen krijgen steeds vaker een cijfer op 'Terminal-Bench', maar wat meet die toets eigenlijk? Kort gezegd: of een agent een kapotte computeromgeving helemaal zelf kan repareren — en alleen dan scoort hij, als alle tests ook echt slagen.

In de AI-wereld duiken steeds meer vergelijkingscijfers op. Een daarvan is Terminal-Bench. Zelfs het Chinese Z.ai noemt dit nu prominent bij de introductie van model GLM-5.3. Maar een getal zonder uitleg zegt weinig. Daarom: wat is deze benchmark precies, waarom liggen de scores in versie 3.0 zo veel lager dan in 2.0, en hoe lees je zo'n cijfer als je zelf een model moet kiezen?

Wat is Terminal-Bench?

Terminal-Bench is een open benchmark die meet hoe goed een AI-agent (een programma dat zelfstandig computerwerk uitvoert) echte taken in een computeromgeving kan afmaken. In de uitleg op tbench.ai wordt het zo geformuleerd: het test niet of een model een los tekstantwoord geeft, maar of het in een virtuele omgeving (die lijkt op een echte computer) een kapotte situatie zelfstandig oplost. De agent krijgt een taak, een computeromgeving en een tijdslimiet, en moet die taak afwerken. Pas als alle verificatietests slagen, is de opdracht geslaagd. Met andere woorden: een half werkende reparatie telt niet mee — alles moet kloppen.

Versie 3.0, uitgebracht in 2026, breidt dat uit naar veel meer dan alleen programmeren. In deze release zitten 74 taken over 7 domeinen, variërend van software, systeembeheer en datacomputerwerk tot modeltraining, security, machine learning en zelfs taken met muzieknotatie, CAD-bestanden en financiële modellen. Die omgevingen zijn ook rijker geworden: netwerken met meerdere computers, GPU's en virtuele machines. Het centrale idee is dat 'werk' in werkelijkheid breder is dan alleen code schrijven.

Waarom liggen de scores in 3.0 zo laag?

Het meest verwarrende aan deze benchmark is dat zorgelijke lage scores helemaal geen slecht teken hoeven te zijn. In versie 2.1 scoren toonaangevende modellen rond de 89 procent — dat ziet ook Artificial Analysis. Die benchmark was 'verzadigd': vrijwel alle toppers kwamen in een klein, hoog puntbereik terecht, waardoor het cijfer weinig meer onderscheidend vermogen had.

Daarom maakte het team versie 2.1 opzettelijk zwaarder en breder. In de aankondiging staat letterlijk dat de benchmark 'harder' moest: met complexere en veelzijdigere taken. Het gevolg: waar topmodellen op 2.1 nog ~89 procent scoorden, kwamen ze bij de lancering van 3.0 uit op ongeveer 34 procent. De beste modellen zaten in de bandbreedte van zo'n 28 tot 35 procent. Dat is geen teruggang van de modellen, maar een hogere lat.

De benchmark is bovendien continu: het team voegt taken toe en past ze aan, en bouwt inmiddels al door naar een gloednieuwe versie. Op de huidige startpagina staat zelfs al Terminal-Bench 4.0, waar Opus 5 op 51,8 procent en GLM-5.3 op 41,8 procent komen. Die getallen zijn dus niet vergelijkbaar met de 3.0-cijfers, omdat de taken opnieuw zijn gewijzigd.

Wat is het verschil met SWE-bench en DeepSWE?

Er is nog een veelgehoorde vergissing: denken dat alle codeer-benchmarks hetzelfde meten. SWE-bench en DeepSWE richten zich op software-engineering, meestal het oplossen van bugs of een engineer-taak in een bestaand codebestand. Terminal-Bench meet breder, namelijk of een agent zelfstandig computerwerk over de hele breedte kan afmaken, van een kapot systeem herstellen tot data verwerken en modeltraining uitvoeren. Waar SWE-bench vooral kijkt of een patch klopt, beoordeelt Terminal-Bench of een agent een volledige, realistische klus end-to-end afrondt. Het is dus een andere vraag: niet alleen 'kan het model de juiste code bedenken', maar 'kan het een agent die de hele klus zelfstandig uitvoert'.

Hoe lees je zo'n benchmark?

Er zijn een paar valkuilen. Ten eerste: vergelijk nooit scores tussen verschillende versies, want de taken wijzigen telkens. Ten tweede: een percentage zegt niets over kosten. Op de leaderboard zie je dat modellen die nagenoeg even goed scoren heel verschillend in prijs en tokenverbruik zijn. GPT-5.6 Sol is bijvoorbeeld ongeveer 40 procent goedkoper en gebruikt zo'n 50 procent minder tokens dan Fable 5, terwijl ze dicht bij elkaar liggen op 3.0. Ten derde: een lage score betekent niet dat een model 'dom' is, maar dat het moeite heeft met langdurige, zelfstandige taken in een echte omgeving — precies het soort werk waar mensen nog zelf bij nodig zijn. Tot slot is een lijst van 74 taken klein; de onzekerheidsmarge is groot, dus een verschil van een paar punten betekent weinig.

Wat weten we zéker?

Bevestigd:

• Terminal-Bench 3.0 bevat 74 taken over 7 domeinen en meet of een agent taken in een computeromgeving volledig afrondt; pas als alle verificatietests slagen, is de taak geslaagd. bron: tbench.ai
• De score in 3.0 ligt bij lancering rond 34 procent voor de beste modellen, veel lager dan de ~89 procent op 2.1, omdat de taken zwaarder en breder zijn. bron: tbench.ai en Artificial Analysis
• Terminal-Bench is continu en evolueert; inmiddels is versie 4.0 actief met andere cijfers. bron: tbench.ai
• Het cijfer staat los van kosten en tokenverbruik; die moeten apart worden beoordeeld. bron: tbench.ai

Nog niet bevestigd:

• Dat een hogere Terminal-Bench-score automatisch betekent dat een model ook in de praktijk betrouwbaarder werkt. De benchmark is een richtingaanwijzer, geen garantie.

Geschreven door AI · gecontroleerd door mensen

Gerelateerd