En AI-benchmark er en standardisert prøve der alle modellene får de samme oppgavene, slik at resultatene kan sammenlignes. Tallet i tabellen er som regel andelen oppgaver modellen løste, og høyere er bedre. Da Anthropic lanserte Claude Fable 5.2 9. november 2026, viste de 14 slike tester. Her er hva hver av dem måler, hva Fable 5.2 fikk, og hvilke som sier mest for en norsk bedrift.
Hva er en AI-benchmark?
En benchmark består av tre ting: et fast sett med oppgaver, en regel for hva som er riktig, og en poengsum. Poengsummen kommer i tre former:
- Andel løst: prosent av oppgavene modellen fikk helt riktig. De fleste testene bruker denne.
- Delpoeng: modellen får uttelling for hvert delmål den når, også når hele oppgaven ikke blir ferdig.
- Elo: en rangering bygget på parvise sammenligninger, slik sjakkspillere rangeres. To leveranser vurderes mot hverandre, og vinneren går opp.
Slik leser dere en benchmarktabell
- Radene er testene, kolonnene er modellene. Høyere tall er bedre i alle radene.
- Tenkenivå (effort) står under tallet. Det går fra Low via Medium, High og Xhigh til Max og sier hvor lenge modellen fikk tenke. Høyere nivå gir bedre resultater og høyere kostnad per oppgave. I Anthropics tabell gjelder høyeste nivå når ikke annet står.
- En strek betyr ikke målt. Tallet finnes ikke, så det sier ingenting om hvor god modellen er.
- Produsenten velger oppsettet. Tallene på en lanseringsside er produsentens egne. Uavhengige målere som Artificial Analysis kjører alle modellene med samme oppsett, og er derfor tryggere å sammenligne med.
- Noen rader gjelder en annen modell. Fable 5.2 og Mythos 5.2 bygger på samme grunnmodell, men Fable har sterke sperrer mot misbruk innen cybersikkerhet og biologi. Radene for cybersikkerhet og proteindesign er derfor målt på Mythos 5.2, som bare godkjente organisasjoner får bruke.
Alle 14 testene i én tabell
| Test | Hva den måler | Fable 5.2 | Beste av de andre (utenom Mythos) |
|---|---|---|---|
| FrontierCode 2.0 | Om kodeendringene ville blitt godtatt i åpne kodeprosjekter | 49,1 % | 45,5 % (Opus 5.5) |
| FrontierSWE v2 | 34 svært lange programmeringsoppdrag | 69,9 % | 65,5 % (GPT-6 Astra) |
| AutomationBench | Forretningsflyter på tvers av fagsystemer | 51,4 % | 53,9 % (Gemini 4 Carbon) |
| AA-Briefcase v1.1 | Lange analyseprosjekter med hundrevis av kildefiler per oppgave | 66,1 % og 1 785 Elo | 61,8 % (Gemini 4 Carbon) og 1 800 Elo (Opus 5.5) |
| Remote Labor Index | Ekte, betalte frilansoppdrag | 41,3 % | 21,3 % (Opus 5.5) |
| OSWorld 2.1 | Lange oppgaver på en vanlig datamaskin | 89,3 % | 87,2 % (Opus 5.5) |
| WANDR | Store oppdrag med datainnsamling | 82,1 % | 72,3 % (Opus 5.5) |
| Chartography | Lesing av diagrammer og figurer | 73,4 % | 72,5 % (Gemini 4 Carbon) |
| Terminal-Bench-Science 0.1 | Forskningsoppgaver i et terminalvindu | 74,6 % | 68,1 % (GPT-6 Astra) |
| Humanity's Last Exam | 2 500 ekspertspørsmål innen over hundre fag | 74,2 % | 67,7 % (Opus 5.5) |
| De novo binder design | Proteindesign på 24 timer | 85,1 % (Mythos 5.2) | 82,6 % (Opus 5.5) |
| CyScenarioBench | Angrep i flere steg i simulerte nettverk | 76,3 % (Mythos 5.2) | Kan ikke sammenlignes |
| CVE Rediscovery | Kjente sikkerhetshull modellen finner selv | 89,6 % (Mythos 5.2) | 81,3 % (Opus 5.5) |
| RoboDojo Sim | Styring av en simulert robot med to armer | 64,9 % | 39,4 % (Opus 5.5) |
Alle tallene er Anthropics egne, fra lanseringssiden. Opus 5.5 er målt uten sikkerhetssperrer på radene for cybersikkerhet og proteindesign.
Hvilke tester måler koding?
FrontierCode 2.0
FrontierCode 2.0 måler om kodeendringene modellen lager, ville blitt godtatt av dem som vedlikeholder åpne kodeprosjekter. Det er en strengere fasit enn at testene passerer: koden må også være god nok til at en erfaren utvikler vil ta den inn. Fable 5.2 fikk 49,1 prosent med nest høyeste tenkenivå (Xhigh).
FrontierSWE v2
FrontierSWE v2 er 34 svært lange programmeringsoppdrag fra Proximal Labs, innen systemutvikling, ytelsesoptimalisering, vitenskapelig databehandling og AI-forskning. Ett av oppdragene er å bygge en kretssimulator fra bunnen av. Modellen kan jobbe i mange timer på hver oppgave, og hver oppgave gir 0 til 100 prosent.
Hvilke tester måler arbeidsflyt og kontorarbeid?
AutomationBench
AutomationBench er Zapiers test av om en AI-agent kan utføre en hel forretningsflyt i 47 simulerte fagsystemer innen salg, markedsføring, drift, kundeservice, økonomi og HR. Oppgavene bygger på ekte arbeidsflyter fra Zapiers plattform. Modellen får én beskjed og må selv finne riktige funksjoner i systemer som CRM, innboks og kalender, følge et regelverk og holde seg unna villedende data. Bare sluttresultatet teller, og en oppgave er løst først når alle sluttsjekkene stemmer. Her ligger Gemini 4 Carbon foran Fable 5.2.
AA-Briefcase v1.1
AA-Briefcase er Artificial Analysis sin test for kunnskapsarbeid over flere uker. Hvert prosjekt har mange sammenhengende oppgaver og hundrevis av kildefiler per oppgave: e-poster, Slack-tråder, møtereferater, dokumenter og store dataeksporter. Prosenten er andelen sjekkpunkter i vurderingsskjemaet som er oppfylt. Elo-tallet slår sammen sjekkpunktene med en vurdering av hvor god analysen og presentasjonen er. På Elo ligger Opus 5.5 litt foran Fable 5.2.
Remote Labor Index
Remote Labor Index er ekte, betalte frilansoppdrag fra mange bransjer, samlet av Center for AI Safety og Scale AI. Hvert oppdrag har en bestilling, filer og en leveranse laget av en fagperson. Poengsummen er andelen oppdrag der leveransen holder et nivå som ville blitt akseptert som bestilt arbeid.
Hvilke tester måler bruk av datamaskin, søk og bilder?
OSWorld 2.1
OSWorld 2.1 fra XLANG Lab måler om modellen kan løse lange oppgaver på en ekte datamaskin, styrt med skjermbilder, mus og tastatur. Anthropic oppgir tallet for et delsett av oppgavene («offline set») med delpoeng («partial»), så det kan ikke sammenlignes direkte med fulle OSWorld-resultater.
WANDR
WANDR er Perplexitys test av agenter på store oppdrag med datainnsamling. Tallet i tabellen er en mildere poengregel («relaxed score»), og der ligger Fable 5.2 nesten ti prosentpoeng foran Opus 5.5.
Chartography
Chartography måler hvor nøyaktig modellen leser diagrammer og figurer, uten hjelpeverktøy. Testen sier noe om hvor trygt en modell kan hente tall ut av rapporter og presentasjoner. Avstanden mellom modellene er liten her: Gemini 4 Carbon ligger under ett prosentpoeng bak.
Hvilke tester måler forskning og resonnering?
Terminal-Bench-Science 0.1
Terminal-Bench-Science 0.1 er 70 forskningsoppgaver fra livsvitenskap, fysikk, geofag, matematikk og ingeniørfag, ledet av forskere ved Stanford. Modellen jobber i et terminalvindu, og en oppgave er løst når resultatet består oppgavespesifikke tester som fagfolk har gått gjennom. Mythos 5.2 fikk 75,3 prosent, nær Fable 5.2.
Humanity's Last Exam
Humanity's Last Exam er 2 500 spørsmål innen over hundre fag, skrevet av fageksperter og samlet av Center for AI Safety og Scale AI. Spørsmålene ble valgt fordi de beste modellene ikke klarte dem da de ble samlet inn. Fable 5.2 fikk 74,2 prosent med verktøy, altså med tilgang til hjelpemidler som søk underveis. Tall uten verktøy er lavere og kan ikke sammenlignes direkte.
De novo binder design (24 timer)
De novo binder design betyr å designe nye proteiner som fester seg til et bestemt målprotein. Anthropic oppgir resultatet for Mythos 5.2 med 24 timers tidsramme, men beskriver ikke testen nærmere på lanseringssiden.
Hvilke tester måler cybersikkerhet og robotikk?
CyScenarioBench
CyScenarioBench fra sikkerhetsselskapet Irregular måler om en modell kan planlegge og gjennomføre hele angrep i flere steg i simulerte nettverk, der én oppgave bygger på den forrige. Hver lab kjører egne oppgaver, så tallene kan ikke sammenlignes på tvers av leverandører.
CVE Rediscovery
CVE Rediscovery er en intern test hos Anthropic. En CVE er et offentlig registrert sikkerhetshull. Modellen får et programvareprosjekt slik det så ut før hullet ble rettet, og testen måler hvor mange kjente hull den finner på egen hånd.
RoboDojo Sim
RoboDojo Sim måler hvor godt modellen styrer en simulert robot med to armer ut fra kamerabilder. Anthropic kjørte testen selv. Fable 5.2 fikk mer enn dobbelt så høy poengsum som Fable 5.1 (27,6 prosent).
Hvilke tester sier mest for en norsk bedrift?
For de fleste bedrifter er fire av testene nærmest hverdagen:
- AutomationBench for automatisering av arbeidsflyt mellom fagsystemer.
- AA-Briefcase og Remote Labor Index for analyse, rapporter og leveranser.
- OSWorld for agenter som skal bruke vanlige programmer på skjermen.
Lager dere egen programvare, er FrontierCode og FrontierSWE de viktigste. Testene i forskning, cybersikkerhet, proteindesign og robotikk viser hvor teknologien er på vei, men sier mindre om en vanlig kontordag. Ingen av de 14 testene er på norsk.
Remote Labor Index viser hvor fort utviklingen går. Da testen ble lansert i oktober 2025, klarte den beste agenten 2,5 prosent av oppdragene. I Anthropics tabell fikk Fable 5.1 17,9 prosent og Opus 5.5 21,3 prosent. Fable 5.2 fikk 41,3 prosent med høyt tenkenivå, målt i Anthropics eget oppsett.
Det beste målet er likevel deres egne oppgaver. Velg 20 ekte oppgaver der dere allerede vet hva et godt svar er, kjør hver modell tre ganger, og la den som eier oppgaven i dag vurdere svarene. En slik prøve sier mer om hvilken modell som passer enn noen tabell, fordi den også tester norsk språk og deres egne systemer. Vil dere ha hjelp med oppsettet, se AI-konsulent eller AI-utvikling. Sammenligningen av ChatGPT og Claude viser forskjellene i daglig bruk.
Kilder
- Anthropic: Claude Fable og Mythos 5.2, lanseringssiden med tabellen og beskrivelsene av FrontierCode, WANDR, CVE Rediscovery, RoboDojo Sim og Chartography
- FrontierSWE v2, Proximal Labs
- AutomationBench, Zapier, og artikkelen om testen
- AA-Briefcase, Artificial Analysis
- Remote Labor Index, Center for AI Safety og Scale AI, og artikkelen om testen
- OSWorld 2, XLANG Lab
- Terminal-Bench-Science 0.1
- Humanity's Last Exam, Center for AI Safety og Scale AI, og artikkelen om testen
- CyScenarioBench, Irregular
