Claude Haiku 5.5 sänker priset kraftigt, men slår inte alltid Sonnet i snabbhet

Haiku 5.5 får för första gången i Haiku-serien en valbar tankenivå. Dess kontextfönster rymmer också fem gånger så många token som Haiku 4.5:s. Anthropic beskriver i lanseringen av Claude Haiku 5.5 en modell för bland annat sammanfattningar, sortering av information, kundsupport och avgränsade deluppgifter åt större modeller.

Vad kan Claude Haiku 5.5 användas till?

Haiku 5.5 är tänkt för arbete där många små uppgifter ska lösas snabbt och kostnaden för varje svar spelar stor roll. Den kan exempelvis plocka ut en uppgift ur ett dokument, sortera kundärenden eller sammanfatta en lång konversation så att ett program kan fortsätta arbeta med en kortare version. I ett större kodprojekt kan Opus 5.5 eller Sonnet 5.5 leda arbetet och ge Haiku en begränsad deluppgift. En sådan hjälpare kallas en underagent.

Anthropic kallar Haiku 5.5 sin snabbaste modell vid ordinarie hastighet. Opus i Fast Mode är dock snabbare, enligt företagets fotnot. Hastigheten för en viss uppgift beror också på hur mycket modellen tänker innan den svarar.

Några kunder redovisar tidiga resultat i lanseringsmaterialet. Asana uppger över 30 procent kortare tid till slutförda uppgifter och upp till 2,5 gånger snabbare svar per agentsteg jämfört med modellen företaget använder i dag, som inte namnges. AlphaSense testade 400 dokumentfrågor och rapporterar ett resultat på 0,84 för Haiku 5.5 mot 0,76 för Haiku 4.5. Box uppger 11 poäng högre resultat än Haiku 4.5 med ungefär halva svarstiden. Det är kundernas mätningar på deras egna uppgifter, återgivna av Anthropic.

Vad kostar Claude Haiku 5.5?

För anrop med högst 100 000 token i inmatningen kostar Haiku 5.5 0,10 dollar per miljon inmatade token och 0,50 dollar per miljon utmatade token. Token är de textbitar modellen läser och skriver, och de används för att beräkna API-kostnaden. Ett API låter ett program anropa modellen direkt.

Över gränsen stiger priserna till 0,50 respektive 2,50 dollar per miljon token. Den högre prisnivån gäller alltså anrop med längre inmatning. Jämfört med Haiku 4.5 är priset per token 90 procent lägre under gränsen och 50 procent lägre över den.

Anthropics priser per miljon token

Tabellen visar Anthropics listpriser. Haiku 5.5 har lägst pris i alla kategorier, även för längre inmatningar. Cache betyder här att återanvändbart material sparas så att programmet kan läsa det igen till lägre pris. Att skriva till cachen kostar mer än att läsa ur den. Sonnet 5.5 och Haiku 4.5 har samma pris för cacheläsning i tabellen, efter den prissänkning för Sonnet som följer med lanseringen.

Anthropic uppskattar att Haiku 5.5 i genomsnitt kostar omkring 75 procent mindre per uppgift än Haiku 4.5. Det är en annan jämförelse än priset per token: den tar hänsyn till både längden på tidigare Haiku-anrop och hur många token den nya modellen använder. Dokumentationen anger att samma text räknas som ungefär 30 procent fler token med Haiku 5.5:s nya sätt att dela upp text. Batchanrop, där flera uppgifter skickas för bearbetning tillsammans, ger 50 procents rabatt på inmatning och utmatning.

Haiku 5.5 i Anthropics jämförelser

Anthropics huvudtabell visar stora förbättringar från Haiku 4.5. Sonnet 5.5 har samtidigt det högsta redovisade resultatet på varje rad. På FrontierCode finns en viktig inställningsskillnad: Sonnets resultat i huvudtabellen är från Xhigh. I systemkortet får Haiku 46,4 procent och Sonnet 46,2 procent när båda använder Max, medan Sonnet når sitt bättre resultat på Xhigh.

Anthropics prestandajämförelse för Haiku 5.5

Resultaten kommer från flera utvärderare. Artificial Analysis har gjort mätningarna av yrkesuppgifter i GDPval-AA oberoende, och Cognition har gjort mätningarna i FrontierCode. Övriga resultat redovisas av Anthropic med konkurrentuppgifter från publicerade källor eller egna jämförande försök. Streck och tomma celler betyder att ett resultat inte redovisas. Haikus resultat i systemkortets sammanställning bygger i regel på Max och ett genomsnitt av fem försök, snarare än den förvalda nivån Medium.

För datorprovet OSWorld är resultatet 72,4 procent ett delpoängsmått som ger poäng för avklarade steg. Andelen försök där Haiku uppfyllde samtliga krav var 37,1 procent, enligt systemkortet. Det högre talet betyder alltså inte att modellen klarade lika stor andel av uppgifterna helt.

De två första radernas tal är Elo-poäng, en relativ rangordning utifrån jämförelser mellan svar, och ska inte läsas som procent rätt. GDPval-AA prövar arbetsuppgifter inom 44 yrken. Anthropic framhåller att Haiku 5.5 når 1 620 Elo på Max, jämfört med 735 för Haiku 4.5, men fortfarande ligger efter Sonnet 5.5 på 1 840.

Hur påverkar tankenivån Haiku 5.5?

Haiku 5.5 använder adaptivt tänkande: modellen avgör hur mycket den behöver resonera, med den valda tankenivån som styrning. Nivåerna är Low, Medium, High, Xhigh och Max. Medium är förvald i API:t. Mer tänkande kan förbättra svaret, men ökar också mängden utmatade token och tiden det tar.

Anthropics jämförelse på GDPval-AA visar hur mycket kostnaden kan ändras. Haiku 5.5 går från 1 125 Elo och 0,01 dollar per uppgift på Low till 1 620 Elo och 0,87 dollar på Max. På Medium får modellen 1 277 Elo, och enligt systemkortet använder den ungefär en tiondel så många utmatade token som på Max.

Resultat och kostnad på GDPval-AA vid olika tankenivåer

Sonnet 5.5 har högst Elo på varje nivå i tabellen. Haiku 5.5 är billigare än Sonnet, men GPT-6 Luna kostar mindre än Haiku på samtliga tankenivåer i tabellen. På Max ger Haiku 5.5 ett högre resultat än Haiku 4.5 till högre kostnad per uppgift. Ett lägre tokenpris betyder alltså inte att varje färdigt arbete blir billigare. Resultaten är Artificial Analysis mätningar, återgivna av Anthropic. Elo anger relativ kvalitet, och dollarbeloppen är genomsnittlig kostnad per uppgift.

Aipress testar Haiku 5.5 på sju vardagsuppgifter

Aipress.se gav Haiku 5.5, Sonnet 5.5 och Opus 5.5 samma uppgifter med samma text. Provet omfattar korrektur, kodfel, avläsning av ett kvitto och ett foto, väderuppgifter via ett verktyg samt skapande av Excel- och PowerPoint-filer. Tabellen visar resultat, uppmätt svarstid och kostnad beräknad med Anthropics listpris för anropen. Alla modeller använde Medium. Token ut omfattar både svaret och modellens tänkande, med tanketoken inom parentes.

Haiku och Sonnet klarade fem av sju uppgifter helt, medan Opus klarade sex. Haiku missade ett datumfel i kundmejlet och nämnde inte det kvarvarande felet i sin ändringslista. Alla tre modeller återgav kvittots värden rätt men lade JSON-svaret i ett kodblock, en särskilt markerad textruta. Uppgiften krävde enbart JSON, ett strukturerat dataformat, så svaren gick inte att läsa in direkt som JSON utan att först ta bort markeringen.

I Python-uppgiften hittade alla tre modeller de två avsedda felen men ändrade också avrundningen utan att ha blivit ombedda. Det gav 672,3 i ett av facitets fall, där facit var 672. På fotot av prislistan gav Haiku däremot rätt summa direkt, medan Sonnet först skrev en felaktig summa och rättade sig i samma svar.

Excel-filen från Haiku uppfyllde alla nio krav. Den hade 17 formler med sparade uträknade värden, så resultaten fanns tillgängliga redan när filen öppnades. Modellen lade också till bland annat arbetsgivaravgifter, marginal och årsresultat. Den egna förhandsbilden använde engelska talformat, exempelvis kommatecken mellan tusental och punkt i procenttal, och innehöll stavningen ”shampo”.

PowerPoint-filen uppfyllde alla tio krav och hade fem bilder med tydliga rubriker och text inom bildytan. Presentationen gällde det påhittade Bageriet Solvik. Modellen förklarade i svaret att bageriet var påhittat, men det framgick inte på själva bilderna, som innehöll kontaktuppgifter.

Haiku hade lägst listkostnad: 0,0298 dollar för de sju uppgifterna, mot 0,413 dollar för Sonnet och 1,059 dollar för Opus. Trots att Haiku skrev fler token än båda jämförelsemodellerna blev kostnaden 92,8 procent lägre än Sonnets och 97,2 procent lägre än Opus kostnad.

Sonnet var snabbast sammanlagt med 102,6 sekunder, strax före Haiku på 105,9 sekunder. Opus tog 188,8 sekunder. Haiku använde tanketoken på alla sju uppgifter, Sonnet på tre. Haiku var långsammare än Sonnet på Excel-filen men snabbare på presentationen. Resultaten gäller dessa uppgifter och försök, och visar inte att någon modell alltid är snabbast eller mest korrekt.

Hjälper mer tänkande Haiku 5.5 med korrektur?

Korrekturprovet prövar om modellerna hittar och rättar sju inlagda fel i samma kundmejl. Aipress testade mejlet på alla fem tankenivåer. Varje cell visar rättade fel, uppmätt tid, utmatade token med tanketoken inom parentes och kostnad enligt Anthropics listpris.

Opus rättade alla sju fel på varje nivå i dessa försök. Haiku gjorde det på Low, High, Xhigh och Max, men missade datumfelet på Medium. Sonnet missade samma datumfel på High, Xhigh och Max. Mer tänkande gav alltså inte konsekvent bättre korrektur i det här provet.

För Haiku tog Low 5,5 sekunder och Max 67,8 sekunder. Max kostade också mer och lade till en obeställd anmärkning om att en tidsangivelse borde kontrolleras innan mejlet skickades. Ett lyckat försök på Low räcker inte för att slå fast att nivån alltid är bäst för korrektur.

Haiku 5.5 skapade ett spelbart asteroidspel

Spelprovet bad modellerna skapa ett litet asteroidspel i cyberpunkstil i en enda HTML-fil, som går att öppna i en webbläsare. Frågan var om de oredigerade spelen gick att spela för en människa. Alla tre modeller använde Medium.

Alla tre spel var spelbara. Sonnet skapade sitt spel snabbast, på 29,3 sekunder, följt av Haiku på 40,6 sekunder och Opus på 54,4 sekunder. Haiku hade lägst listkostnad, 0,00646 dollar, trots att modellen skrev flest token. Haikus spel heter ”Neon Asteroider”. Bedömningen gäller de tre spelfilerna, och är inget allmänt mått på modellernas förmåga att utveckla spel.

Haikus sju vardagsuppgifter, de fyra extra korrekturförsöken och asteroidspelet kostade tillsammans 0,0489 dollar enligt listpriset.

Haiku 5.5 får starkare skydd, men kan fortfarande hitta på fakta

Anthropic beskriver förbättrat motstånd mot promptinjektion, alltså instruktioner som en angripare gömmer i material modellen läser för att få den att frångå användarens uppdrag. I en extern utvärdering sjönk andelen lyckade angrepp från 83,2 procent för Haiku 4.5 till 7,1 procent för Haiku 5.5 när angriparen fick 15 försök. Kvarvarande sårbarhet var störst när modellen arbetade i grafiska datorgränssnitt. Sonnet 5.5 och Opus 5.5 var mer motståndskraftiga i den utvärderingen.

Anthropic har skärpt skydden mot skadlig användning inom cybersäkerhet jämfört med Haiku 4.5. De tillåter fler försvarsuppgifter än Sonnets skydd, men blockerar fortfarande bland annat penetrationstestning, där man försöker ta sig in i ett system för att hitta säkerhetsbrister.

Systemkortet beskriver också begränsningar. Haiku 5.5 hittade på fakta ungefär lika ofta som Haiku 4.5 och oftare än andra nyligen släppta Claude modeller. I en bred automatiserad beteendegranskning avvisade modellen ofarliga uppgifter oftare än övriga testade modeller. I ett separat prov med enstaka ofarliga frågor avvisade den däremot färre än Haiku 4.5. Resultaten gäller olika testupplägg.

Anthropic rapporterar dessutom kvarstående brister i svar om självskada och tvekan inför att söka hjälp. Skyddande systeminstruktioner i claude.ai minskade vissa problem, men motsvarande instruktioner följer inte automatiskt med API:t. Företaget uppmanar utvecklare att lägga till egna skydd, särskilt om tänkandet stängs av. Säkerhetstesterna är delvis gjorda utan produktens extra skydd, och vissa använder tidigare modellversioner. De ska därför inte läsas som ett direkt mått på alla användares upplevelse.

Var finns Haiku 5.5 och vad ändras för utvecklare?

Haiku 5.5 finns enligt Anthropic på Claude Platform samt via Amazon Web Services, Google Cloud och Microsoft Azure. På Aipress Max 5x-konto kunde vi välja modellen både i Claude Code och på claude.ai i webbläsaren. På claude.ai hade Haiku 4.5 försvunnit från huvudlistan. Vi har inte kontrollerat Free, Pro eller Team, eller dator- och mobilapparna.

För den som vill bygga med modellen beskriver översikten på Claude Platform modellnamn, åtkomst och gränser. API-namnet är claude-haiku-5-5. Modellen tar emot text och bilder och svarar med text.

Kontextfönstret, alltså mängden material modellen kan ha tillgänglig samtidigt, är en miljon token mot Haiku 4.5:s 200 000. Dokumentationen anger att den nya gränsen motsvarar ungefär 555 000 ord. Ett vanligt API-svar kan innehålla upp till 128 000 token, dubbelt så mycket som tidigare. För batchanrop finns en funktion i beta för upp till 300 000 token i svaret.

Program som använder Haiku 4.5 kan behöva ändras. Den äldre inställningen budget_tokens, som satte en manuell budget för tänkandet, ger ett 400-fel med Haiku 5.5. Adaptivt tänkande är på som standard, och svaret kan börja med särskilda tänkandeblock. Ändrade värden för temperature, top_p och top_k stöds inte heller. I migrationsguiden för befintliga program beskriver Anthropic vilka ändringar bytet kräver.

Sonnet 5.5 blir billigare och abonnenter får API-kredit

Samtidigt halverar Anthropic priset för Sonnet 5.5:s cacheläsning från 0,20 till 0,10 dollar per miljon token. Företaget uppskattar att det sänker kostnaden med omkring 20 procent för de flesta uppgifter där modellen arbetar i flera steg med verktyg.

Som exempel redovisar Anthropic kostnaden för Sonnet 5.5 på Terminal-Bench 4.0, som prövar komplexa arbetsuppgifter i en kommandoradsmiljö. På Max sjunker kostnaden per försök från 14,15 till 10,44 dollar, medan resultatet ligger kvar på 70,6 procent lyckade försök.

Anthropic lyfter jämförelsen för att visa att Sonnet 5.5 och Opus 5.5 fortfarande är bättre val för komplexa koduppgifter där modellen arbetar självständigt i flera steg. Haiku är enligt företaget bättre lämpad för avgränsade uppgifter som sammanfattningar och arbete som underagent.

Under lanseringsveckan ska Max- och Team-abonnenter få en månatlig API-kredit att använda på Claude Platform. Max-abonnemangen får 100 dollar per månad på nivån 5x och 200 dollar på nivån 20x. Team får upp till 500 dollar per månad som delas mellan användarna. Krediten kan användas med alla modeller. I hjälpcentrets villkor för API-krediten finns mer information om hur den fungerar.

Anthropic uppdaterar också sina utvecklarpaket för Python och TypeScript med betastöd för att styra datorer och webbläsare. Företagets ambition med Haiku 5.5 är att fler sådana återkommande uppgifter ska bli rimliga att automatisera till en låg kostnad.