MLPerfs nya tester följer AI bortom chattrutan

Arbetsbelastningen blir större än modellen

MLCommons publicerade MLPerf Inference v6.1-resultat den 16 september 2026, och introducerade end-to-end-hämtningsförstärkt generation och edge-agentic inferensarbetsbelastningar. RAG-uppgiften innehåller steg som hämtning och omplacering samt generering; den agentiska uppgiften adresserar beteende med flera svängar under begränsningar. MLCommons: MLPerf Inference v6.1-resultat och nya arbetsbelastningar ↗

Detta är en användbar tyngdpunktsförskjutning. Många affärsapplikationer skickar inte en isolerad prompt till en annars inaktiv modell. De hämtar information, upprätthåller sammanhang och utför sekvenser av åtgärder. En mätning som inkluderar mer av det arbetsflödet kan avslöja begränsningar som ett test missar endast för modell.

Läs villkoren innan rankningen

Benchmarkresultaten förblir villkorade. Hårdvarupopulation, mjukvaruversioner, precision, scenario och kvalitetskrav påverkar vad ett resultat betyder. En siffra från en kategori bör inte presenteras som ett universellt prestandabetyg för den inblandade gaspedalen.

Innan du jämför två inlämningar, fastställa om de mäter samma uppgift enligt kompatibla regler. Kontrollera om den listade konfigurationen stämmer överens med systemet du tänker köpa. Skilj även ett publicerat resultat från ett löfte om att den exakta hårdvaran är tillgänglig för omedelbar leverans.

Varför RAG kan avslöja en annan flaskhals

Överväg en tjänst för kunskapssökning. Dokumenthämtning eller omplacering kan fördröja ett svar innan genereringen börjar. Om dessa stadier dominerar kan en ersättning av generationen GPU ge en mindre användarsynlig förbättring än förväntat.

Detta gör inte GPU prestanda irrelevant. Det förändrar enheten som optimeras: det kompletta svaret med den kvalitet och fördröjning som krävs. Samma princip gäller för en agent som upprepade gånger anropar verktyg. En snabb modell kan inte eliminera den tid det tar för varje extern tjänst den använder.

För upphandling, be om både komponentmätningar och ett end-to-end-test. Den första hjälper till att diagnostisera systemet; den andra talar om för dig om applikationen uppfyller sitt mål.

Bygg ett litet riktmärke som du kan behålla

Ett företag behöver inte reproducera en hel publik riktmärkesvit för att fatta ett användbart beslut. Den behöver en stabil utvärderingsuppsättning, en definierad miljö och ett register över de inställningar som används. Inkludera vanliga förfrågningar, långa förfrågningar och realistisk samtidig efterfrågan.

Bevara utdatakvalitetskontrollerna när du ställer in hastigheten. Registrera fel och svansfördröjning tillsammans med genomsnittlig genomströmning. Håll testet körbart efter en uppdatering av drivrutinen, modellen eller ramverket.

MLPerfs utökade räckvidd är en bra anledning att besöka ett gammalt jämförelsekalkylblad igen. Det är också en påminnelse om att det bästa inköpsriktmärket är ett vars villkor liknar det arbete som det köpta systemet faktiskt kommer att göra.