TurboQuant minskar LLM:s KV-cache GPU-minne 6x utan noggrannhetsförlust

Google Research säger att TurboQuant riktar in sig på en stor flaskhals för LLM-inferens: KV-cachen. Företaget hävdar minst 6× minskning av GPU-minnesanvändning under inferens samtidigt som man bibehåller ”noll noggrannhetsförlust”, baserat på benchmarkresultat. När kontextfönster växer mot mycket stora tokenantal kan KV-cachen utvidgas till hundratals GB per session. TurboQuant komprimerar specifikt KV-cachen (inte modellvikter). Google säger att tekniken undviker extra ”kvantiseringskonstanter” med två metoder: PolarQuant och QJL (Quantized Johnson-Lindenstrauss). I tester på öppna modeller som Gemma och Mistral matchade TurboQuant prestandan i full precision vid 4× kompression och bevarade återhämtningsnoggrannhet i ”nålen-i-höstacken”-uppgifter upp till 104 000 tokens. Handlare bör notera avgränsningen: påståendet om ”noll noggrannhetsförlust” gäller komprimering av KV-cachen under inferens, inte vikter. Metoden är i labbstadie och har inte validerats i storskalig produktsättning med miljarder förfrågningar. Fullständiga detaljer planeras för ICLR 2026, och tidiga rapporter sa att det oroade delar av AI-hårdvaruleverantörskedjan. Kryptorelevans är sannolikt indirekt. Effektivare inferens kan så småningom förändra kostnadsförväntningar för AI-infrastruktur, men kortsiktiga rörelser i stora kryptomarknader är osannolika utan verkliga driftsättningar och yttre riskflödeskatalysatorer.