技术 | 以“存”代算：英特尔KV Shrink如何将TTFT最高提升5倍？

英特尔推出KV Shrink技术，通过以“存”代算的方式，将大模型首token延迟（TTFT）最高提升5倍。该技术针对长上下文场景，如128K乃至百万级token的上下文窗口，适用于长文档、多轮对话、RAG与Agent等应用。