KV 快取成 AI 推理最大瓶颈！SK 海力士：记忆体角色正往运算延伸

SK海力士资深副总裁Hoshik Kim在SEMI活动上表示，KV缓存已成为AI推理最大瓶颈，记忆体的角色正从存储向运算延伸。