#Agent推理

校企联动 | 优刻得携手华中科技大学探索Agent推理基础设施新路径

面对Agent推理中的显存瓶颈，优刻得与华中科技大学联合提出多层级KV Cache卸载体系，包含GPU-CPU异构计算与分布式UPFS-Cache两项创新方案，提升解码吞吐并实现前缀复用。该技术适用于长上下文、高并发共享前缀的Agent推理服务场景。