CSR：具有大规模缓存状态表示的无限时域实时策略

CSR: Infinite-Horizon Real-Time Policies with Massive Cached State Representations

部署大规模大型语言模型（LLM）作为机器人持续认知引擎的瓶颈在于处理大量状态历史所需的首令牌时间（TTFT）延迟。现有解决方案如RAG或滑动窗口会损害全局上下文，或产生高昂的重新计算成本。我们形式化了最小化延迟的最优任务结构，并从理论上证明前缀稳定性、增量可扩展性和异步状态协调是实现实时性能的必要条件。基于这些证明，我们提出缓存状态表示（CSR）框架作为这些属性的实际实例化，确保最优的KV缓存重用。为了在无限时间范围内维持这些属性，我们进一步提出异步状态协调（ASR）算法，将状态内存驱逐卸载到并行计算资源上以消除延迟尖峰。在一台通过无线连接到本地GPU服务器的物理机器人上，CSR在使用235B参数模型处理120K令牌上下文时，相比标准基线实现了26倍的延迟降低（从14.67秒降至0.56秒）。在具身AI基准测试中，我们在保持RAG级延迟的同时达到了SOTA召回率（0.836对比0.459）。ASR在连续真实世界操作中经过10次驱逐周期验证，能够维持有界、无尖峰的TTFT。CSR和ASR共同使大规模LLM能够作为持续运行、高频（>2 Hz）的具身策略发挥作用。