Anthropic推出Message Threads功能降低首字延迟

Anthropic 在 Claude 平台发布 Message Threads 公共测试版，通过仅传输自上次消息以来的变更数据，将 50 万至 100 万 token 请求的首字生成时间（TTFT）缩短约 35%。该功能适用于编码智能体、计算机使用智能体及处理大量文档或图像的工作流，并支持通过 AWS、Microsoft Foundry 和 Google Cloud 访问。 关键事实在于，尽管传输效率提升，Token 用量并未减少，因为 Claude 模型仍需读取完整的对话历史进行推理。线程数据在内存中加密存储，并在 5 分钟无活动后自动过期。这一机制表明，性能优化主要源于网络传输与预处理阶段的改进，而非模型计算量的降低。 对于依赖长上下文的开发者而言，这意味着在高频交互场景下可获得更流畅的响应体验，但单位经济模型中的 token 计费逻辑保持不变。推断上，这有助于缓解长对话场景下的网络瓶颈，但不会直接降低单次调用的 API 账单金额；猜测上，未来若结合更高效的压缩算法，才可能同时改善延迟与成本。