Berkeley AI Research 提出 ABBEL:用信念状态替代递归摘要,提升 LLM 长程交互效率
Berkeley AI Research 提出 ABBEL 框架,将摘要的信息内容隔离并以自然语言"信念状态"(belief states)形式进行监督,用信念替代完整交互历史作为智能体的工作上下文,并通过信念评分提升性能。该方法针对递归摘要(即上下文压缩)在长程任务中性能损失显著的问题,尤其适用于协作代码生成等高质量数据稀缺的人类辅助场景。
Berkeley AI Research 提出 ABBEL 框架,将摘要的信息内容隔离并以自然语言"信念状态"(belief states)形式进行监督,用信念替代完整交互历史作为智能体的工作上下文,并通过信念评分提升性能。该方法针对递归摘要(即上下文压缩)在长程任务中性能损失显著的问题,尤其适用于协作代码生成等高质量数据稀缺的人类辅助场景。
随着推理成本快速下降,GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1,部分厂商甚至低于 $0.10,基准测试中推理价格年降幅在 9x 到 900x 之间,中位数约 50x。