日精中文资讯网让AI Agent学会“及时停手”：华盛顿大学团队提出上下文工程方法CONVOLVE
当任务本身不可行，及时停手或在当前环境中注定无法完成时，学会学团下文AI Agent 究竟该在哪个节点“停手”？华盛
我们期望 Agent 能通过多轮交互，灵活调用搜索、顿大队提网页浏览及终端工具以解决复杂难题。出上然而现实往往骨感：用户指令模糊、工程目标遥不可及。及时停手许多 Agent 缺乏“自知之明”，学会学团下文即便任务已无解，华盛仍会陷入无意义的顿大队提搜索、点击和工具调用循环中。出上
针对这一痛点，工程华盛顿大学研究团队提出了 Agentic Abstention（代理弃权）框架，及时停手深入探讨 Agent 的学会学团下文“停止机制”，并创新性地设计了上下文工程方法 CONVOLVE（Context Evolution，华盛上下文演化），旨在显著提升 Agent 的弃答（Abstention）能力。
论文链接：https://arxiv.org/abs/2606.28733
研究表明，大多数 Agent 难以实现及时弃答，且常在证据确凿时仍继续执行。虽然更大参数量的模型和更强的推理能力能在一定程度上抑制过度执行，但并未根本改善整体弃答表现。模型架构、推理策略及 Agent 框架均对弃答效果产生显著影响。
值得注意的是，CONVOLVE 展现出极强的迁移性：小模型提炼的停止规则，同样能赋能大模型，实现性能跃升。这项研究提供了一种无需更新模型参数的优化路径——将交互轨迹提炼为可复用的“停止规则”，辅助 Agent 更早、更准地识别何时该放弃。
让 Agent 学会主动“放弃”
Agentic Abstention是一个专注于 Agent 何时停止行动的框架。与传统 LLM 的单轮问答不同，它聚焦于多轮交互环境下的决策困境。
Agent 往往需要在与环境交互后，才能判定任务是否可行。基于此，研究团队定义了弃答场景，构建了评测基准，并在超过 2.8 万个任务上，评估了 13 个 LLM-as-Agent 系统及 2 种 Agent 脚手架的表现。
图｜AbstentionBench 子集在各数据集和场景中的构成分布。
具体研究流程如下：
1. 定义弃答情形
在交互过程中，Agent 需不断决策：是直接回答、停止行动（弃答），还是继续搜索/调用工具。研究将弃答分为两类：
* 基于请求的弃答：仅从指令本身即可判断任务不可行（如逻辑矛盾）。
* 基于环境的弃答：任务起初看似可行，但在交互后发现环境中缺失目标或必要前提。
2. 构建评测任务
为系统评估弃答能力，团队设计了三大类任务，覆盖超 2.8 万个样本：
* 网页场景（WebShop）：模拟在线购物，测试 Agent 的搜索、浏览及选择能力。包含正常任务及需弃答任务（如指令本身不可行，或交互后发现商品不存在）。
* 终端场景（Terminal-Bench 2.0）：测试 Docker 化终端中的长程任务执行（系统配置、代码修改等）。在原始可解任务基础上，混入需弃答的异常任务。
* 问答场景（AbstentionBench）：评估 LLM 在问答中是否应回答或弃答。将单轮问答改造为可搜索、多轮决策的交互式任务，覆盖答案未知、虚假前提、主观题、上下文/意图不明等弃答情形。
3. 提出改进方法：CONVOLVE
CONVOLVE 是一种上下文工程方法，旨在提升 Agent 弃答能力。它不修改模型参数，而是将交互轨迹中的“弃答经验”整理成经验手册，作为后续任务的上下文提示，帮助模型更早做出弃答判断。
实验结果：弃答为何如此困难？
研究发现，大多数 Agent 难以及时弃答，且常在证据充足时仍继续执行。模型能力、推理方式及框架设计均影响表现，而 CONVOLVE 能显著改善这一现状。
1. 及时弃答率极低，多轮尝试后才“醒悟”
多数 Agent 的及时弃答率仅为 0-30%。它们很少在第一时间识别任务不可行，往往需经历多轮无效尝试后才停止。
* 现象：随着交互轮次增加，更多 Agent 能意识到问题。例如在问答场景中，增加搜索轮次可提高最终弃答率，但难以实现“早期判断”。
* 瓶颈：即使给予 10 轮机会，多数模型的弃答召回率仍不足 50%。
图｜弃答对 Agent 极具挑战，尤其是“及时弃答”。
2. 模型能力与框架决定上限
- 网页场景：模型间差距显著。表现最佳的 Llama-3.3-70B最终弃答率接近 85%，但多数模型交互 10 轮后弃答率仍低于 50%。
- 终端场景：Agent 框架影响巨大。即使使用同一模型（如 GPT-5.4-mini），Codex CLI的弃答表现也明显优于 Terminus2。
图｜Web 和 Terminal 场景中，可解实例上的累计过度弃答率随回合数变化。
3. 任务类型决定弃答难度
- 指令本身问题（如条件矛盾）：Agent 较易识别并及时弃答。
- 交互后发现缺失（如目标不存在）：Agent 往往执行多轮后才停止。
- 意图不清：几乎所有模型和脚手架表现不佳。在终端场景中，一旦用户意图模糊，Codex CLI 和 Terminus 2 均难以判断是否应弃答。
图｜Web、Terminal 和 QA 场景中不同弃答类别下的 AbsRec@K 表现。
4. 强推理并非万能药
- 正面效应：更强的推理（如 Qwen3-235B Thinking 版）能在一定程度上减少过度弃答，提升早期判断能力。
- 负面效应：强推理未必提升整体弃答表现。例如，Qwen-3-235B Thinking 版虽提升了及时弃答率，但总体弃答率反而下降。在终端场景中，中等推理强度效果最佳，进一步提升至高强度并未带来额外收益。
图｜更多推理虽提升 AbsRec@1，但 Web 和 Terminal 场景的整体弃答召回率（AbsRec@10）反而下降。
5. 模型规模扩大 ≠ 效果提升
在 Qwen 系列测试中发现，模型规模增大虽能提升最终弃答率，但对及时弃答几乎无帮助。
图｜规模扩展提升了整体召回率，但未提升及时召回率。
CONVOLVE 的效果：小经验，大作用
研究团队验证了 CONVOLVE 的有效性，得出以下关键结论：
1. 少量轨迹即可显著提升性能
与单纯依赖上下文学习（In-Context Learning）相比，不同规模模型均能从 CONVOLVE 中受益。
* 小模型受益：即使是 8B 小模型，在使用由 70B 大模型总结的“经验手册”后，弃答表现稳定提升。
* 数据效率：在网页场景中，仅使用 20 条交互轨迹，CONVOLVE 便将 Llama-3.3-70B 的及时弃答率从 26.7% 提升至 57.4%，最终弃答率从 83.2% 提升至 100.0%。
2. 小模型经验可迁移至大模型
8B 模型总结出的经验手册，同样能直接提升 70B 大模型的弃答表现，效果接近大模型使用自身经验时的水平。
* 核心机制：真正发挥作用的是 CONVOLVE 从交互轨迹中提炼出的“停止规则”，而非模型本身的参数调整。
图｜CONVOLVE 在 WebShop 上显著提升了弃答表现（使用 20 条轨迹训练）。
图｜CONVOLVE 在 AbstentionBench 和 TerminalBench 上均提升了弃答表现。
局限性与未来方向
尽管研究在网页、终端和问答场景中进行了大规模评测，团队也指出了当前工作的不足及未来方向：
- 评测场景有限：当前场景尚未覆盖真实 Agent 面临的复杂界面、私有工具、长期用户状态及多步骤工作流。未来需将 Agentic Abstention 扩展至更丰富的真实部署环境。
- 任务类型单一：现有任务主要覆盖“目标缺失”和“前置条件缺失”，而权限边界、外部源失效、工具输出冲突等更隐蔽的不可行场景尚未充分覆盖。未来需构建更丰富的任务类型以全面评估。
- 框架依赖性：弃答表现不仅取决于模型本身，更受 Agent 框架设计影响。因此，本文结果反映的是当前系统的阶段性表现，而非底层模型的固有极限。此外，需警惕部分模型在预训练/后训练阶段接触过类似样本的风险，需在更真实、持续更新的评测环境中验证。
- 弃答并非越多越好：过度弃参会削弱 Agent 的实用性。未来需结合任务成功率共同评估，并在实际部署中将弃答机制与澄清请求、人工介入等机制有机结合。
更多技术细节，请参阅原论文。
作者：夏千斯
如需转载或投稿，请直接在本文章评论区内留言
