今日判断
昨天的核心问题是 FDE 如何把 Agent 部署进企业；今天更进一步：部署完成并不等于业务完成。Motorway 用三层评测和发布闸门把错误率从 1／8 降到 1／50；Jefferies 在交易前台把自然语言、SQL、MCP、行级权限、PII 过滤和审计日志装进同一条执行链；AWS 则开始专门识别「基础设施指标全绿，但业务动作实际上做错」的静默失败。
三条信号共同指向一个新的交付边界：生产级 FDE 不能只负责场景发现、系统接入和上线，还必须交付测试集、发布阈值、线上抽样、失败聚类、根因回写和权限证据。企业 Agent 的验收对象应从「回答是否流畅」升级为「工具是否选对、动作是否执行、权限是否越界、连续多次是否稳定、生产失败能否被发现」。
重点信号
Motorway：把 Agent 错误率从 1／8 降到 1／50，并用评测闸门阻止低质量发布
- 来源：AWS ｜ 原文链接
- AWS 与英国二手车交易平台 Motorway 7 月 23 日公开一套端到端 Agent 评测管线。Motorway 每日拍卖最多面向 8,000 家经销商、2,500 辆汽车，新的库存搜索 Agent 用自然语言替代人工筛选。
- 错误结果由每 8 次查询 1 次降到每 50 次查询 1 次，问题发现时间由数小时缩短到数分钟。
- 验收框架：工具使用正确率阈值大于 95%，推理质量大于 85%，输出质量大于 90%；三层必须同时通过才能发布。线上以 1%—5% 流量抽样持续评测，并把生产失败回灌成新测试用例。
- 官方特别强调
pass^k：单次 75% 成功率在连续 3 次任务中只剩约 42% 的稳定完成概率。 - 为什么重要：FDE 不应在项目末尾临时「测一下」，而要从需求阶段就定义工具、推理、输出和连续成功率四类验收口径，并让不达标版本无法上线。
- 证据边界：1／8 到 1／50 是特定汽车库存搜索 Agent 的结果，不能直接外推到其他行业；阈值来自该方案模板，实际项目仍需按业务风险重新定标。
Jefferies：高合规 Agent 的核心不是聊天，而是把权限与执行装进交易前台
- 来源：AWS ｜ 原文链接
- AWS 7 月 23 日披露 Jefferies 已在全球股票销售与交易业务中上线 Trade Assistant。过去交易员需要依赖专家和 IT 团队制作定制看板，往往等待数天或数周；现在可直接用自然语言查询数百万行交易数据。
- Agent 嵌入 Jefferies 现有前台 BI 系统，通过 MCP 连接交易仓库、FIX 消息和内存数据库；模型负责理解意图与生成 SQL，专用可视化引擎负责画图，避免让模型直接生成图表数据。
- 治理边界：系统使用身份验证、PII 过滤、内容护栏、行级数据权限和会话审计；查询执行器还会强制注入行级过滤条件，而不是依赖模型自行遵守权限。
- 为什么重要：高风险行业不是靠更长的提示词建立信任，而是把模型擅长的意图理解，与确定性的权限注入、数据执行和可视化分开。FDE 要设计的是「概率能力＋确定性控制」的混合系统。
- 证据边界：官方只称效率得到可衡量提升、IT 看板工作减少，但没有公布节省时长、准确率或采用人数，不能把「数天或数周」写成已量化的实施后周期。
AWS AgentCore：专门抓「系统成功、业务失败」的静默错误
- 来源：AWS ｜ 原文链接
- AWS 7 月 23 日发布 AgentCore optimization insights，面向已经运行在生产中的 Agent，自动分析会话轨迹并聚类失败、用户意图和执行方式。
- 问题定义：Agent 可能显示 99% 完成率、延迟健康、没有错误峰值，却实际上没有执行订单修改、在库存 API 超时时谎称有货，或跳过审批步骤。这些行为在系统层被记为成功，只会在数周后的客户投诉中暴露。
- 系统识别包括幻觉、错误动作、违反任务指令、编排错误和上下文处理错误在内的 11 类行为失败，并按受影响会话比例排序，沿推理调用、工具执行和子 Agent 图谱回溯根因。
- 为什么重要：生产验收不能停在 HTTP 200、任务完成率或响应延迟。FDE 需要为每个关键动作增加「业务结果是否真实发生」的验证器，并把客户投诉、人工转交和异常轨迹转成持续评测集。
- 证据边界：这是新发布的产品能力与演示案例，官方尚未给出外部客户采用规模、误报率、检测成本或业务 ROI，暂不能宣称已被大规模验证。
对 FDE 从业者的启发
- 为每个项目增加一页「Agent 任务合同」：输入、允许工具、允许动作、权限范围、完成证据、转人工条件和禁止发布阈值。
- 验收表从单次准确率升级为五项：工具选择正确率、参数正确率、连续成功率、业务动作核验率、静默失败发现时间。
- 高风险项目统一采用「概率能力＋确定性控制」架构：模型做理解与规划，权限、执行、金额、状态写入和审计由确定性系统兜底。
- 生产上线后每周把投诉、人工接管、失败轨迹和新用户意图回灌到测试集，形成持续改进资产。
