今日判断
企业让 Agent 承担更多任务后,交付重点会转向质量门控。Orange Business 的平台案例和 Google 的代码优化实验分别展示了持续评测与人工否决的作用。两者均为公开厂商材料,不能直接当作其他企业的收益保证。
重点信号
1. Orange Business 用三层评测运营企业 Agent 平台
LangChain 的公开案例称,Live Intelligence 已覆盖 12 万名 Orange 员工、被 150 余客户采用。平台设置 Agent 与 MCP 注册表及管理员控制面,并以检索质量、Agent 行为、生产轨迹三个层次评测,发布前进行版本比较和历史轨迹回放。
证据边界:覆盖和采用规模为厂商案例口径,不等于全部用户持续活跃,也不等于已证明财务 ROI。FDE 可借鉴其评测分层,但仍需独立测量具体场景效果。
来源:LangChain:Orange Business 案例
2. Google 长时代码优化实验保留人工否决
Google Developers 介绍,在约 20 万行 Python ADK 代码库上进行长时 Agent 优化,最终六项提案仅两项经人工审查上线,其余提案因实现风险或收益不能成立被否决。重点不是运行时长,而是测试和审查能否拦下不合适的改动。
证据边界:这是 Google 自有代码库与特定测试条件下的工程实验,不代表普通企业获得同等效率或成本收益。
对 FDE 从业者的启发
- 将检索质量、行为约束和生产轨迹分别评测,避免一个总分掩盖关键风险。
- 保留被否决的方案与原因,将其转为回归测试和工程规则。
- 验收时同时记录任务完成率、人工接管、质量和成本,不能用覆盖人数代替经营结果。