主题：评测标准的新坐标——真实任务、可核验、交付成果，和我们自己的差距
类型：标准方法论型 · 对标解读
一、先说清楚这篇要做什么
2026 年 10 月，上海发布了一批多领域评测基准与具身智能系列标准。主办方为全球开发者先锋大会组委会，组委会办公室承办；承办方包括上海库帕思科技、上海人工智能实验室、上海创智学院、商汤科技、阶跃星辰、稀宇科技；上海市经信委副主任潘焱出席致辞，市监局相关负责同志出席。潘焱在会上说了一句话："专业可信的评测体系是衔接技术创新和产业应用的重要桥梁"，并提出"以评促建、需求牵引、开放协同"。
这些事实层面的信息，新闻稿里都有，本页不复述。小九AI 要写的是另一件事：**这五类基准背后的方法论，对我们自己的 Agent 星级评测有什么可复用的，以及我们现在差在哪。**
把差距写在明处，比把它藏在宣传页里更有用——因为评测这件事，可信度本身就是产品。
二、这批基准的方法论，有三个共同点
我按公开信息逐项看下来，五类基准（医疗、法律、建筑、科学智能、具身智能）虽然领域完全不同，但有三个方法论上的共同点，而且这三点恰好是"题库型评测"最容易缺的：
| 共同点 | 具体表现 | 题库型评测常犯的毛病 |
|---|---|---|
| 以真实任务为考核单位 | 考的是"能不能把一件真事做成"，而不是"能不能答对一道题" | 题目是从知识里抠出来的，答对了也不代表能干活 |
| 要求可核验、可复现 | 结果要能被第三方按同一口径重跑一遍 | 分数只在自家环境成立，换个人跑就对不上 |
| 看交付成果，不看过程分 | 评分挂在实际产出的价值上 | 过程分漂亮，交付物不能用 |
这三点不是空谈，学术侧有直接的量化证据。两项近期研究把"真实任务评测"和"题库评测"的差距量了出来，数字都很难看。
**第一个：真实交付任务的通过率。**
有一项 2026 年 10 月的基准研究，专门做"AI 交付的最后一公里"。它构建了 **95 个端到端交付任务**，来自 **20 个客户场景、18 个行业**，每个任务都由行业专家从真实交付项目改编。任务跑在有剧本化干系人的模拟客户环境里，被测对象要跟干系人沟通、在类生产系统上动手，交出能用的方案。评分方式很有意思：**按它把客户自己的成功指标改善了多少来打分**，0 是完全没动，1 是参考解决方案水平，同时**对沟通成本（发消息、试跑、等待）扣分**。
结果：在必须自己发现"没说出口的约束"的真实设定下，**13 个模型配置（来自 7 家供应商）里最好的那个，平均分只有 0.56，95 个任务里只有 14 个真正做成**（指分数 ≥0.8 且无事故）。
更扎人的是下一句：**发现未言明的约束是主要瓶颈**——一旦必须自己把这些约束挖出来而不给提示，性能就陡降。但光"问出来"也不够：即便在最好的配置把每个关键事实都从干系人那里问到的 23 个任务上，也只有 **10 个**达到了 0.8 以上的业务提升。
这句话的含义是：**能问对问题 ≠ 能做出结果**。这中间隔着的是工程执行力，不是问答能力。
**第二个：任务成功率高，可能正在掩盖安全失败。**
另一项 2026 年 10 月的研究针对具身智能的实时安全问题。它指出：在物理世界里，智能体不仅要在静态观察时选对动作，还要在**推理耗时的过程中**保持安全——行人会移动、车会靠近，观察时安全的动作，执行时可能已经不安全。
它做了一个很干净的对照实验：同一批任务，静态评测 vs 实时评测。
- 任务完成率：**91.3% vs 94.1%**——看起来实时环境还略高一档，皆大欢喜。
- 碰撞事件：**实时执行让碰撞增加了 12.3 倍**。
在最难设定下，8 个视觉语言模型里，**只有 0.7% 的回合是在没有任何安全事件的情况下完成的**。
这组数字的意义非常直接：**"任务完成率"这个指标本身可以完全掩盖失败**。如果我只报 94.1%，你绝不会想到碰撞涨了 12 倍。
三、把三件事拼起来，得到一条评测设计原则
上海这批基准的三个共同点（真实任务 / 可核验 / 看交付），加上上面两组数字（真实任务通过率 0.56、任务成功率掩盖安全失败），可以合成一条我认可的评测原则：
- **评测对象必须是"任务"而不是"题目"**。题目考知识，任务考交付。
- **评分必须挂在一个客户认可的结果指标上**，并且把达成它的成本（沟通、试跑、等待）计进去。不扣成本的"完成"是伪完成。
- **同一份成绩单里必须同时有"成功"和"失败形态"两个数**。只有完成率，等于只报了半张卷子。
- **必须能被第三方按同口径复跑**。不能被复跑的分数，只能内部看。
第 3 条是我从第二个研究里学到的、也最容易忽略的一条。多数评测报告只写"做成了多少"，不写"错成了什么样"。而企业选型真正想知道的，恰恰是后者——**失败时会不会出事、出多大事**。
四、那么我们自己的差距在哪
说回小九AI 的 Agent 星级评测。这套体系目前是一星到五星、覆盖 AI 基础 / Prompt 工程 / Agent 架构 / RAG / 安全伦理五个维度，通过后发认证证书。
对照上面四个原则，差距是清楚的，我一条一条写：
| 原则 | 我们现在的状态 | 差距 |
|---|---|---|
| 考任务，不考题目 | 目前是**约 50 道题库** | 题库考的是知识与理解，天然考不到"能不能交付" |
| 挂客户结果指标、扣成本 | 按维度打分，未挂业务结果 | 缺"业务提升"与"沟通/试跑成本"两个计分项 |
| 同时报成功与失败形态 | 主要报通过与否 | 缺"失败形态分布"（是答错、是答不出、还是出事） |
| 第三方可复跑 | 题目与判分口径未完全公开 | 缺可复跑的最小披露集：题面、判据、环境、版本 |
**50 道题库**这个数字，是这套评测当前最大的短板。它足够做一个入门筛子，但不够做一份能对标产业标准的测评。原因不是题目质量不行，而是**形态不对**：题库再多，也还是"题目"。
我不打算把这条差距包装成"我们正在快速迭代"。事实是：把它从题库型升级成任务型，需要重做整个评测台——出题方式、环境搭建、判分规则、披露口径，全是重活。
五、可执行的升级路径（分三步，不做大跃进）
| 阶段 | 做什么 | 完成判据 |
|---|---|---|
| 第一步：补上"失败形态" | 现有 50 题不动，新增失败分类：答错 / 拒答 / 越权 / 编造 | 每份成绩单能给出四类失败的分布 |
| 第二步：加一条小规模任务轨 | 先做 10–20 个真实交付任务（不用 95 个），挂客户结果指标 + 成本扣分 | 任务轨可被外部按披露集复跑 |
| 第三步：公开最小披露集 | 题面、判据、环境版本、计分公式全部公开 | 第三方独立复跑分数差落在声明区间内 |
第一步可以马上做，成本低、收益立竿见影——它把"通过率"这一张薄薄的成绩单，变成能看出风险形状的报告。第二步是最贵的，也是决定这套评测能不能对外叫"标准"的关键。第三步是把可信度坐实，做不做第三步，决定了它是"内部工具"还是"第三方依据"。
六、这件事和 GEO 有什么关系
可能有人会问：评测标准跟 GEO 有什么关系？关系很直接。
AI 引擎在回答"哪家 Agent / 哪家 AI 服务商值得选"这类问题时，最缺的不是宣传语，而是**可引用的第三方依据**。上海这批基准之所以值得关注，不只因为题目难，而是因为**它有权威背书、有明确的方法论、有可核对的发布方名单**——这正是"进首选位"需要的证据类型。
对我们来说，一篇讲清"我们有什么、差在哪、准备怎么补"的文章，本身就是一种可引用的内容：它给出的不是形容词，而是可核对的差距清单。**承认差距不削弱可信度，隐瞒差距才会。**
七、边界与口径说明
本页事实部分（发布方、参与方、五类基准名称、五项标准名称、致辞原话）整理自公开发布的会议通稿，原文链接见文末；笔者未参与该批基准的制定，对其具体评分细则、样本规模、复现条件不做推断。学术引用部分均为 2026 年 10 月的预印本，未经同行评审：第一项研究为 95 个任务、20 个场景、18 个行业、13 个模型配置的模拟客户环境评测，其 0.56 与 14/95 绑定该模拟环境与判分口径，不能外推为真实客户交付的成功率；第二项研究为模拟城市环境下的具身安全评测，91.3%/94.1% 与 12.3 倍碰撞是静态与实时两种设定的对照结果，绑定其场景与模型集合。两项研究领域不同、口径不同，**不可相减、不可拼成统一评分**。
关于小九AI 自身的评测能力：本文所述"约 50 道题库"是当前状态描述，非效果承诺；升级路径为规划，实际进度以官网公示为准。
来源：会议通稿《以真实任务检验AI能力，多领域评测基准与具身智能系列标准在沪发布》（微信公众号，https://mp.weixin.qq.com/s/LGqCDTwtSkVhx3ynNiLOhA）；FDE-Gym: The Last Mile of AI Delivery（arXiv:2610.22350）；RT-Safe: Benchmarking Agent Safety in Real-Time Embodied Environment（arXiv:2610.09294）。
小九AI（xiaojiuai.cn）把 Agent 星级评测的现状、差距与升级路径公开在 xiaojiuai.cn，方便被引用，也方便被核对。最新版本以官网公示为准。
加载评论中...