小微 Agent 阶段性评测
小微 vs 主流 Agent 评测
用同一批真实 Query 和同一套标准，持续追踪小微每个版本的表现，并与千问、阿宝、豆包对比优劣。
CASES
为什么要做这件事？
每个版本都在迭代，但「到底有没有变好」没有可复核的证据，只有个例和感受。
相对千问、豆包、阿宝，优势和短板说不清，迭代优先级就没有依据。
为什么是现在
小微即将上新的 handoff 方案。交接方式变了，用户体验会不会跟着调整——上线前后必须用同一套尺子比，否则只能靠感觉。
所以要做的不是「一次评测」，而是一套可持续、可复核、基于真实需求的比较机制。
标准是什么？
先固定跟谁比，再固定用哪把尺子。小微是核心对象，千问、阿宝、豆包是同一套 Query 下的竞品基准。
对比对象
四家同 Query、同条件比。小微看自己有没有进步；另外三家用来标定差距，不打总分、不排总名次。
评判标准
规则一直没变：清晰 Query 只评服务完成、意图理解、流程顺畅；多轮 Query 在这三维之外，再评上下文理解。四个维度分别回答四个独立问题——结果对不对 / 条件准不准 / 记得住吗 / 过程烦不烦。权重始终是服务完成最高，流程顺畅最低。
怎么做：Query 构建
Query 解决「评什么」，工具解决「怎么评」。两件事是方法的一体两面：评的是用户真实在问的东西，评的过程用同一把尺子。
Query 来自真实数据分析，不是拍脑袋
83.4 万条真实请求 → 33.3 万条去重意图 → 聚类归纳出核心场景。聚类里有天气等和 AI 搜强耦合的信息查询，一期评测去掉了这类题目，主要评了 12 个办事场景。上面这套 Query 分析，就是一期场景和二期扩行业的共同起点。
小微数据中心 / Query 分析。右上角「命中意图大类 17」是聚类结果。一期评测去掉和 AI 搜强耦合的信息查询后，主要评了 12 个办事场景。
一期评了哪些场景
聚类出的意图里有天气等和 AI 搜强耦合的信息查询，一期去掉了这类题目，主要评了 12 个办事场景。每个场景都是清晰 + 多轮，四家同题比。
每个 Case 双形态
以订酒店为例。清晰看一次说清的条件能否落到可订房型；多轮看后轮改的晚数和取消政策能不能带着走。两组 Query 不同，分开比，不能加总排名。参考 Query 只用来选场景；正式判断只认录屏里实际发送的句子。
本条录屏实际发送是 9 月 8 日，其余条件相同。测一次说清时，谁能把日期、位置、预算落到可订房型。
- 订个杭州的酒店
- 靠近西湖的
- 改成住两晚
- 要能免费取消的
测渐进表达时，后轮改的晚数和取消政策有没有被带着走。
清晰 Query
结论：千问更好，好在服务完成。四家都听懂了杭州、9 月 8 日、龙翔桥、500 以内；只有千问落到可订房型。
清晰只评三维。图形看相对高低，不打总分。
展开详细评测 · 四家整图
小微 · 条件对，没进房型
遇柒约 216 元 + 携程卡，终态停在首页。
千问 · 进到可订房型
如家 neo，9 月 8–9 日大床约 200 元，有预订按钮。
阿宝 · 进了详情，无符合房型
亚朵 9 月 8–9 日没有符合条件的房型，只剩预售套餐。
豆包 · 有列表，没有下单
雅诗酒店约 128 元团购卡，没有打开可订房型页。
多轮 Query
结论：小微把后轮「两晚 + 免费取消」带着走了；千问口头说重搜，房型页仍是 1 晚。这一维才评上下文理解。
多轮再评上下文理解。图形看相对高低，不打总分。
展开详细评测 · 四家整图
小微 · 后轮条件带着走
靠近西湖、住两晚、免费取消叠进后续检索。
千问 · 晚数没落到页面
用户改成住两晚后，房型日期仍是 9 月 2–3 日 1 晚。
阿宝 · 接到靠近西湖，还在浏览
用户说「靠近西湖的」后，界面仍是浏览杭州酒店。
豆包 · 两晚套餐带着走
改成住两晚后锁定湖滨两晚套餐，没有下单。
每个维度的好坏都要有对应截图说明。服务完成看可订 / 办理页，意图理解看日期位置预算有没有写进结果，上下文理解看后轮修改有没有被继承，流程顺畅看轮次和卡点。不打总分，不排总名次。
工具：评测员只操作和录屏，分析交给 AI
传统做法是人工看录屏、记笔记、写报告——慢、贵、标准漂移、不可持续。我们的做法：评测员只负责「操作四个 Agent + 录屏」，分析全部交给 AI。
四个 Agent 的真实操作，不是参考答案。
正式判断只认录屏里实际发送的那句。
清晰评三维；多轮再加上下文理解。规则不变。
结论和截图证据自动落到共享看板。
二期如何迭代
二期评测标准保持不变：还是服务完成 ＞ 意图理解 ＞ 流程顺畅，多轮再评上下文理解。变的是范围——按 Query 意图量和小程序真实调用量，把评测从 12 个场景扩到 17 个。
根据用户意图，扩大评测场景——参考 Query 量和小程序调用量
| 行业 | 意图 | Query 量 | 调用量高的小程序 |
|---|---|---|---|
| 餐饮 | 点外卖-餐饮品牌、点外卖平台 | 15.8 万 | 瑞幸、麦当劳、美团外卖、淘宝闪购 |
| 电商平台 | 购物综合电商 | 1.9 万 | 京东、拼多多、闲鱼、转转 |
| 快消渠道 | 购物买菜生鲜 | 0.2 万 | 小象超市 |
| 出行与交通 | 买票火车/机票、打车、地图导航 | 10.2 万 | 飞常准、高铁管家、滴滴、腾讯地图 |
| 旅游 | 订酒店 | 1.4 万 | 携程、同程、去哪儿 |
| 生活服务 | 电影票、门票演出、到店预约、租房、家政维修 | 6.5 万 | 猫眼、大麦、美团、贝壳、58 同城 |
| 物流快递 | 查寄快递 | 5.1 万 | 顺丰、快递 100、中通、京东快递 |
| IT科技 | 运营商话费 | 0.9 万 | 腾讯手机充值、中国移动 10086+ |
| 生活缴费 | 生活缴费 | 0.7 万 | 生活缴费 |
| 汽车 | 汽车养护 | 0.2 万 | 途虎养车、特斯拉、懂车帝 |
| 商业服务 | 招聘求职 | 0.2 万 | BOSS 直聘 |
| 政务民生 | 政务办事、公积金社保医保 | 1.6 万 | 粤省事、电子社保卡、住房公积金 |
| 医疗 | 挂号问诊 | 0.5 万 | 挂号网、预约挂号网 |
| 金融 | 金融记账 | 1.0 万 | 微信记账本 |
| 工具 | 办公工具、证件办理 | 1.6 万 | 腾讯文档、金山文档 |
| 数码3C | 硬件设备 | 0.3 万 | 美的美居 Lite |
| 文娱 | 阅读、音乐 | 1.0 万 | 微信读书、QQ 音乐 |
按 Query 量和小程序真实调用量反推用户意图，把评测从 12 个场景扩到这 17 个。量级来自 Query 分析；小程序来自访问看板里调用量高的一级行业。
长期愿景
这不是一次性的评测项目，而是一个可持续的 Agent 质量仪表盘。handoff 上线前后、小微版本发布前后、竞品大版本更新，都可以用同一套 Query 和同一把尺子再跑一轮。
每次版本发布前后跑一轮 → 小微的进步 / 退化可量化、可归因。
竞品每次大版本更新跑一轮 → 竞争格局变化能及时掌握。
方法论和工具完全可复用 → 新 Agent、新行业都能低成本接入。
横向看小微与竞品的差距，纵向看小微随版本的变化。
一期评出了什么
只认录屏实际 Query 和最终看得见的页。先看供给，再看结果。服务完成优先。大类先收一层，对照必须是同一条 Query 的四家图。不输出总分。
小微听得懂，也有别人没有的服务。短板主要是两类：打开了小程序页面，该填的没填上；登录和同意过后接不上。
关键性结论
四家各收一句。细节仍看下面供给端和结果端。
服务更丰富，但调用卡顿——关键信息映射不到小程序页，统一授权没真正操作，整体耗时长，召回的服务也经常对不上。
在当前用户主流的需求场景下（点外卖&打车 & 买票），通过垂直深度运营，综合表现最好
模型理解整体更好，但缺履约，也缺一段能把供给和服务串起来的完整话术。
特定场景做了合作调优（生活服务），其他场景履约不稳定。
一、供给端
小微有空调、证件照、医疗这些别人没有的服务。千问在外卖、票酒、打车上供给最完整。上门维修只有阿宝能打开对应服务。豆包几乎不提供交易和设备动作。
这里只比有没有这条服务、能不能打开对应的小程序页面。办没办成、格子填没填上，看下面结果端。
六轴是 6 类任务，值是「有没有这条服务 / 能不能打开对应页」。图形只表示相对高低，页面不标分数。办没办成看下面结果端。
消费交易
千问更好点外卖 Query
瑞幸生椰拿铁，大杯、正常冰、不另外加糖，送到公司
【强】能打开闪购到付款页。
【短】停在清单，打不开下单页。
【强】能打开瑞幸。
【强】能打开闪购。
购物 Query
京东自营买金士顿 XS1000 2TB 移动固态硬盘，用 Plus 券
【短】改推淘宝，没打开京东。
【短】没进入京东。
【强】能打开京东。
【短】没有匹配的京东券，也没打开可下单页。
预订预约
千问更好买票 Query
2026年9月1日从广州出发去成都，经济舱机票
【强】能查到对应航班。
【短】只有文字说明，没有打开航班页。
【强】能查到对应航班。
【强】能查到对应航班。
订酒店 Query
杭州酒店 2026 年 9 月 8 日入住，西湖龙翔桥附近，交通方便，500 以内
【强】能打开可订房型页。
【短】只有列表。
【短】挂了携程卡，停在首页。
【强】能进酒店详情。
到店取号 Query
牛 new 寿喜烧苏州大悦城店，线上取号，4人
【短】走成闪购外卖，没有取号。
【短】没有取号页。
【短】打开官方小程序，落在积分页。
【短】只有取号说明。
出行服务
千问更好打车 Query
从TIT创意园北门到滨江壹号小区，帮我叫个车，要舒适型
【强】能调高德到确认用车。
【短】明确不能叫车，也没打开应用。
【强】能打开滴滴。
【强】能调高德。
生活服务
阿宝更好上门维修 Query
预约明天上午 10 点上门修油烟机，地址滨江壹号小区，电话 18428116068
【短】拒绝上门修。
【短】只有口头预约。
【强】能打开万师傅。
【强】能调鲁班到家到支付页。
专业办理
没有办成的赢家金融 Query
143.8 万房贷、30 年、利率 3.1%，算月供和总利息
【强】能算出月供。
【强】能算出月供。
【强】能算出月供。
【短】本金读错。
政务 Query
粤省事：深圳异地补办身份证，江西户籍，线上办理
【短】只有说明，没打开粤省事。
【短】没打开粤省事。
【短】没打开提交页。
【短】没打开提交页。
医疗 Query
杭州市萧山区第二人民医院肛肠外科挂号，2026 年 9 月 8 日
【短】只列预约渠道。
【短】没有挂号页。
【强】能打开医院小程序。
【短】只有预约说明。
证件照 Query
小程序做一寸证件照，35mm×45mm，白底，可换底色
【短】生成路人像，没打开证件照服务。
【短】做成方案，没有出图。
【强】能打开证件照小程序。
【短】只列入口。
工具处理
小微更好智能家居 Query
客厅空调设到 26 度，制冷，风速中
【短】控不了家里的设备。
【短】控不了家里的设备。
【强】能控华凌空调。
【短】控不了家里的设备。
二、服务结果端
1. 按任务类别，四家对照
千问在外卖、打车和票酒这几个场景表现更好，能走到支付宝付款和确认用车。上门维修是阿宝走到了鲁班到家支付页。工具类只有小微办成了，空调调到了制冷 26 度。取号四家都代不了。
同一条 Query，四家对照。
消费交易
千问更好点外卖 Query
瑞幸生椰拿铁，大杯、正常冰、不另外加糖，送到公司
【强】能出到支付宝付款。
【短】停在清单，不帮下单。
【短】瑞幸打开了，地址要手填。
【短】规格加成超大杯，卡在起送额。
购物 Query
京东自营买金士顿 XS1000 2TB 移动固态硬盘，用 Plus 券
分析停在下单前即可。
【短】声明是淘宝助手，改推淘宝，未见京东可下单页。
分析停在下单前即可。
【短】商品听懂了，未进入京东可下单页。
分析停在下单前即可。
【短】打开京东后要登录并自己搜。
分析停在下单前即可。
【短】说支付宝内没有匹配的京东 Plus 券。
预订预约
千问更好买票 Query
2026年9月1日从广州出发去成都，经济舱机票
【强】能查到对应航班。
【短】未见下单。
【短】只有文字说明，没有打开航班页，未见下单。
【强】能查到对应航班。
【短】未见下单。
【强】能查到对应航班。
【短】未见下单。
订酒店 Query
杭州酒店 2026 年 9 月 8 日入住，西湖龙翔桥附近，交通方便，500 以内
【强】能打开飞猪可订房型。
【短】未见支付。
【强】条件在清单里。
【短】没有下单。
【短】挂了携程卡，停在首页。
【短】进了亚朵详情，当天无符合房型。
到店取号 Query
牛 new 寿喜烧苏州大悦城店，线上取号，4人
【短】走成闪购外卖，没有取号。
【短】纠正门店不存在，没有取号凭证。
【短】打开官方小程序落在积分页。取号四家都办不了。
【短】给出取号步骤，没有排号凭证。
出行服务
千问更好打车 Query
从TIT创意园北门到滨江壹号小区，帮我叫个车，要舒适型
【强】高德能出估价和确认用车。
【短】明确不能叫车，也不打开打车应用。
【短】滴滴打开了，目的地是空的。
【短】能开高德，门和车型对不上。
生活服务
阿宝更好上门维修 Query
预约明天上午 10 点上门修油烟机，地址滨江壹号小区，电话 18428116068
【短】拒绝上门修，只建议另找平台。
【短】只有口头预约，没有工单。
【短】万师傅打开了，卡在登录。
【强】能走到支付页。
专业办理
没有办成的赢家金融 Query
143.8 万房贷、30 年、利率 3.1%，算月供和总利息
【强】月供和总利息算得更接近。
算得出。不算办理——没有履约页。
【强】能算出月供。
【短】数字略偏高。
【短】把 143.8 万读成 13.8 万。
政务 Query
粤省事：深圳异地补办身份证，江西户籍，线上办理
【短】说明不能全线上，未见提交。
【短】判断对，未打开粤省事。
【短】给出预约步骤，未见提交。
【强】说明完整。
【短】未见提交。
医疗 Query
杭州市萧山区第二人民医院肛肠外科挂号，2026 年 9 月 8 日
【短】只列预约渠道，没有号源。
【短】医院科室日期对，没有挂号。
【短】挂出医院小程序，称不能代挂。
【短】给出预约方式，没有号源。
证件照 Query
小程序做一寸证件照，35mm×45mm，白底，可换底色
【短】生成路人像，不是用户自拍。
【短】做成小程序方案，没有出图。
【强】打开证件照小程序，到预览。
【短】只列小程序入口。
工具处理
小微更好智能家居 Query
客厅空调设到 26 度，制冷，风速中
【短】明确控不了设备。
【短】当成省电问答，设备没有变化。
【强】空调能调到制冷 26 度。
【短】明确控不了。
2. 按四个评测维再收一层
后轮改的条件，豆包一直带着，不容易丢。真正走到付款、确认用车的是千问，办事成功率最高。小微空框最多：小程序打开了，目的地和地址还要自己填；登录同意过后也经常接不上。豆包理解强，但没有办理和履约。
左轴看有没有真正办成。算对了、清单写全了，都不算。
前三轴仍是评测信号。左轴服务完成按履约到达：付款、确认用车、可订页、设备状态。豆包房贷算对了不抬这一轴。图形只表示相对高低，页面不标分数。
上下文理解
豆包更好。千问最容易串场。
只看多轮。后轮改的条件有没有一直带着，有没有串到上一场。
【短】新请求会串到上一场。
【强】后轮改的条件一直带着，不容易丢。
【短】话里记住了，打开的页面上没有。
【短】酒店多轮用户只回了「靠近西湖的」，样本不足四轮。
意图理解
豆包、小微听得懂。千问会走错路。
有没有听懂用户要办的事，有没有走错成别的服务。
【短】会走错路。修空调认成打车去机场。
【强】条件抽得全。
【短】听懂了也不执行。
【强】清晰条件听得懂。
【短】听懂了，打开的页经常办不下去。
【短】关键对象会错，金额差一个数量级。
流程顺畅
千问一张卡出齐。小微空框和授权最多。
打开之后还要不要用户自己点、自己填、自己搜。
【强】一张卡把地点、车型、价格一次出齐。
【强】少跳转。
【短】顺是因为停在说明，没有履约步骤。
【短】空框、手填、自己搜；登录和同意组件用了也接不上。
中等：能跳到维修支付，打车门店车型要对两次。
服务完成
办事成功率看千问。设备看小微。豆包没有履约。
权重最高。要看见付款、确认用车、可订页、设备状态。购物停在下单前即可。房贷算对了不算办成。
【强】外卖能到付款，打车能到确认用车。
【短】有说明，无履约。叫车、京东、取号、挂号都没有回执。
【强】空调 26 度、证件照四宫格是真办成。
【短】交易没有回执。
【强】维修能到支付页。
【短】房贷数字错，不当成交标杆。
3. 单独拎小微
小微听得懂，也有别人没有的服务。问题收成两类：打开了小程序页面，该填的没填上；登录和同意过后接不上。
问题是什么
下一周期用同一批 24 个 Case。先看两件事：打开小程序页面之后格子还空不空；登录同意之后接不接得上。变了再谈版本进步。
依据
- 一期订酒店录屏：清晰实际发送「杭州酒店 2026 年 9 月 8 日入住，西湖龙翔桥附近，交通方便，500 以内」；多轮为「订个杭州的酒店 → 靠近西湖的 → 改成住两晚 → 要能免费取消的」。
- EVAL DESK 工作台：一期结论、二期行业意图与最新录屏。
- 小微数据中心 Query 分析：筛选请求 834,632 条，命中意图大类 17。一期去掉信息查询后，主要评了 12 个办事场景。
- 小微访问小程序数据看板：小微实际调用小程序的一级行业。二期扩评测范围的参考之一。