一个模型，工具选择题一百道能答对九十二道，是所有选手里最高的。真让它接管一个干活的 AI，十件事只办成七件。另一个考试成绩不如它的，十件事反而办成九件。这不是段子，是 2026 年 10 月 JevAgentHarness 论文里的实验。分数考得好，不等于活干得好。想让便宜的小模型替大模型分担活，就得回答三个问题：怎么试、怎么留、哪里不能交。

一个反直觉的结果

你让 AI 客服帮你取消一笔订单。它得先查订单，看你说的是哪一笔。信息不够，它得追问。条件都对上了，才能取消，最后告诉你结果。

你仔细看，这里面一大半步骤根本不用写什么分析报告。它就是在几个选项里挑一个。查订单，问客户，还是取消。就这么简单。

那为什么每一步都要请一次又大又贵的模型来想呢？这篇论文的想法是，挑一个便宜的小模型来做选择题，只在它拿不准的时候，才交回大模型。

然后就是那个反直觉的结果。有个模型，单独考工具选择题，答对了百分之九十二点二，是所有选手里最高的。真正让它接管一个自己动手干活的 AI，也就是 Agent，它只办成了百分之六十九点五的任务。另一个四 B 小模型，考试八十九点三分，比冠军还低一点，接管之后反而办成了百分之九十一点五。先说清楚，这两个数不是同一场考试。一个考单题，一个考整任务，看点是排名对不上。

考试最好的，上岗反而不如考试差它一截的那个。为什么？

因为 Agent 的答案会改变下一道题。客服该先问您指的是哪一笔订单，小模型却信心十足地直接取消了。订单状态一变，下一步面对的已经是另一个局面。而考试卷上很少考你刚才做错了之后怎么办。论文训练自己的小模型时，特意加入了犯错之后到达的状态。按论文的说法，这是它后来居上的重要原因。

所以挑模型有个新标准。不能只看它会不会选，还得看它走歪了能不能救回来。

三个判断

第一个判断。考卷成绩不能单独保证上岗成绩。想知道一个模型能不能替你干活，就把它放进真实任务里跑。让它犯错，看它怎么救。答题分数只能参考。

第二个判断。全量替代最危险，拿不准能交回去的委托才留得住。论文里让小模型做所有工具选择，任务成功率掉了十九个百分点。拍脑袋定一个门槛，比如有五成把握就放行，省了百分之八十四点五的成本，成功率掉了二十一点五个百分点。

那正确做法是什么？每一类决策单独设门槛。门槛不是拍出来的，是拿 Agent 自己的执行记录拟合出来的。小模型过了门槛才做主，拿不准就交回大模型。结果是成功率一个百分点没变，还省了百分之十四点二的成本。这是同一批五百个任务上的观测。换任务、换模型、换工具，都要重新测。

还有个细节值得说。这组实验最后拟合出来的门槛，工具选择是百分之一百，参数选择是百分之九十九。几乎要完全确定才放行。要知道这是模型自己给的分数门槛，不代表出错率真的接近零。错误成本越高的活，门槛就该越保守。

第三个判断。改动留不留，看两笔账，验收要有统计口径。论文用的判据叫非劣效。说白了就是三步。作者先定好，最多能接受几个百分点的损失。然后把抽样带来的波动算进去。最后检验，能不能排除比这个界限更差的结果。

注意，分数看起来只降一点，也可能过不了。论文里小模型的组合方案只降了两点二个百分点，照样没通过检验。看起来没退步，不等于验收通过。这跟证明完全没有退步，更是两回事。这个容忍界限，论文这组实验定的是三个百分点。我不会把这个数直接照搬到一个可能误删数据的产品上。

这东西跟什么像？

说白了，就是路由，加上学会什么时候该交出去。很多系统会按任务难易，把活分给强弱两个模型。那是按任务分。这里是按单个决策的把握度分。信贷审批里早有类似做法，模型拿不准就升级到人工，这是我的类比。论文把它搬进了 Agent 的每个决策点。新意不在概念，在验证方式。不在考卷上验，在真实任务里按类别拟合门槛。

我们自己做了什么

我自己的项目正好卡在同一个瓶颈上。我用 AI 操作手机和浏览器干活，每一步都要等一次大模型。把屏幕内容塞进上下文，等它想，等它回。我实测了一下，读一次界面树平均二点六秒，截一次图一秒。一张图交给模型看，从判断到落盘，十秒上下。这十秒里不全是模型在想，还有图片加载和来回调度，但等待确实都卡在这一步上。

所以我照这个思路设计了分层的做法。走熟路的步骤，程序直接做，谁都不问。界面上按钮清清楚楚的时候，让 Jev 来挑。Jev 是一个现成的小决策模型，相当于一个看选项打分的快手。它挑不准，就交回大模型。只有完全看不清的页面，才截图请大模型看。

效果怎么样？给 Jev 六个安卓上可以点的元素，目标是读取系统版本。它挑中了正确的入口，置信度零点八四，耗时零点三七秒。一次动作级的决策，不到半秒。作为对照，当时记录里每一步等大模型看屏加回复是五到十二秒。两个口径不完全一样，不能直接算倍数，但省下来的等待是实打实的。

最有意思的是固定图对照。同一张商品总览截图，同样三个问题。八个价格对不对。零五是不是写成了十五刀。页面能不能证明已经发布。Jev 连续三次都在半秒上下给出答案，三题九答全对。当前模型看同一张图，一次十三秒多，答案也全对。

这两个数字口径不一样。一个是完整 API 调用，另一个含图片加载、工具往返和落盘。不能说成快了多少倍。但方向很清楚。选择题不该用请大模型看图的方式来做。

然后，门槛真的把关了。

三个问题里有一题，页面是否证明已发布。Jev 首次回答是对的。但置信度只有零点五六，低于我们设的零点六五执行门槛。按规则，这种答案就该拒用，退回大模型重看。答对了也不放行。这就是论文说的拿不准就交回去。退回之后的那一步，记录里没有跟踪，但门槛该拦的地方拦住了。也提醒我一件事，门槛不是走过场。它会在你以为万事大吉的时候把关。

也有老实话要说。到目前为止，我的发布流程没有真正跑过 Jev 判断。上面这些都是探针和对照实验。样本小，只测了单设备单应用，截图不是盲测。我没有全量替换成 Jev，也没有跑出整体提速多少的可比数字。要证明这些，得在同一起点、同一终点、同样核验强度下重复计时。

想试的话，怎么试、怎么留

想试的话，我建议从论文借四件东西。训练那部分，就是拿四 B 模型做微调那一套，先放一放。先验证分工方式有没有价值，再考虑训练。

第一，先跑影子模式。小模型照常给答案和置信度，但只写日志，不真执行。看它在哪些步骤会自信地选错。

第二，每类决策单独拟合门槛。选工具、选参数、要不要停，分开统计。别混成一个准确率。

第三，不可逆步骤红线。取消、扣款、删除、对外发送。论文里小模型失败的三十四个任务，全部始于不可逆步骤上的一次自信错误。这些位置，要么留大模型，要么留确定性校验和人工授权。

第四，验收用两笔账加统计口径。成本省了多少，成功率有没有跌出事先声明的容忍界限。用没参与调门槛的新任务来验。先单项，再组合。

这套方法不限于操作手机。凡是大模型每步都要想一下的场景，都可以拿它当候选试一试。比如让 Agent 决定加载哪个技能，要不要读某份资料，这一步要不要停下来问你。每个都是选择题。都可以先旁观，再拟合门槛，再有限放权。

哪里不能交，说清楚

论文报告的数字我没有复现。论文和官方仓库的数字来自不同设置。论文里编码 Agent 用强模型快模型路由，成本省了百分之七到十点五。官方仓库另一组七十四个保留任务上的实验，报告省了两成八到六成四。不是同一组实验，不能混着引用。

仓库提供了影子模式、门槛拟合和报告的命令。但文档明确说了，工具选择这类非默认模式，只在十五个任务的小开发集上跑过，而且没有哪个明显赢过默认配置。论文里真正验证过省了钱又没掉成功率的，是工具和参数这两类选择的分流。

另外论文作者自己声明，结果只在良性状态下成立。门槛换了任务、换了模型，就要重新拟合。论文的实验都是英文任务，换语言场景要重测。官方仓库的代码是 MIT 许可。AgentDecision 系列的模型权重是 CC BY-NC 四点零，商用前要分别核对条款。

留一个问题

你的工作里，哪一步其实只是请 AI 看一眼再做个选择题？把它交给便宜的判断者之后，你打算拿什么证据说服自己，这个改动可以留下？

参考资料

论文里的实验数字都是作者报告，我没有独立复现。我们自己的那部分是一轮本地对照实验，本机、单设备、小样本、不是盲测，两个计时口径不同、不能算倍数。客服取消订单是讲故事用的假设场景，「怎么试、怎么留、哪里不能交」那节的四件事是我的建议，不是论文结论。Created 2026-10-21，Updated 2026-10-22。