Skip to main content
博客

FAST 快速档位: 让反馈跟上你的思路

Qoder Fast 快速档位上线:生成速度提升超150%,Token消耗减少27%

返回
为什么模型输出更快,任务却不一定更快完成?为什么 Qoder 要做 Fast 档位,而不只是给每个模型加一个快速开关?这篇文章把 Fast 的适用场景、加速机制和初步测试结果,一次讲清楚。

为什么是 Fast 档位,而不是给每个模型加一个快速开关

给模型加一个快速开关,解决的是一个明确问题:用户已经选好模型,希望它响应得更快。 但很多用户的起点是“我想快速试一下这个想法”。他们还没有选模型,也不想先研究各个模型的速度变体、思考参数和版本差异。 Fast 想往前多走一步:让用户可以一键选择最适合当前任务的整体体验。 因此, Fast不仅是一个模型选择,而是通过模型组合、Agent优化、网络链路的三层综合优化带来的模式变化。

具体做了什么来让Fast变快

模型输出速度只影响任务的一部分。一次任务的完整链路还要准备上下文、发起多轮请求、调用工具、处理返回结果,并经过网络传输,所以即使是一样的模型,在不同的产品上依然会有不同的耗时表现,全链路来看:
环节哪些情况会增加等待
模型选择与请求模型与任务不匹配;已经确定的步骤仍反复请求模型判断
上下文处理每轮携带过多输入;可复用的内容重复计算
工具执行独立操作串行等待;失败后反复重试
网络链路建连、传输和路由增加开销,偶发延迟拉长任务
下面用一条简化的 Profile 链路,说明各项优化发生在哪里:
image.png

1. 模型层:先理解任务,再选择模型

“解释这段函数为什么报错”和“重构这个模块的依赖关系”,都与代码有关,但需要的能力并不相同。前者重在快速理解和清楚解释,后者需要处理跨文件影响,并验证修改结果。 Fast 围绕任务类型引入路由模型对当前任务进行结构化识别,区分代码解释、代码修改、重构、测试或架构设计等类型,再由路由根据任务类型调整候选模型的优先级。在满足能力要求的前提下,选择更适合当前任务的模型。

2. Agent 层:让执行引擎少做无效工作

Harness 是 Qoder 智能体背后的执行引擎,负责组织模型请求、工具调用、上下文管理与多轮执行。模型选定之后,怎么把任务跑完,由这一层组织。
  • 模型请求:确定的步骤,交给程序连续完成,减少冗余步骤
  • 上下文组装:复用已有输入,按需加载工具。
  • 独立任务并发:让可并行的任务同步推进,减少等待

3. 网络层:缩短往返,也减少波动

请求从用户端抵达模型,需要经过域名解析、连接建立、安全握手和请求路由等环节。通过对这些链路的逐项优化和调整,我们希望不仅提高 FAST的档位速度,更能减少偶发的长等待,让用户少遇到“同样一个小任务,这次为什么特别慢”的情况,让相似任务的体验更可预期。

什么时候适合用 Fast:少一点等待,多一次尝试

工作和生活中的很多任务并不是始终沿着一份确定的计划前进。很多时候,我们是在提问、尝试、观察和修改中,把想法逐渐变成产品,或产出。而很多时候提出一轮修改只花几十秒,等结果却要更久,人就容易切去处理别的事。回来以后,还要重新想起:刚才改了什么、准备检查哪里、下一步要试什么。 因此,Fast 希望缩短这段间隔,让反馈接得住当前的思路。以做一个“今天午饭吃什么”的小工具为例,有三个适合使用 Fast 的阶段。

1.灵感碰撞:快问快答,找到方向

一开始,你不需要一份完整的产品方案,只需要有人接住想法,帮你继续往下想:“每天午饭不知道吃什么,有没有有趣的做法?”、“不想填很多偏好呢?”、“如果是几位同事一起呢?” 几轮短问短答后,随机转盘、按预算推荐、同事投票三个方向浮现出来。每次回答只需要支持下一步判断。反馈来得及时,就能顺着上一个问题继续追问,保持探索的心流。

2.想法试选:不只讨论,每个做一版

有了方向,下一步的目标不是一次做出三个完整产品,而是用足够小、足够明确的原型,帮助验证哪个才是值得继续的方向。亲手转一下转盘、调一下预算、投一票,更容易判断哪个方向值得继续。趁体验还清晰,再补一句“投票版直接显示大家的选择”,就能进入下一轮验证。Fast 的价值,是降低从想法到第一次验证之间的等待与门槛。

3.深入做成,再快速打磨:从能试到好用

完整版本运行起来后,Fast可以是响应你反复打磨的最佳乙方:“发起投票压缩到一屏。”“突出显示票数最高的餐厅。”“按钮改成‘就吃这家’。”你可以对着预览连续修改、连续检查,把注意力留在眼前的细节上。

初步结果:速度收益与完成率

我们选取了十项适合 Fast 场景的通用任务,在每个测试配置下各运行三次,对比产出质量、耗时和输出速度。
  1. 产出质量:满分5分,Fast档位平均得分4.94,Performance档位平均得分4.93,基本持平
  2. 耗时对比:Fast 的端到端任务完成时间约为Auto档位的50%,对比友商,约为其它Agent产品Fast 档位耗时的 1/3~1/2。输出速度较原先performance提升了152%,约为友商Agent产品普通模式的3倍。

从模型选择,走向可预期的产品服务

Fast 的产品化还有一个目标:让用户能按任务分配资源,获得更稳定、可控的结果。 输出了多少 Token、每秒生成多少 Token,都不能单独说明任务效率。模型多跑几轮、携带更多无关上下文、反复调用相同工具,都可能增加资源消耗,也拉长等待。 Token Efficiency 关注的是:完成符合要求的任务,需要投入多少资源。对应到 Fast,有三件事:
  1. 按任务选档位。 快速验证和局部修改交给 Fast,需要深入处理时再投入更强的能力。
  2. 减少无效消耗。 复用上下文,按需加载工具,让程序连续完成确定的操作,减少重复请求。
  3. 按完整任务验收。 同时观察质量、完成率、耗时和资源用量,避免局部加速带来更多返工。
档位的定位由这些持续工作支撑:模型更新后重新验证,策略调整后观察效果,从真实任务里找到下一处瓶颈。用户选择 Fast,应该越来越清楚它能完成什么,以及需要付出怎样的等待和投入。 对用户而言,这个目标很直接:少一点等待,少几次分心,让反馈跟上思路。