一封客户回复在两分钟内生成,不等于客户两分钟后就收到了可用答案。它可能还要补资料、核对数字、统一口径、让同事判断例外情况;如果答案随后被退回,最先省下的那两分钟只是在流程前端挪出了一小块空白。反过来,若这封回复准确、合规、一次通过审阅,也没有给下一位同事留下补问,那么更快写完就是实打实的效率收益。问题不在于我们是否承认这件事,而在于不能把屏幕上出现首稿的速度,当作整个工作已经更快完成的证据。
标题里的“不是打字时间”,应该被理解成一个计量提醒,而不是字面否定。AI 的确可能缩短直接任务。在一项预注册职业写作实验中,444 名专业人士随机获得 ChatGPT 后,第二项任务平均少用约 10 分钟,约快 37%,盲评成绩还提高了 0.45 个标准差。[1] 在另一项有 758 名管理顾问参加的预注册实验里,预先判定在 GPT-4 能力范围内的 18 项任务中,使用 AI 的一组完成任务更多、平均快 25.1%,质量也更好。[2] 但在 METR 对熟悉成熟开源项目的开发者所做的随机试验中,允许使用 2025 年初的 AI 工具,反而使完成时间增加了 19%。[3]
这三组结果并不矛盾。它们共同说明,效率不是模型响应速度,也不是今天比昨天多生成了多少页、多少行或多少封邮件。更可靠的单位是一段完整工作:从可处理的输入出现,到成果以约定质量被验收、交付,或能被下一步直接使用。中间包括人等人、人等资料、换工具后重新找回线索、核验模型说法、测试、修改,以及下游退回。只有这个完整周期更短,质量没有下降,且后续成本没有被悄悄转移,才能说明 AI 提高了工作效率。
这也是为什么“等待、切换和返工”不应被当成三条已经普遍证实的 AI 效应。核验和返工在特定任务中已有直接、但范围有限的证据;等待与上下文切换则更适合被当作每条流程需要验证的假设。真正有用的问题是:在这一条具体工作流里,AI 把时间从哪里拿走,又把时间放到了哪里?
1. 效率的单位是达到质量门槛的完整工作周期
把“写得更快”叫作效率,往往是因为写作最容易看见。打开工具、输入请求、看着一段文字出现,计时器立刻给出一个好看的数字。但多数工作的终点不是首稿完成,而是某个质量闸门通过:产品经理拿到可采纳的结论,客户收到能解决问题的答复,代码经测试后可合入,运营规则在系统里被正确执行。只要最后一步仍需大量补证、修改或来回确认,前端的生成速度就不足以代表最终产能。
这并不要求把所有直接加速都打成“假效率”。Noy 与 Zhang 的实验之所以重要,正是它同时测了时间与质量,而不是只问参与者觉得自己更快没有。随机获得工具的 444 名专业人士在职业写作任务中,第二项平均少用约 10 分钟,时间下降约 37%,盲评质量平均提高 0.45 个标准差。这个结果表明:在短时、边界清楚且可由盲评判断的写作任务里,更快完成和更好结果可以同时发生。[1] Dell’Acqua 等的管理顾问实验给出类似但不同的场景:在 18 项事先被判断为处于模型能力范围内的任务中,AI 组完成任务数多 12.2%、平均快 25.1%,质量也显著改善。[2] 开发者生产率研究提出的 SPACE 框架因此格外有用:生产率不能由一个指标、一个维度或一次活动来代表。[4]
这两项实验能支持的结论很具体:当任务边界、质量标准和评价方式都比较清楚时,AI 的直接加速可以是真的收益。它们不能支持的结论也同样重要:一项写作任务更快,不等于一个团队的项目、客户响应或交付周期必然更短。Noy 与 Zhang 的任务在线进行,时长约二三十分钟;它并不含长期协作和下游维护。顾问实验的范围内任务经过预筛选,也不等同于把 AI 放进所有日常工作后会得到同样结果。[1] [2]
因此,衡量一条流程时,先不要问模型写了多少字,而要把成果和质量门槛说清楚。对一个销售运营团队,成果可以是“客户请求收到至可发送且可追溯的答复”;对工程团队,可以是“任务确认至变更通过测试并可安全发布”;对产品团队,则可能是“研究输入到被负责人采纳的决策材料”。同一个输入有了不同终点,计时结果会完全不同。首稿用时仍应记录,但它只是总账中的一项,而不是总账本身。
这个定义还有一个容易被忽略的好处:它能把成本转移暴露出来。若 AI 让前台员工更快完成记录,却把查证负担交给后台;若它让工程师更快写出改动,却让测试和排错占去更多时间;若它让一份方案看起来更完整,却让决策者花更久识别不可靠的论据,效率并没有凭空增加,只是计时器被放在了更靠前的位置。用完整周期衡量,是为了防止把局部速度误认成整个系统的速度。
质量门槛也不必被理解成一张笼统的“满意/不满意”问卷。它可以是答案是否正确、依据是否可追溯、格式是否能进入下游系统、规则是否被遵守,或变更是否经得起测试。不同工作把这些条件组合得不同,因此不能用一套统一的分钟数判断好坏。真正需要稳定的是比较条件:同一类任务的终点不变,验收者的标准不变,退回仍被算回原来的工作单元。这样,AI 带来的速度才不会靠降低标准、缩短交付定义或把难题排除在样本外而显得更好看。
这也解释了为什么“输出量”常常是一个诱人的误导。十份初稿、十条建议或十个代码片段,可能让人感觉工作推进了十倍;但如果其中大部分没有被采用,或者必须在下游逐一修整,它们更像待处理库存,而不是完成的成果。相反,一份较短却可以直接被下一位使用的材料,往往比一堆等待筛选的文本更接近效率。完整周期衡量要把“可用”纳入速度定义。
2. 等待与交接是否缩短需要在具体流程中测量
工作里的等待很少以一个单独按钮出现。它可能是材料没齐时的停顿,是等待专业同事回复的一小时,是案件在队列里没有人接手的一天,也是上一位已经做完、下一位却还不知道可以开始的空档。对使用者而言,这些时间往往比写一段话更令人沮丧;但“AI 让等待变少”不能只凭直觉成立。必须分清:AI 是让某个局部动作更快,还是让工作真的更早到达下一位能处理它的人手里。
有些现场证据可以提示方向,但不能代替这个测量。Brynjolfsson、Li 与 Raymond 研究了 5,172 名客服人员所在的一家公司,部署生成式 AI 后,每小时解决的问题数平均增加 15%;客户要求找经理的比例,则从约 6% 的基线相对下降近 25%。不过,研究者明确没有实际升级记录,所测的是客户“请求升级”,不是客户真的被转交、也不是交接等待时间。[5] Dillon 等在 66 家企业、7,137 名知识工作者中进行的六个月随机现场实验,也发现试验后半段实际使用工具的 80% 处理组每周少花约两小时处理邮件,且较少在正常工作时间外工作;但研究没有检测到任务数量或构成的变化。[6]
两项研究说的是不同层级的现象。前者显示,在特定客服环境中,处理率提高,客户向经理求助的请求变少;后者显示,个人的邮件时间会被压缩,却没有自动显现为可检测的任务重组。这些都是应观察的局部变化,不能被翻译成“排队已经缩短”“人工交接已经减少”或“组织吞吐已经提高”。前一项研究没有实际升级数据,后一项研究没有测等待、协作质量、营收或客户价值。[5] [6]
所以,等待是一个要被检验的工作流假设,而不是宣传语。设想一个需要分析、审核和回复的客户流程:如果 AI 能在分析者完成前,把来源、初步分类和待确认事项整理得让审核者可直接使用,那么“上一步可交接”到“下一位开始有效处理”的中位时长可能下降;实际升级、补问和因资料不全造成的退回也可能减少。这里的“可能”很关键。只有在同类任务中记录了真实的准备就绪时间、实际接手时间和实际交接事件,才知道这种变化是否发生。
测量时还要把不同的等候拆开。等资料、等同事回复、等审核、等外部系统与等模型生成,不是同一种成本,也不一定由同一种改动解决。把一次“客户要求找经理”或一段较短的邮件处理时间直接替代所有等待,会让团队错过真正的瓶颈。若首稿快了,但审核队列没有动、交接所需信息仍不完整,或者模型本身又增加了等待,那么这条流程不能因为前端更快就宣称省下了标题所说的等待。
等待还会放大协作中的小缺口。上一位同事若没有留下来源、假设和未决项,下一位即使立刻收到材料,也可能要花时间判断它是否能用;反过来,一份明确标出不确定处的摘要,未必缩短了模型生成,却可能缩短了接手者的判断时间。两种变化都应观察,但它们不是同一个指标。把交接设计和排队管理混在一起,只会让改进停留在“感觉顺了些”的层面,而无法判断是哪个环节真正减少了空等。
因此,测试等待假设时,最好不要把 AI 条件理解为一次性神奇干预,而要明确它在流程中的位置:是在输入阶段帮助整理材料,在处理中给出初步分类,还是在交接时生成带证据的摘要。每种位置对应不同的潜在收益和不同的失败方式。若它只让个人写得更快,却没有改变下一位能否立即开始,等待没有理由自动下降;若它让信息更早达到可用状态,才有必要继续观察队列和交接的时间戳。
3. 上下文切换的净成本必须在同类任务中验证
“少切换应用”听上去像一个显而易见的效率目标,实际却比它复杂。一个人为了回答客户问题,可能要在工单、知识库、聊天记录、表格和内部系统之间移动;工程师可能在代码、测试、文档和监控之间来回;产品经理也可能必须查研究、原始数据和协作意见。应用数量多,不自动等于工作浪费。关键不是屏幕切了几次,而是每次切换之后,是否要重新找到证据、恢复任务状态、转录信息或重新理解前文。
Jahanlou 等对 15 名知识工作者及 5 个产品团队的访谈发现,完成同一任务时的软件切换会带来数据转换或传递、重新聚焦与额外认知负荷;同时,专有功能、协作、政策和隐私要求也会使多工具工作流成为必要。[7] 更大规模的行为数据同样不能被读得过于简单。Vaid 与 Whillans 的在审预印本记录了 8 家印度组织中 1,017 名员工的 1.03 亿条应用事件:AI 使用日的总切换更多,但每次 AI 使用后的短窗口里,应用数和切换较少,人在单一应用中停留更久,活动也更可预测。作者同时说明,这类记录看不见注意力、意图、质量或端到端产出,不能判断是 AI 造成了重组,还是原本不同的工作日更容易使用 AI。[8]
这正好提醒人们区分两种句子:“AI 周边的短时活动更集中”是观察结果;现有数据还不能支持“AI 已经降低了上下文切换成本并提高产出”这一结论。访谈能说明切换为何会累,也能说明为何某些切换不可避免;应用日志能说明行为模式存在关联,却不能说明任务完成得更好。多工具有时保存了专业能力、可信来源或必要协作。为了追求一个统一入口而取消这些环节,反而可能把质量成本藏起来。[7] [8]
因此,更适合提出一个上下文假设:在一项固定工作里,如果 AI 能把与当前行动相关的可追溯材料、限制条件和未决问题整理给使用者,恢复任务状态的时间、重复检索与无效应用往返可能减少,同时质量不下降。它仍然需要比较才能成立。比较对象应是复杂度和角色相近的任务,而不是把一个简单的 AI 日与一个异常忙乱的非 AI 日放在一起。记录的也不该只是应用数,而应包括切换目的:是取证、录入、询问、审批、验证,还是因前一轮答案不可靠而返找资料。
这个视角会改变改进方式。与其笼统地要求员工“少开几个窗口”,不如找到那些重复传递材料、反复解释背景、需要从头回忆约束的时刻。一个好的辅助环节可能把问题、来源和未决项带到下一步,减少的是重建上下文的劳动;一个坏的辅助环节则可能多开一层聊天窗口、制造更多无出处的摘要,让核对工作增加。有没有净收益,仍要靠同类任务的完整周期和质量结果,而不是靠界面看起来更整洁。
4. 核验与返工决定初稿加速能否成为净收益
生成式 AI 最常见的误解,是把“产出第一版”当成“完成第一版”。在需要事实、隐含规则、项目历史或边界条件的工作里,模型提出一个看似顺畅的答案,可能只意味着人类工作的重心从写作移到了判断:哪些内容可采纳,哪些来源要追溯,哪些例外不能遗漏,哪些地方需要测试。这个转移不一定坏。若检查很短、规则清楚,首稿加速仍可能胜出;若检查变成逐句审计、反复试错和下游清理,前端收益就会被吃掉。
METR 的随机对照试验把这种抵消具体化了。研究让 16 名熟悉成熟开源项目的开发者处理 246 个预先定义的真实任务;允许使用 2025 年初 AI 工具时,完成时间增加了 19%。在有有效标注录像的子样本中,约 9% 的时间用于审阅或清理 AI 输出,约 4% 用于等待模型生成,被接受的 AI 生成内容不足 44%。这不是说 AI 必然拖慢所有编码工作,而是说明在这个小样本、熟悉项目且工具版本固定的环境里,提示、等待、审阅与清理能够超过直接生成带来的好处。[3] Dell’Acqua 等的顾问实验也显示,能力边界不能被忽略:在一项被选为模型能力范围外的复杂管理任务中,AI 条件下得到正确解法的概率平均低 19 个百分点,不是“相对低 19%”。详细结果里,对照组约为 84.5%,两个 AI 条件分别为 60% 和 70.6%。[2] 人因研究的综述把这类现象概括为若干可能机制:工作从生产转向评估,工作流被不利地重组,系统造成打断,以及简单任务更简单、困难任务更困难。[9]
这些证据的价值,在于它们把“返工”从抽象担心变成可计时的组成部分;它们的边界也必须保留。METR 测的是特定开发者在特定成熟项目和 2025 年初工具下的任务实现时间,样本很小,并未覆盖上线后的完整生命周期。顾问研究的范围外结果来自一项复杂任务,不能估计所有工作中的一般失败率。[3] [2] 不能因为这两项研究就断言“AI 都会制造返工”,也不能因为前面那些正向实验就断言“AI 的错误总能被轻易吸收”。
更准确的做法,是给一条流程设一笔验证预算。它包括写提示或准备输入、等待模型、人工审阅、来源核对、测试、修改、退回和下游纠错。真正的收益不是模型先吐出了多少内容,而是在质量门槛前少花了多少总时间。规则清楚、可自动检查、输入完整的子任务,较可能把第一版的加速转化为净收益;涉及隐含背景、稀有例外或高风险判断的任务,则更需要看到实际数据后再下结论。这里的“较可能”是筛选假设,不是为某一种工具或职业预先作出的承诺。
首稿通过率是一个尤其有用的信号,但它不能单独使用。若通过率上升,人工核验时间却成倍增加,仍可能没有节省;若退回次数下降,后续客户纠错却增加,质量闸门就放得太窄。把首次通过、人工核验、退回和下游修正同时放进周期,团队才能看清是减少了返工,还是只是把返工推给了看不见的人和更晚的阶段。
5. 团队应以完整周期、质量和返工评估一条 AI 工作流
把这些原则合在一起,团队要回答的并不是“AI 是否普遍提高生产率”。这个问题太大,也容易诱发用生成量、登录时长或个人排名来寻找一个漂亮答案。更可操作的问题是:一条边界清楚、反复发生的工作流,在使用 AI 后,能否以相同或更好质量更快完成?等待、上下文重建、核验和返工分别发生在哪里?答案可能因任务、角色、工具版本、输入质量和协作方式而变,这并不削弱测量的价值,反而说明为什么必须把测量放在流程里。
软件交付领域的 DORA 指南提供了一个有用的参照:不要只看吞吐,也要同时看不稳定性,包括交付周期、部署频率、失败恢复、变更失败率和部署返工率;它还提醒不要让单一指标统治复杂系统,或脱离情境比较。[10] SPACE 的观点相同:开发者生产率不是单一活动指标。[4] 而 Dillon 等的实验已经提示,个人少花邮件时间,并不自动显示为任务数量或构成的变化。[6] 这些都不是一套已经为所有职能验证的 AI 方案;DORA 也不是跨职能的 AI 因果研究。它们提供的是一种不把局部速度当最终答案的测量纪律。
实践中,最小的测试应从一条可重复、可验收的流程开始,而不是从全公司推广开始。先固定成果与质量闸门。例如,把“收到客户问题”到“负责人接受可发送答复”作为一个单元,或把“需求确认”到“变更通过安全测试”作为一个单元。提前定义什么叫首次通过、什么算退回、哪些下游错误仍要记入本次工作。没有这些边界,任何速度比较都会变成不同人对“完成”二字的不同理解。
接着把时间轴打开,而不是只记一个总时长。从开始处理、材料准备就绪、交接给下一位、下一位实际开始、模型返回、人工核验、最终验收,分别留下时间点。这样才能检验等待假设:是等输入、等人、等审核还是等模型在变化?同样也要把上下文重建写进记录。某次来回切换是为了取可靠来源,还是因为上一轮摘要遗漏了限制;某次重复检索是必要的核查,还是同一资料被反复转录?这种记录不必把每个人的鼠标轨迹变成考核工具,它的目的是分辨必要劳动和可消除摩擦。
最后,把 AI 条件与复杂度、角色和任务类型可比的基线并排。比较中位完整周期、首次通过率、人工核验时间、退回次数与下游纠错,而不只比较首稿速度。若完整周期缩短、质量稳定或提高,且返工没有转移到后面,那么可以把它视为这条流程中的真实收益;若只缩短了第一版、等待没有变化,或核验和退回增加,就应诚实地称之为局部加速、成本后移或尚未验证的改动,而不是全面效率提升。DORA 对指标滥用的警告也适用于这里:一旦把数字变成个人配额,人们会倾向挑选简单任务、拆分任务或隐藏返工,测量本身就会损害判断。[10]
这个比较也不需要等到数据完美才开始。小范围、时间有限的对照足以先揭示一条流程是否存在明显的成本转移,只要结果被如实解释。若样本很少、任务差异很大,结论就应保持为“在这批任务中观察到什么”,而不是变成面向全公司的承诺。把不确定性写进结论并不会削弱改进;相反,它能让下一轮只针对尚未弄清的等待、上下文或返工环节继续测,而不是凭一次好看的平均数扩大使用范围。
这比“让 AI 多写一点”更慢地开始,却更快地知道哪些改动适合扩大。AI 真正可能带来的价值,既可以是质量达标的直接任务更快完成,也可以是在完整工作周期中少卡在等待、少花时间重建上下文、少在错误答案上反复返工。不能只以键盘速度衡量;必须把这些环节与质量门槛一同计入,逐项看见、在同类任务中验证,并确认成本没有在流程的下一站重新出现。直接任务的加速可以构成真实效率收益;完整工作流的效率,还必须由完整周期、等待、上下文重建、核验和返工的净变化来证明。