长任务里掉链子，常见原因是模型无法把已经会做的简单事稳定地重复很多次。
关掉思考模式，让当时参数量最大的那批模型算两个矩阵相乘，它们算不出来。Sinha 等人的论文在附录 B 报告了这个对照实验，每个模型独立运行 50 次。[1] 矩阵乘法本身没有知识门槛，模型也知道计算步骤。问题出在连续执行：一件已经会做的事，重复十几次仍要每一步都正确。
这提示排错时应先检查执行稳定性。代理在长任务里跑偏，先不必归因于任务太难，也不必立即换更强的模型或加复杂提示词。2025 到 2026 年间的几项实验把「知识」「规划」「执行」拆开测量，结论相当一致：长任务暴露的主要问题是耐力和一致性，单步所需的知识通常仍在。
长任务的失效可以从三个环节观察：错误会自我强化，目标会在多轮交互中漂移，验收也常常缺位。文中的数字均标注来源、样本和测量时点，事实与分析分开呈现。
假定每一步的成功率为 p，各步相互独立，且错误不会被纠正；其中一步出错，整个任务就失败。执行 t 步后，整体成功率为 p 的 t 次方。若整体成功率目标为 s，可容纳的步数为 H = ln(s) / ln(p)。[1]
这个公式意味着，单步准确率提高后，可承受的任务长度会迅速增加。下表按该公式计算（计算由本站完成，公式来自 [1]）：
单步成功率｜整体成功率 50% 时的步数上限｜整体成功率 80% 时的步数上限｜80%｜约 3 步｜约 1 步｜90%｜约 6 步｜约 2 步｜95%｜约 13 步｜约 4 步｜99%｜约 69 步｜约 22 步｜99.9%｜约 693 步｜约 223 步
看第二列。单步从 90% 提到 95%，只涨了五个百分点，能扛的步数翻了一倍；再提到 99%，步数变成五倍。论文特别指出，超过 80% 单步准确率之后这条曲线开始陡增，而这正是当前前沿模型在许多问答类基准上已经达到的区间。[1]
这条公式解释了两个常见现象。模型在单条问答上表现优秀，完整工作却未必顺利：短任务基准测的是 p，实际工作需要的是 H，两者之间隔着指数关系。人们对新模型的体感差异也可能远大于跑分差异，跑分上涨几个点，可用任务长度就可能翻倍。单看分数变化，容易同时低估和高估它对长任务的影响。
如果把「能扛多长的任务」当作指标，趋势是什么样？METR 的做法是用人类专家完成任务所需的时间来度量任务难度，然后测量模型能以 50% 成功率完成的任务时长，称为 50% 时间跨度。他们在 HCAST、RE-Bench 与新构建的 SWAA 短任务集上合计 170 个任务，用有相关领域经验的人做基线计时，评测了 2019 至 2025 年间的 13 个前沿模型。[2]
截至 2025 年 2 月，最长的 50% 时间跨度约为 50 分钟，由 Claude 3.7 Sonnet 达到；这个指标自 2019 年以来大约每 7 个月翻一倍。论文同时指出，改进的主要驱动力是可靠性与从错误中调整的能力，以及逻辑推理和工具使用的进步。[2] 作者自己也提示了外部效度的局限，任务集偏软件工程，与真实工作的差异需要谨慎对待。[2]
这两组结果放在一起，结论很明确：模型能力会继续提高，但短期内仍应按人类十分钟量级的工作单元切分任务。翻倍周期意味着，今天让模型独立完成一件人类需要半天的工作，成功率仍然有限；切成更短、可以单独验收的步骤，整体可靠性会明显改善。任务切分是当前更符合这条曲线的工程做法。
最流行的解释是上下文变长导致注意力被稀释。Sinha 等人的实验把这个解释拆开了。他们的任务被刻意设计成不需要知识也不需要规划：每一轮给模型一个键，让它检索对应的值并做一次简单合成。除最小的几个模型外，所有模型在第一步的准确率接近满分，说明它们完全具备做好单步的能力。[1]
关键的一步是反事实实验：人工伪造对话历史，控制历史中的错误率。如果把历史治好，也就是错误率降到 0%，那么第 1 轮到第 100 轮之间残留的准确率下降只能归因于长上下文问题；如果在同一个位置随着历史错误率上升而进一步下降，就说明还有另一种机制在起作用。[1]
实验结果支持后一个解释。在完全正确的历史下，第 100 轮的准确率已经略低于初始值，这与已有的长上下文退化观察一致；而随着注入历史的错误率提高，第 100 轮准确率持续、明显地进一步下降。论文把这个机制命名为自我条件化（self-conditioning）：模型看到自己犯过错，就更容易接着犯错。[1]
实验还测了 200B 以上的模型，包括 Kimi-K2、DeepSeek-V3、Qwen3-235B-Instruct-2507。它们在 100 轮范围内基本解决了长上下文退化问题，在修正后的历史上几乎满分；但依然会发生自我条件化，历史错误率提高后，准确率照样退化。[1]
这项结果对应的排错动作也很具体。代理在第 20 步开始出错时，先检查历史中是否已经出现错误示范，再决定是否压缩上下文。把已知错误从历史里清掉，通常比单纯减少总量更有针对性。带着错误的中间结果继续运行，模型会把它当作当前任务状态的一部分，后续错误因此更容易被延续。
论文测了带思考模式的 Qwen3 模型，它们不再自我条件化：即使把之前全部历史都换成错误答案，第 100 轮的准确率依然稳定。[1] 另外两种补救方式效果有限。让模型每轮自我验证，会大幅增加每轮生成的 token，更早耗尽上下文窗口，后期反而更容易崩塌；用并行采样和多数投票替代思考，也只带来边际改善。[1]
长链条任务里，关掉思考模式换取速度，往往会把节省的延迟变成整条流程的重跑成本。
除了能撑多少轮，还有一轮里能连几步。论文在单轮设定下测量前沿模型能执行的步数，差距非常大：GPT-5（研发代号 Horizon）为 2176 步，Claude-4 Sonnet 为 432 步，Grok 4 为 384 步，Gemini 2.5 Pro 为 120 步。[1] 在关掉思考与思维链的条件下，即使最大的模型也无法完成两个矩阵的连乘，这条对照说明单轮的执行长度几乎完全依赖顺序性的测试时计算。[1]
这组数字说明，同一流程换一个模型，结果可能从不可用变为可用。差异主要体现在连续执行的耐力上，通用智力测试的平均分未必能反映这一点。如果任务本质是长链条执行，选型时应关注长跨度指标。
真实使用往往是边说边补，完整指令会在多轮交互中逐渐形成。Philippe Laban、Hiroaki Hayashi、Yingbo Zhou 与 Jennifer Neville 把这件事做成了大规模模拟实验：把同一个完整指令拆成若干片段，分多轮喂给模型，与一次性给全做对比，覆盖六类生成任务，分析了 200,000 组以上模拟对话。[3]
所有被测的开源与闭源顶级模型在多轮设定下表现都显著下降，平均降幅 39%。[3] 论文把退化拆成了两部分：能力（aptitude）损失很小，不可靠性（unreliability）大幅上升。模型偶尔仍能做得很好，但同一个任务重跑几次，结果的波动变得极大。[3]
论文观察到，模型倾向于在早期几轮就做出假设、过早给出完整方案，然后过度依赖这个方案。一次对话里转错方向后，模型往往不会自行回到正确路径。[3] 该文获 ICLR 2026 最佳论文奖。[3]
另一项研究显示，长上下文本身也存在位置效应。Nelson Liu 等人在 TACL 2024 的研究发现，模型对上下文中相关信息所处位置高度敏感：信息出现在开头或结尾时表现最好，出现在中段时明显下降。[4]
两项研究显示出长对话的具体问题：第 3 轮补充的关键约束，到第 20 轮时落在模型较难利用的中段，还可能被早期的错误假设覆盖。多轮补充说明虽然符合人的协作习惯，却增加了模型保持目标的难度。更有效的做法是周期性重述：每隔若干轮，重新列出当前目标、已确认事实和约束，把它作为新的起点。
把任务拆给多个代理，看起来能解决单个代理跑不远的问题。Mert Cemri、Melissa Z. Pan 等人在 NeurIPS 2025 数据集与基准赛道的论文里，系统分析了这类系统的失效方式。他们覆盖 7 个流行的多代理框架，先由六位专家标注者精读 150 组执行轨迹建立分类体系，标注者一致性 Cohen's κ = 0.88，随后用经过验证的「LLM 作为评判者」流水线扩展到 1,600 组以上标注轨迹，构成 MAST-Data。[5]
他们识别出 14 种失败模式，归为三类：规范与系统设计问题、代理间失配、任务验证与终止。[5] 这些失败模式可以直接转成排查清单：违反任务约束、步骤重复、低效的顺序执行、信息隐瞒、忽略其他代理的输入、推理与行动不一致、过早终止、验证过弱、无验证或错误验证。[5] 论文还把这套分类用到训练时未见过的系统上，OpenManus 跑 MMLU、Magentic-One 跑 GAIA，一致性 κ = 0.79，说明分类具有跨系统的泛化性。[5]
多代理系统在流行基准上的收益往往很小，论文因此进一步分析它们的失败原因。[5]
第三类往往最容易被低估。多代理系统常被用来让一个代理检查另一个代理，但这份清单显示，验证环节本身也可能失效：过早宣布完成、检查流于形式，或完全没有检查。增加代理数量不会自动增加验收能力。验收依赖明确的通过标准和可执行的检查，这些条件需要单独设计。
τ-bench 提供了另一个角度。Shunyu Yao 等人构建了一个由语言模型扮演用户、代理需要调用领域 API 并遵守政策文档的评测环境，用对话结束时的数据库状态与标注目标状态比对来判分，并提出了 pass^k 指标，衡量同一个任务独立重跑 k 次全部成功的概率。[6]
即使是最先进的函数调用代理（如 gpt-4o）也只在不到 50% 的任务上成功；在零售域，pass^8 低于 25%。[6] 同一个任务连做八次全对的概率不到四分之一。
pass^k 对生产环境尤其有参考价值。业务流程需要稳定通过，同一张工单反复运行却得到三种处理方式，暴露的是结果方差。降低方差依靠固定流程、模板化输出和强制校验；提升模型能力解决的是另一类问题。遇到这类问题时，反复更换模型往往不会改善体验，因为瓶颈在流程约束。
错误会自我强化时，模型能否自行发现并刹车？
现有两组测量都指向有限的自我纠错能力。Gladys Tyen 等人把自我纠错拆成找错和改错两种能力，用 BIG-Bench Mistake 数据集测量，该数据集含 2,186 组思维链轨迹，由 PaLM 2 Unicorn 生成，标注了首个逻辑错误出现的位置。结论是模型在少样本设定下找错的准确率普遍很低；但把正确的错误位置告诉它后，用回溯方法改错的效果很好。更有工程价值的是，即使错误位置来自一个准确率只有 60% 到 70% 的奖励模型，回溯依然有效。[7]
另一组来自 Jie Huang 等人在 ICLR 2024 的测量：没有外部信号时，在 GSM8K 上 GPT-3.5 有 74.7% 的情况保持原答案不变，而在会改动的那部分里，把对的改成错的比把错的改成对的更多。[8]
两组结果指向同一种分工：定位应来自外部，修改可以交给模型。定位器不必很准，准确率约七成的信号也能发挥作用。工程上不需要完美的验证器，关键是让定位信号独立于生成过程。
这些机制可以转成六条操作原则。
一、按步数预算设计任务。先估这个流程每步的可靠度在什么量级，再用第 1 节的表反推该切成几段。二十步一口气跑完的流程，如果单步 95%，整体成功率大约只有三成；切成四段、每段五步、段间加确认，每段的成功率回到七成以上。切分点要放在状态可以被外部检查的位置：文件写盘、数据落库、生成一份人能读的中间产物。
二、每段结束时重写状态，别让历史无限累积。 让代理在每段末尾输出一份结构化的当前状态：目标、已确认的事实、还未决的问题、下一步。下一段以这份状态为唯一输入起点。这一条同时对付两个失败点，它清掉了历史里的错误示范，也把关键约束重新放回上下文的开头或结尾。
三、错误一旦发生就回滚。自我条件化意味着，带着已知错误继续运行，代价会不断放大。发现第 7 步出错后，应丢弃第 7 步之后的历史，修正第 7 步再继续；在第 12 步追加一句「刚才那个数字不对，用这个」，通常只会增加后续修复成本。
四、验证器要独立，准确率可以不完美。能执行的验证优先：单元测试、schema 校验、行数与总和对账、白名单枚举。拿不到可执行验证时，用另一个上下文干净的模型实例做检查，并且只让它回答哪一步不对，不让它顺手改。
五、开启思考模式，避免把每轮自查当成替代方案。带思考的模型不再自我条件化；每轮追加自我验证会消耗上下文，反而可能让后期更早崩溃。[1] 在固定预算下，资源优先用于提高首轮质量与增加初始尝试的多样性，通常比投入更多轮修补更划算。Theo Olausson 等人在代码自修复上的测量给出了同方向的结论，他们还发现把 GPT-4 的自我反馈换成有经验程序员的反馈后，通过全部单元测试的修复程序数量变为 1.58 倍。[9]
六、用 pass^k 做稳定性验收。上线前把同一批代表性任务各跑 5 到 8 次，看全部成功的比例。这个数字通常比预期低很多，但它才是用户真正体验到的可靠性。方差大的环节优先加约束，不要优先换模型。
症状与处理方式可按下表排查：
你观察到的症状｜最可能的失败点｜先做这件事｜前几步很好，越往后越离谱｜自我条件化 [1]｜回滚到出错点，清掉错误历史再继续｜同一个任务重跑结果差别很大｜结果方差过大 [3][6]｜固定流程与输出格式，用 pass^k 验收｜中途忘记前面提出的约束｜多轮漂移加位置效应 [3][4]｜每段开头重述目标、事实与约束｜过早宣布已完成｜任务验证与终止类失败 [5]｜写明可执行的完成标准，由外部检查判定｜它道歉、改了，但改得更差｜缺少外部定位信号 [7][8]｜由独立验证器指出位置，再让它改｜单轮里链条一长就断｜单轮执行长度受限 [1]｜开启思考模式，或换长跨度更强的模型
长任务的脆弱来自乘法效应。假定没有自我纠错，整体成功率等于单步成功率的幂，任务长度会随单步准确率快速增加，并在超过 80% 后明显变陡。[1] 模型能以 50% 成功率完成的任务时长自 2019 年以来大约每 7 个月翻一倍，截至 2025 年 2 月最长约 50 分钟。[2] 两条趋势共同指向同一个策略：当前应优先切分任务。
错误会在历史中传递。在经过修正的历史上，前沿大模型在 100 轮内几乎不受长上下文影响；一旦历史里出现错误，后续每轮的准确率就持续下滑。放大模型规模无法解决这一点，思考模式可以缓解。[1] 清理历史比压缩历史重要，回滚比打补丁重要。
生产环境还要关注一致性。多轮设定下模型平均下降 39%，退化主要来自不可靠性上升，能力本身的损失较小[3]；τ-bench 上最强的函数调用代理成功率不到 50%，零售域 pass^8 低于 25%[6]；多代理系统的 14 种失败模式里，任务验证与终止自成一类[5]。把不确定的部分交给外部约束，把明确的部分交给模型执行，流程的稳定性也更容易控制。
核心原则是：缩短路径、清理历史，并设置独立验证器。
Akshit Sinha, Arvindh Arun, Shashwat Goel, Steffen Staab, Jonas Geiping · ICLR 2026 / arXiv
Thomas Kwa et al. · METR / NeurIPS 2025
Philippe Laban, Hiroaki Hayashi, Yingbo Zhou, Jennifer Neville · ICLR 2026 / arXiv
Nelson F. Liu et al. · Transactions of the Association for Computational Linguistics
Mert Cemri et al. · NeurIPS 2025 / arXiv
Shunyu Yao et al. · arXiv
Gladys Tyen et al. · Findings of ACL 2024
Jie Huang et al. · ICLR 2024 / arXiv
Theo X. Olausson et al. · ICLR 2024 / arXiv