买得到算力，买不到数据

1. 「数据不够」有四种含义

讨论数据约束时最常见的错误，是把四种性质完全不同的短缺压成一个词。它们的约束来源、时间尺度和解法都不一样。 数据约束分成四层：

• 存量层：缺的是可用于训练的人类文本总量；约束性质是物理与时间；典型指标是约 300 万亿 token，2026–2032 年耗尽^[2]
• 许可层：缺的是存量里法律上真正能用的那部分；约束性质是制度与合约；典型指标是robots.txt / 服务条款限制比例^[3]
• 生产层：缺的是需要被造出来的数据：标注、专家轨迹、RL 环境；约束性质是人力与组织；典型指标是专家时薪、任务通过率、环境数量^[4][5]
• 搬运层：缺的是把数据喂进 GPU、把状态写出来；约束性质是工程与供应链；典型指标是每 GPU GB/s、检查点耗时、EB 与交期^[6][7]

这四层不是从上游到下游的固定顺序，也不是可以互相替代的预算项。它们更像四种故障诊断：网页上有内容但没有使用权，是许可问题；有许可却没有稳定的标注或专家轨迹，是生产问题；数据已经准备好而 GPU 在等待，是搬运问题；数据能够流动但未来容量没有合同，是供应链问题。项目评审时，先把「数据不够」改写成缺少数量、使用权、生产速度还是到达速度，再决定增加采购、补授权、建设验证器，还是改存储和加载路径。这样可以避免用更多 GPU 掩盖数据生成慢，也避免用爬虫数量掩盖可合法使用的范围正在变窄。存量与许可还应分开记录：前者回答数据是否存在、质量是否够用，后者回答权利主体、用途、地域、期限和撤回条件是否清楚。公开抓取只回答前一个问题的一部分，不能自动填满授权记录。

四层之间还有一个容易被忽略的关系：它们的时间尺度不同。存量是年级别的供给曲线，许可可能在规则更新后迅速改变，生产受专家排期和任务设计限制，搬运则在每个训练 step 里重复发生，存储供应链又把未来几年的扩容提前锁定。项目早期往往先感受到生产和搬运，规模扩大后才把许可和存力的长期约束显现出来。同一个项目在不同阶段会出现不同的“数据不够”：开始时是没有可用样本，中间是样本无法通过验证，进入训练后是加载和检查点拖慢计算，准备扩容时又变成容量与合同问题。判断这些约束的先后顺序，比给“数据”设一个总量目标更有用；否则团队会把某一阶段的短缺误判成整个项目的长期上限。

2. 存量与许可：数量不等于可用

关于「训练数据会不会用完」，目前最常被引用的定量工作是 Villalobos 等人在 ICML 2024 的立场论文：如果当前的模型开发趋势延续，模型的训练数据规模将在 2026 至 2032 年之间追平公开人类文本的可用存量，中位估计是 2028 年；如果继续采用过度训练（overtraining）的做法，时间点还会更早。^[8] 这个估计有两个限定。 第一，300 万亿 token 不是「网页字节总量」。它已经过质量筛选，并且把「同一批数据训练多轮（multiple epochs）」的可能性算了进去。^[2] 因此，再爬一遍并不会把这个数字直接变大。 第二，论文自己给出了三条延续路径：合成数据生成、从数据富集领域迁移学习、数据效率改进。^[8] 在这份工作里，「耗尽」是一个坐标，不是终点判断。它不是某天没有 token，而是获取高质量 token 的边际成本持续上升。这是价格现象，不是断崖现象。最先被感知到的会是同样预算买到的语料质量下降，而不是训练完全跑不动。 国内数据可以作为另一条供给曲线。据新华社《经济参考报》引国家数据局数据，截至 2026 年第一季度，全国已建成高质量数据集超过 11.6 万个，总体量超过 960PB，日均词元（token）调用量突破 140 万亿。^[9] 到 6 月底的口径是 12 万个、总体量超过 1565PB，较一季度末增长超过 60%。^[10] PB 是存储体量，token 是语料规模，两者不可直接换算比较。 一份 1PB 的视频数据集和一份 1PB 的文本数据集，对语言模型训练的意义差几个数量级。「1565PB」和「300 万亿 token」不能直接比较；这里只把两组数字当作两条独立的供给曲线。

存量层的天花板还在几年之外，许可层的天花板已经在下压。 这方面的一项系统证据是 Longpre 等人的 Consent in Crisis（NeurIPS 2024 Datasets & Benchmarks Track）：这是第一份针对 AI 训练语料底层网域的大规模纵向同意审计，覆盖 14,000 个网域，用 Wayback Machine 按月回溯了 2016 年 1 月至 2024 年 4 月的 robots.txt 与服务条款快照。^[3] 在 C4 语料中最活跃、最关键的那批来源里，超过 28% 已经被 robots.txt 完全限制；按服务条款口径统计，C4 中有 45% 的内容受到爬取限制。^[3] 限制在一年内明显增加。 限制还是不对称的。在「至少有一家 AI 组织被禁」的条件下，OpenAI 的 GPTBot 被禁的条件概率是 91.5%，Common Crawl 是 83.4%，而 Google、Meta、Cohere 的爬虫经常根本没被写进 robots.txt。^[3]

许可层的变化还会改变采购的时间尺度。一次性拿到一批文件，不等于获得了一条稳定的数据供给线。训练集、评测集和检索库面对的用途不同；同一来源如果只允许研究使用，不能自然延伸到商业服务、模型蒸馏或对外发布。权限记录不应只保存一张合同扫描件，还要能对应到具体数据版本、用途和撤回处理。否则，数据规模扩大之后，团队很难回答某个样本来自哪里、为什么可以使用，以及当权利条件变化时哪些模型和评测结果需要重跑。存量越大，去重、授权核验和版本管理越容易成为实际成本，真正能长期进入训练管线的有效量，往往由最难确认的那部分决定。

公开可抓取的数据，不等于取得合法授权。^[11][12]

3. 合成与生产：数据从采集变成制造

既然人类文本有上限，最自然的想法是让模型自己生产语料。但合成数据有明确边界。 Shumailov 等人发表在 Nature 的工作给出了「模型崩塌」的机制性描述：在递归生成的数据上训练，会导致分布的尾部先消失，后续世代的模型逐渐误判原始任务；论文特别指出，保留低概率事件的建模能力对预测的公平性至关重要，因为这些事件往往关系到边缘群体。^[13] 混合真实数据后，结果并非必然崩塌。Dohmatob 等人的统计分析给出了更可操作的结论：只用合成数据训练无法避免崩塌；而在真实数据与合成数据混合时，存在一个合成数据占比的上限，低于这个上限崩塌可以被避免。^[14]

合成数据适合在有验证器的任务中放大信号，不能替代真实数据。

当可采集的存量见顶、可验证的信号变得值钱，数据供给的形态就从采集变成了制造。 最典型的产物是强化学习环境。按 Scale AI 的公开定义，RL 环境是「模拟的真实应用集合」，用来训练和评测 agent 行为，镜像真实的计算机与 API 系统，产出可用于程序化评分与量表评分的日志和状态；每个环境都把模拟界面、专家整理的数据和评分器组合在一起，以产生可靠的学习信号。^[4] Mercor 的公开表述把流程拆成三步：先造一个能捕捉真实行为的数据丰富的世界，再实现 agent 需要的工具与应用，最后写严格的任务与验证器。^[5] 两者都是厂商自述，这里引用两家厂商只是为了说明这一层的形态，不采用任何厂商给出的效果数字。 这种变化也改变了成本结构。这一层的定价基础不再是每小时几美元的框选标注，而是有资质的专业人士写推理轨迹、设计评分量表、给模型输出打分的时间。公开报道给出的区间在每小时数十到数百美元，属于二手汇总口径，只能作为量级参考。^[15] 这些数字只用于说明量级；这一层的瓶颈是有资质的人的时间。人的时间不会因为你多买两个机柜就变多。 国内的路径不同。国家数据局于 2026 年 6 月印发《关于推进行业高质量数据集建设行动的实施方案》（国数科基〔2026〕25 号），围绕供给、流通、应用三个环节部署强基扩容、标注攻坚、提质增效、应用赋能、管理服务、价值释放六个专项行动，目标是到 2028 年底建成一批覆盖重点领域、经过应用验证的行业高质量数据集。^[16] 文件里对标注的定位写得很直接：数据标注是「将知识和经验注入到训练数据的过程」，并要求从「以人为主」转向「人机协同、专家深度参与」的多层次标注模式。^[16] 同一份文件还把文本、代码、图像、音频、视频、点云、时序、科学数据的多模态数据集，以及知识库、知识图谱、复杂任务规划与长程推理数据集、具身智能的真机交互数据集，都列进了建设范围。^[16] 配套的产业数字来自央视记者报道口径（二手）：7 个数据标注先行先试城市的标注规模超过 119PB，数据标注从业人员达 14 万人。^[10]

合成数据与专家数据也不是二选一。合成数据降低样本生成的边际成本，但把质量控制责任转移给验证器：数学答案要能重新计算，代码要能运行并通过测试，工具调用要能在环境里完成；开放式写作和主观判断则很难用同样的方式判定。生产层真正需要衡量的不是「生成了多少条」，而是任务定义、样本生成、自动验证、人工复核和失败样本回流能否形成稳定闭环。闭环清楚时，合成数据可以放大已有信号；闭环模糊时，新增样本更可能只是重复模型已有偏好。对小团队来说，一批规模较小但权限清晰、任务定义稳定、失败样本可以回流的数据，往往比一批来源和用途说不清的大语料更适合持续迭代。

生产层的单位也需要换。框选了多少张图片、生成了多少条对话，不能直接说明训练信号增加了多少；更有用的记录是一个任务从定义到验证通过需要多少人工时间，失败样本能否回到下一轮，验证器覆盖了哪些边界条件。如果任务没有明确的输入、输出和通过条件，专家时间会被消耗在解释规则上；如果验证器只覆盖常见路径，模型会在边缘案例上得到虚假的高分。对这类数据，质量不是单个样本的属性，而是任务、环境、评分器和复核流程共同形成的结果。

4. 搬运与存储：数据供应链开始约束训练

前三层关心数据是否存在，这一层关心数据能否按时到位。这一层最工程化，也最容易在架构图中被忽略。 NVIDIA 的 DGX SuperPOD（GB200）存储架构文档给出了官方口径：在自动驾驶等使用高分辨率图像、数据集轻易超过 30TB 的场景下，需要每 GPU 4 GBps 的读性能；NLP 与 LLM 训练对读性能的要求通常没那么高，但创建和读取检查点文件需要峰值读写性能，而且这是一项同步操作，训练在这一阶段会停止；文档建议把写性能按读性能的一半以上来配置，并直白地写道：如果追求端到端训练性能，不要忽略检查点的 I/O。^[6] 关键限定是：检查点是同步操作，训练会在此期间停止。它不是后台任务，会直接占用训练时间。 2025 年 8 月，MLPerf Storage v2.0 首次把检查点作为标准化工作负载纳入基准。MLCommons 的表述是：训练社区已有数学模型可以在「定期检查点的开销」与「故障恢复的频率和代价」之间做权衡优化，但这些模型需要关于存储系统规模与性能的准确数据；这轮结果表明，采购 AI 训练系统的人需要认真评估所购存储系统的性能，以确保存取集群检查点不会把系统拖慢到不可接受的程度。^[17] 这份基准有一处限定。有独立技术评述指出，它并未覆盖异步检查点，而生产环境中的 Megatron-LM、DeepSpeed 等框架普遍使用异步刷写，因此基准结果不宜直接当作生产表现。^[18] 这份二手评述的限定是：基准衡量的是同步路径的下限，不是工程优化后的上限。 厂商侧的实测口径给出了另一半图景。VAST Data 统计了 18 个集群上 40 次 1,024 卡以上的生产训练、超过 85,000 个检查点，模型规模从 450 亿到 1 万亿以上参数，结论是：每 GPU 的检查点带宽需求随模型变大而下降。更大的模型使用更多数据并行，每张卡分到的检查点分片更小。全局检查点带宽需求通常远低于 1 TB/s，即使对万亿参数模型也是如此。^[7] 这是厂商自述，且厂商本身在卖存储，判断方向应打折看。 两者并不矛盾：瓶颈不在总带宽，而在同步窗口。 上一篇网络那一层也是这个结构，值钱的是可预测性，以及有多少开销能被藏进计算里。还有一条更直接的联动：存储流量与计算流量常常共用上行链路，写检查点的那段时间会同时抬高该轮的通信时间，《算力堆到一起之后，瓶颈变成了网络》里已经点过这一层。 数据加载侧同样有系统性的失效模式，学术界称之为 data stall：GPU 因为等待下一批数据而空转。这个现象有专门的研究文献，但这里不采用任何未经公开测试条件支持的百分比。常被转来转去的「训练时间有 70% 花在 I/O 上」来自存储厂商的营销材料，测试条件、模型、数据格式和基线都不公开，无法外推。在加 GPU 之前先测量：每一步有多少时间花在等数据上。

2026 年，硬盘供应出现了与 2023 年 GPU 相似的紧张局面。 西部数据在 2026 年 2 月的季度财报电话会上表示，其 2026 日历年的 HDD 产能已基本售罄，前七大客户的确认订单覆盖了全部产出；同期的收入结构是云业务约 89%、消费业务约 5%。^[19] 这是管理层表述经媒体转述，属二手来源，具体数字应以公司财报原文为准。 交期侧的报道口径是：大容量近线 HDD 的交付周期已达 52 周以上，部分报道给出接近两年的量级。^[15] 同样为媒体报道。 NAND 这一侧的结构性紧张则来自 TrendForce 的行业调研：2026 年 NAND Flash 整体供不应求，价格持续上行；2026 年第一季度全球前五大 NAND 供应商合计营收环比增长 83.7%，超过 389 亿美元，原因之一正是传统 HDD 的结构性短缺把大量存储订单挤向 QLC 企业级 SSD。^[20]

从预算角度看，数据项目的成本也不应只按采购价相加。存量层的成本包括筛选、去重和清洗；许可层还要承担合同、记录和变更处理；生产层主要消耗专家与工程时间；搬运层则把等待和故障恢复变成训练开销。四类成本对应不同的负责人和验收方式：采购可以确认容量与交期，法务或数据治理确认使用范围，研究团队确认任务和验证器，基础设施团队确认吞吐、检查点和恢复时间。把它们放进一张总预算会得到一个数字，却看不出哪个环节正在恶化；拆开之后，项目才知道下一笔钱应该买数据、买时间、买权限，还是买更稳定的存储路径。对小团队尤其如此，预算有限时更需要先买到能持续使用的信号，再扩大样本数量。如果预算只写“增加存储”，就无法判断是扩大容量、提高并行读取、缩短交期，还是降低恢复损失；这些选项的工程影响不同，验收指标也不同。

搬运层和物理层把时间引入了数据成本。数据不能按时到达，训练就会停在等待；容量不能提前锁定，项目排期就会受到供应链影响。两者都不应只用「买多少 TB」衡量。更有用的指标是每一步等待多久、检查点是否占用同步窗口、扩容需要提前多久、数据是否与计算共享链路。它们把数据从静态资产变成运行时约束：同一批数据放在本地、近线或远端，可能对应不同的训练吞吐、恢复时间和交付风险。

搬运和存力的共同点，是它们把系统的波动传到训练结果里。检查点策略影响恢复窗口，数据加载策略影响每一步的等待时间，合同周期影响扩容能否按计划完成。团队可以把三类时间分开记录：一次训练步骤中等待数据的时间、一次检查点写入占用的时间、从提出容量需求到拿到设备的时间。这样，I/O 问题就不再是“存储不够快”的抽象抱怨，而能落到可比较的工程指标上，也能帮助团队判断该优化缓存、改异步写入、调整数据分片，还是提前签订容量。

5. 这件事怎么落到项目上

• 你说的「数据不够」是哪一层？ 存量、许可、生产还是搬运。四层的解法互不通用。
• 你的语料里有多少比例的许可状态是明确的？ 公开可抓取不等于可合法使用，这两个集合正在快速分叉。^[3][11]
• 你的合成数据有验证器吗？ 没有验证器的合成只是把模型的偏好喂回给自己。^[13][14]
• 你的独有数据能不能变成可验证的任务？ 这是小团队在生产层唯一有优势的位置。^[4][5]
• 检查点占了每轮多少时间？是同步还是异步？ 官方文档明确写了同步检查点期间训练会停止。^[6][17]
• 数据加载会不会让 GPU 等？测过没有？ 在加卡之前先测每一步的等待时间，不要引用来源不明的比例。
• 未来 18 个月的存储容量是按需采购还是已锁合同？ 2026 年的供给结构已经是合同优先。^[19][20]

这份清单的作用不是把所有项目都塞进同一个数据预算，而是找出最先限制进度的那一层。存量和许可决定哪些材料能进入管线，生产决定新信号能以多快的速度出现，搬运决定这些信号能否赶上计算，物理供应链决定下一轮扩容有没有位置。前一个问题没有回答清楚时，后一个数字即使很精确，也可能只是把错误的瓶颈量得更精确。

数据是四种约束，不是一种资源。 存量、许可、生产、搬运各有各的失败方式，把它们压成「数据不够」这一个说法，几乎必然导致解法错配。 许可层的天花板比存量层先到。 公开人类文本的存量按中位估计到 2028 年才追平需求，而 C4 中最关键来源的 robots.txt 限制比例已经超过 28%、服务条款口径下达到 45%。^[8][3] 合成数据只在有验证器的地方成立。 纯合成会导致分布尾部消失，混合训练存在一个可用的合成占比上限。这决定了钱会从买语料流向买可验证的任务。^[13][14] 存力开始需要像电力一样被提前安排。 当 HDD 产能按日历年售罄、近线交期以年计，容量规划就从采购问题变成了排期问题。^[19][20] 需要补充时点限定：本文引用的政策文件、论文与产业口径分别对应 2024 至 2026 年的公开材料，访问日期为 2026 年 8 月 20 日。价格、交期与数据集规模都属易变信息，具体数字不宜当作长期结论引用。结构性判断是：算力可以按预算采购，数据要同时受制度、人力和供应链条件约束。