算力堆到一起之后，瓶颈变成了网络

1. 一个集群由三层网络组成

「AI 网络」至少包含三层，三层的带宽、距离和故障方式都不同。

• Scale-up（纵向扩展）：连接机柜内或少数机柜间的加速器，典型技术包括 NVLink、UALink 和 Infinity Fabric；NVLink 5 的量级参考是每 GPU 1.8 TB/s。^[1]
• Scale-out（横向扩展）：连接机柜与机柜、节点与节点，典型技术包括 InfiniBand、以太网和 Ultra Ethernet；ConnectX-8 的量级参考是每网卡 800 Gb/s。^[2][3]
• Scale-across（跨站扩展）：连接园区之间或城市之间的数据中心，依赖 DCI 和长距光传输，距离通常以数十至数百公里计。^[3][4]

NVIDIA 将 NVLink 描述为机柜内具备内存语义的 scale-up 结构，让 72 颗 GPU 作为一个计算域工作；InfiniBand 负责机柜之间的 scale-out，以太网负责存储、管理与外部连接。^[1]到 Vera Rubin 一代，官方给出的 NVLink 6 指标是每 GPU 3.6 TB/s、整机柜 260 TB/s，scale-up 层的带宽继续提高。^[5]

机柜内部的带宽每代翻倍，跨机柜的网卡速率以 400G→800G→1.6T 的节奏推进，跨站则受光纤和距离约束。落差越大，任务切分的位置就越决定实际利用率。

三层的故障方式也不同。具体表现取决于实现和负载：scale-up 链路降级可能影响整个计算域，scale-out 的拥塞或网卡降速可能拖慢同步迭代，scale-across 的抖动与中断则可能影响检查点写入。排障时需要先确认问题发生在哪一层，不能把这些现象都归入一个笼统的「网络故障」。 scale-up 这一层在 2025 年还多了一个标准化的对手。UALink 联盟于 2025 年 4 月 8 日批准 UALink 200G 1.0 规范：每 lane 200G 信号速率，四条 lane 组成一个 Station、单向最高 800 Gbps，单个 pod 内最多连接 1,024 个加速器，协议层采用内存语义的 load/store 结构，物理层复用以太网 PHY。^[6] 联盟在 IEEE 公开材料里给出的分工建议更直白：1–2 个机柜用 UALink，3–4 个机柜可用 UALink 或 UEC，超过 4 个机柜交给以太网 scale-out。^[7] 这条参考分界表明，scale-up 有适用半径。把加速器塞进同一个内存语义域，好处是通信几乎不需要软件参与，代价是这个域不可能无限扩张。当模型规模和批量继续变大，超出半径的部分通常需要转由 scale-out 承担，于是「切在哪一刀」就成了工程上最贵的一次选择。

2. 并行策略决定集群承受的网络压力

同样规模的模型，用不同的并行策略训练，对网络的要求完全不同。这一点解释了为什么「同样的集群，别人跑得更满」。

• 数据并行 / FSDP：产生大块、带宽敏感的消息（梯度同步），适合环状与分层算法。^[8]
• 张量并行、流水并行：产生小块、时延敏感的消息，怕的是抖动而不是带宽不足。^[8]
• 专家并行（MoE）：产生 all-to-all 流量，直接压在网络的对分带宽（bisection bandwidth）上。^[8]

采购失配往往来自通信模式与网络特性不匹配：为 MoE 推理配了对分带宽不足的胖树，为张量并行配了带宽够但抖动大的公共链路，或者为数据并行付了远超需要的低时延溢价。 MoE 在推理侧把这件事推得更极端。NVIDIA 在解释 NVL72 上的宽专家并行时给出的口径是：MoE 推理需要把大量专家分布到多颗 GPU 上并配合大批量，因此需要一个把所有参与 GPU 放进同一个低时延域的 scale-up 结构，否则通信直接成为瓶颈。^[9] 成本上，网络在集群里的占比通常被引用为约 20%。这个数字来自 NVIDIA 的公开表述并被业界演讲反复转述，属于二手口径；不同集群配置差异很大，因此只能作为量级参考，不能当作精确值。^[10] 除了并行策略，还有两类流量经常被漏算。 第一类是检查点与数据加载。训练过程中周期性写出的模型状态会在很短时间内产生大块顺序写，占用的通常是同一批服务器上的存储侧带宽；如果存储网络与计算网络共用上行链路，而且检查点写入无法与训练重叠，这段写入可能抬高当轮通信时间。这类开销不会出现在网卡峰值规格里，却可能出现在实际迭代耗时中。 第二类是在网计算。NVIDIA 在 Quantum-X800 平台上给出的口径是，交换机内置 SHARP 在网归约，可以在网络内部完成数据归约，而不必把所有数据搬到端点再算，从而降低分布式训练的集合通信耗时与 CPU 开销。^[11] 在网归约把一部分「带宽不够」转化成「少搬一次数据」：它通过架构减少数据搬运，缓解带宽压力。 把检查点、数据加载和在网计算都算进去后，真正需要测量的是有多少通信能够与计算重叠；网卡峰值只能作为参考。同步训练的一轮时间约等于计算时间加上没能被重叠掉的通信时间，优化的全部空间都在后半段。如果瓶颈在无法重叠的同步等待，单独更换更快的网卡，训练速度也可能变化有限。

3. UEC 1.0 将以太网竞争焦点移向可预测性能

scale-out 网络的竞争焦点正在变化。2025 年 6 月 11 日，Ultra Ethernet Consortium 发布了 UEC 1.0 规范，一份 562 页的完整通信栈，核心是新的 Ultra Ethernet Transport（UET）——端点级的多路径包喷洒、乱序交付与网卡侧重组、选择性重传、发送端与接收端双向拥塞控制。^[12] 这些机制针对单路径转发和拥塞控制在大流量场景下可能造成的尾时延波动。对同步训练来说，尾时延就是全局节奏——最慢的那条链路决定整轮迭代的时间。 UEC 对目标的表述不只强调速度，还强调「可预测的性能」。^[12] 同步训练的成本结构解释了这个目标：GPU 空转的成本极高，稳定的迭代时间比峰值带宽更值钱。 规模侧也有公开证据。Meta 公开了面向 10 万卡以上集群的 NCCLX 通信框架，并在 Llama4 上给出通信效率的改进结果；这是目前少数由超大规模自建方直接披露的、针对十万卡量级集合通信的工程文献。^[13] 作为对照，InfiniBand 这一侧的当代规格是 Quantum-X800：官方材料给出每端口 800 Gb/s，Q3400 提供 144 个 800 Gb/s 无阻塞端口、115.2 Tb/s 交换吞吐，并内置 SHARP v4 在网计算、自适应路由与基于遥测的拥塞控制。^[11] 两份能力清单都出现了多路径、拥塞控制和在网归约，说明两条路线正在部分机制上收敛。机制趋同后，实际选型还取决于生态、采购结构和运维能力，不能只比较某一项功能。^[10]

4. 光交换让拓扑成为可调度变量

固定拓扑不是唯一选择。Google 的 Jupiter 用光交换（OCS）替换传统 spine 层，再由 SDN 控制面按需重分配聚合块之间的连接。官方测得流完成时间降低 10%、吞吐提升 30%、功耗降低 40%、成本降低 30%，停机时间为此前最佳方案的 1/50。^[14]

对采用类似 OCS 与 SDN 的自建体系，这种拓扑工程可以让不同代次的加速器按各自速率接入，缩小单点故障影响，并按可预测的通信图分配带宽。它可能减少为最坏情况预留的容量，但不等于所有 AI 集群都能获得同样收益。

这条路径依赖光器件、控制面和调度能力，对多数云上用户不可直接复制。更现实的做法，是让任务切分和调度亲和性适配现有拓扑。

5. 跨数据中心训练受距离与重叠度约束

当单座数据中心的电力和土地触顶——这正是本系列上一篇的主题——扩张只能向外走。于是「两个园区能不能当一台机器用」从设想变成了工程题。 一个明确的公开案例来自 Google：Gemini 1.5 Pro 的技术报告写明，模型在多个 4096 芯片的 TPUv4 pod 上训练，且这些 pod 分布在多个数据中心。^[15] 这份报告只能证明 Google 已实现过跨数据中心训练，不能代表它已经成为行业常态。 NVIDIA 的工具链给出了另一类证据：NVIDIA 在 NeMo Framework 25.02 与 Megatron-Core 0.11.0 中引入了面向长距数据中心网络的一组机制：自适应资源编排、分层 AllReduce、分布式优化器结构，以及分块的跨数据中心通信。^[16] 这些方法都在减少跨站链路上的通信量，并尽量把剩余通信藏进计算过程。 现场试验进一步给出了可量化结果：一项现场试验在相距 120 公里的两个数据中心之间，用 800 Gbit/s 的 C+L 波段 WDM 光传输网承载 1024 张 GPU、1750 亿参数模型的训练，报告的训练效率上限为流水并行 99.41%、数据并行 98.95%。^[4] 这项试验把「跨站训练损失多少」变成了可以测量的工程指标，具体百分比反而不是重点。 仿真研究则尝试估算距离边界。2026 年 5 月的一项离散事件仿真研究给出的结论是：在数据并行下，两个 AI 集群之间的最优距离区间是 10 到 100 公里；在这个区间上，空芯光纤（hollow-core fiber）可以带来约 25% 更高的计算—通信重叠度。^[17] 这只是仿真结果，并非实测，而且作者来自光纤产业方，因此只能作为方向性参考。 空芯光纤本身也在往长距走。微软的研究团队报告了在约 360 公里循环回路上、最长 11,154 公里的实时长距空芯光纤传输实验，1,439.2 公里时达到 25.6 Tb/s，并指出空芯光纤相比常规单模光纤可降低超过 30% 的时延。^[18]

跨站训练不会消除距离，只会重新定价距离。在这项仿真的负载和参数下，10–100 公里对应同城多园区的距离尺度，不能直接外推到跨大区部署。评估更远距离时，需要先明确同步还是异步、切在哪一层并行，以及跨站链路传输的是梯度还是激活。

6. 光模块、封装与供应链决定带宽上限

这些架构选择最终都受光纤和光模块约束。2026 年，相关器件开始进入新一轮速率切换。 2026 年 3 月 11 日，Broadcom 发布 Taurus BCM83640——业界首个 400G/lane 光 DSP，3nm 单片 PAM-4 方案，用于 1.6T 可插拔模块，可在 1RU 系统内实现 102.4T 交换容量，并为后续 3.2T 模块与 204.8T 交换机铺路。^[19] 同一份公告里，LightCounting 的预测是：未来五年 1.6T 与 3.2T 光模块出货量将超过 1 亿只，其中接近一半使用 400G 光器件。^[19] 每一代速率翻倍都带来同一个矛盾：模块功耗和面板密度。可插拔光模块的优势是标准化、可维护、可互换；共封装光学（CPO）的优势是把光引擎移到交换芯片旁边，省掉一段电通道从而省电。NVIDIA 早在 2025 年 3 月就发布了面向 InfiniBand 与以太网的硅光交换平台，把 CPO 推进到产品线；^[20] 而跨站方向上，Spectrum-XGS 在 2025 年 8 月被明确定位为「scale-across」技术，用于连接位于不同建筑、甚至相距数百公里的数据中心。^[3] 可靠性不会出现在峰值规格里，却会持续出现在运维报表中。当单端速率提高、面板密度增加时，模块功耗与热密度可能成为约束，光链路异常也可能先表现为劣化而非中断：误码率上升和重传增加时，训练速度会下降，却未必立即报错。规格页只会告诉你峰值速率，不会告诉你在什么温度、什么运维水平下能长期跑在峰值附近。在故障率较高或需要频繁更换的环境中，采购模型还需要单独计入光模块备件与维护成本。 中国公开材料更多从制造能力和产业政策讨论这条供应链。地方工信部门转载的行业报道提到，2026 年 6 月，工业和信息化部印发《「人工智能+信息通信」创新发展实施意见》，明确提出加强高端光电芯片、CPO、全光交换等核心技术研发；同期的行业报道口径是 800G 光模块降价放量、1.6T 进入试产与小批量部署。^[21] 这条线索来自地方工信部门转载的行业报道，属于二手来源，具体出货数字应以厂商财报和 LightCounting 原报告为准。

7. 七个变量构成网络设计的检查框架

检验一套集群网络设计，可以从七个变量开始。

• 网络层级：先区分机柜内、机柜间还是跨站。同一个“800G”在不同层级上的含义完全不同。
• 并行指标：数据并行主要看带宽，张量与流水并行看时延和抖动，MoE 还要看对分带宽。^[8]
• 通信重叠度：训练效率取决于计算与通信能够重叠多少，而不是任一方的峰值。^[4][17]
• 跨站距离：10–100 公里只是特定仿真负载下的方向性区间，跨大区不能直接套用；是否采用异步方法取决于并行策略和服务目标。^[17]
• 可预测性：UEC 1.0 依靠 UET 的多路径与拥塞控制改善尾时延，InfiniBand 则依靠无损传输和确定性时延。^[12]
• Scale-up 半径：标准材料把四个机柜作为参考分界，超出后通常需要由 scale-out 承担。^[7]
• 拓扑可调度性：自建体系可以做拓扑工程；多数云上用户未必能改动底层拓扑，通常需要适配可用拓扑。^[14]

结论

采购和调度时，先确认工作负载跨过了哪一层网络，再测量不能与计算重叠的通信时间。单纯增加 GPU 数量或提高网卡峰值，并不能保证利用率；任务切分、尾时延和故障域同样决定有效算力。跨站部署则需要把距离、并行方式和通信类型放在同一张测试表里；公开证据只证明了特定负载、距离和光纤条件下的可行性，10–100 公里不能当作通用边界。^[4][17]产品速率会继续迭代，但约束不会随着规格表自动消失：算力可以按预算采购，带宽必须按物理条件安排。