GPU 买了那么多，跑起来却像「堵车」？

剪辑｜郑玄

最近两年，AI 行业最热的词一直绕不开「算力」。

从大模子考试，到本年 Agent 的火热，再到各家云厂商束缚扩建智算中心，行业研究最多的，确实都是 GPU、芯片和算力边界。好像只消卡够多，AI 就能不时往前跑。

但实践并不是。

不少作念大模子考试和推理的东说念主，也曾越来越彰着地感受到另一层问题：机器越来越贵，GPU 越来越强，但模子考试和推理的效果，却莫得同步提高。

问题不一定出在算力自己，而可能出在另一件长期被薄情的事情上——网力。

平头哥产物总监李旭慧打了个比喻：「淌若把算力比作 AI 时间的石油，网力便是输油管说念。算力提供能源，网力保险效果。」

4 月 28 日，在数字中国诱骗峰会上，平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡，最大救助 400Gbps 隐约带宽，可应用于万卡智算集群、通算集群和高性能存储等场景，现时也曾量产，并将率先部署在阿里云数据中心。

磐脉 920 想要惩办的便是「网力」问题。

今天的大模子考试，一个考试任务，每每需要几千以致上万张 GPU 同期联结。单张 GPU 性能再强，也必须跟扫数集群保抓同步。

问题在于，只消其中一部分节点慢下来，其他节点就只可恭候。他不雅察到，现时行业里许多万卡级智算集群，GPU 实质愚弄率较低，「能作念到 60%，也曾算行业顶尖水平。」

夙昔行业更容易良善「有些许卡」，但实质在 AI 考试场景中，系统运行效果并不是由最强的硬件决定，而是受限于集群里最慢的阿谁节点。「特等节点的算力会抓续闲置恭候，形成大边界算力浪费。」

磐脉 920 的发布实质上也指明了一个标的：当 GPU 也曾填塞强之后，下一步到底该补那边。

一张网卡，周转扫数智算集群

当 AI 智能体驱动进入信得过业务场景，推理业务的占比越来越高。

「在 Agent 应用爆发的布景下，推理业务的增长速率显赫快于考试。」李旭慧暗示。

大模子考试强调强同步，而推理面临的是无数突发、小包、高频央求，对低时延和闲散性的要求更高，这也意味着对「网力」的要求更高。

而概述一下磐脉 920 在作念的事，便是尽量减少整系统里的「堵」和「等」，通过网力的提高来开释 AI 算力。

其背后的竣事旨趣，有三个关节。

领先是救助多旅途 RDMA，冲破单一王人径的局限。

泛泛流露，便是正本只可走一条高速，当今变成多条路同期分流。更关节的是，这些数据天然分开走，但最终还能按限定准确拼纪念。

李旭慧表现，磐脉 920 通过救助逐包喷洒、乱序接受和聘请性重传，竣事 RDMA 多旅途。

从终结来看，这套决策带来的改善相比平直。

按照官方实测，磐脉 920 救助单 QP 打满 400G 带宽，而同类主流产物带宽好像惟一其一半。同期，多旅途智商不错把交换机端口缓冲区水线虚拟 90%，减少丢包和重传。

第二个关节贪图，是把「绕路」变成「直连」。

磐脉 920 最大的亮点之一，是内置 PCIe Switch。这亦然国内首个作念到这小数的 400G 智能网卡。

传统处事器架构里，博亚boya(中国)PCIe Switch 泛泛部署在主板上，数据需要绕多个节点转发。终结便是，有的旅途长，有的旅途短，时延不一致。

关于需要高度同步的 AI 考试任务来说，这种「不整王人」会平直影响效果。

李旭慧打了个比喻：传统架构里，每每会出现「四个下行通说念挤一个上行通说念」的情况。

这很像四条岔路同期汇入一条骨干说念，堵塞确实不成幸免。

磐脉 920 把 PCIe Switch 平直集成进芯片里面，让网卡与 CPU、GPU 形成更平直的结合关连。

少绕路，意味着更低时延；旅途更长入，则意味着更闲散的同步效果。

把柄平头哥实测，在相通集群边界和任务条款下，部署磐脉 920 后，大模子考试和推理任务完成时刻可镌汰 14%。

第三个关节，是让聚积具备我方判断的智商。

传统网卡更多像搬运工。收到数据，搬夙昔，仅此良友。

据了解，磐脉 920 加入了细粒度聚积感知和可编程拥塞贬抑智商。直白讲，便是它能主动避堵。让聚积驱动从被迫传输，变成主动弯曲。

关于越来越复杂的 AI 集群来说，这种智商的迫切性会越来越彰着。

从这些贪图能看出来，磐脉 920 并不是在追求参数上的浅薄提高，它作念的事情很求实，让也曾很贵的算力，少浪费小数，从而激励最大的潜能。

为何是阿里在界说 AI 基础次第？

除了性能自己，磐脉 920 背后更值得良善的，是平头哥和阿里的举座布局。

夙昔几年，许多公司作念芯片，每每集聚在单一体式，比如 GPU、AI 加快卡或者 CPU。

但平头哥的念念路是作念全栈。

现时，平头哥也曾形成四条产物线：真武系列 AI 芯片、倚天处事器 CPU、镇岳存储主控芯片，以及此次发布的磐脉系列智能网卡。

对应的，恰巧是数据中心里的几个关节体式：算力、存力和网力。

李旭慧在采访中暗示：「单一芯片产物无法惩办全链路问题，惟一买通算力、存力、网力，才调最大化开释 AI 硬件性能。」

这亦然平头哥和许多单点芯片公司的分离。它不是只作念一块性能更强的芯片，而是试图从扫数系统角度去看问题。

许多芯片公司作念产物，先作念出来，再去找客户和落地场景。

但平头哥不是。

李旭慧告诉极客公园，磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断，改日 AI 一定会股东数据中心聚积智商升级。

「一线业务场景的实质需求，是芯片技能迭代与产物优化的中枢驱能源。」先有阿里云的大边界业务场景，再从实质场景需求里倒推产物界说。

这便是磐脉 920 的营业旅途。据走漏，和平头哥倚天、真武、镇岳系列芯片雷同，它会先部署在阿里云数据中心。

从这个角度看，磐脉 920 的发布，自己便是阿里「通云哥」协同智商的一次体现。

通义肃穆模子，阿里云肃穆场景，平头哥肃穆底层硬件。模子需求股东云基础次第升级，云场景又反向股东芯片演进。

这种全栈自研的闭环，在国内科技公司里并未几见。「通云哥」的形式天然前期插足大、周期长，但一朝走通，护城河也极深。

AI 竞争走到今天，比拼的也曾不是单点智商，而是这一整套系统能否顺畅运转。

跟着 AI 越来越多从考试走向推理，模子、云与芯片之间形成的抓续反应轮回，举座上风的显现可能才刚刚驱动。

* 头图源头：平头哥

极客一问

你怎样看待「磐脉 920」？博亚boya(中国)