知识块 #FC2L51
完整的云端 AI 涉及到的四类互联网络
Robin  |  2024-07-31

AI 算力更多集中在云端是目前的主流情况。而一套完整的云端 AI 涉及到哪些用于互联的网络呢?

Marvell 在下图做了一个归纳,其认为一共包括四类网络:

(1) Compute fabric(计算架构):连接服务器内的 AI 加速器、GPU、CPU 和其他组件。该架构设计用于在短距离内高速运行,通常依赖于使用 PCIe 或 NVLink 等专有接口的铜线

(2) Backend network(后端网络):使用多层互连的网络交换机和光模块将上述服务器连接成 AI 集群。网络协议包括 InfiniBand 或以太网。

(3) Frontend network(前端网络):将 AI 集群连接到云数据中心,用于存储、交换等。AI 服务器内部的 CPU 负责传输数据,每个 CPU 都有自己的网卡,连接光模块。前端网络使用以太网协议。

(4) Data Center Interconnect (DCI,数据中心互联) :使用 100 公里或更长的链路将一个数据中心与其他区域内的数据中心连接起来。

数据来源 Marvell
分享链接 http://robin5G.com/FC2L51
延伸阅读
以太网 LightCounting

大型 AI 计算集群的互联需要大量使用光模块。 附图来自 LightCounting 的研究,其预测了 2021 - 2029 年 AI 集群的以太网光模块出货量。

光模块 的销量侧面也可反应 AI 计算量的增长。

GPU Del Complex

为了规避 AI 算力的法律限制,尤其是美国和欧盟 AI 法案的限制,Del Complex 公司发布了一个 “公海” AI 算力集群。

该方案提供了一个可在国际海域自由移动的数据中心,可配备 1 万块 Nvidia H100 GPU。

快递 惠誉

各种无人智能设备中,智能快递柜可能是最具实用价值的 IoT 应用之一。

中国智能快递柜从 15,000 个(2014年)迅速增长到 272,000 个 (2018)。预计 2020 将达到 48 万个。

智能快递柜 2018 年占据快递总量的 8.6%。