Marvell 认为,如果以 2023 年为分水岭,AI 算力集群的互联网带宽在之前年份大约每隔 4 年会翻倍;而之后年份会提升到每隔 2 年翻倍。
带宽速度是一方面,互联的连接数量也会急剧增加。ChatGPT 在 GPT-3 模型训练时,大约使用了 1,000 个加速器的集群,这需要大约 2,000 个光纤互联连接;而 GPT-4 模型的训练则需要使用 2.5 个加速器的 GPU 集群,这需要大约 7.5 万个光纤互联连接。
光纤互联的连接增长速度将比 XPU/GPU 要块,比例达到 5:1,甚至 10:1。