导航
[导读]:谷歌推出大模型PaLM2,800G产业趋势已在路上。谷歌的PaLM模型在训练时被拆分到了两个拥有4000块TPU芯片的超级计算机上,用时50天。风险提示:疫情不利影响、“东数西算”和5G落地进程不及预期、云计算发展或不及预期、流量类业务及产业互联网应用发展不及预期。
谷歌推出大模型PaLM2,800G产业趋势已在路上。谷歌的 PaLM 模型在训练时被拆分到了两个拥有 4000 块 TPU 芯片的超级计算机上,用时 50 天。谷歌当前已经部署了数十台 TPU v4 超级计算机,供内外部通过谷歌云使用。而谷歌在论文中暗示了或有下一代基于4nm制程的TPU v5,互联带宽有望进一步提升。随着更高速互联的H100与或即将面试的TPU V5,都有望大幅推动高速光互联800G DR8/SR8的需求。
云服务商正组建GPU大军,以提供更多AI资源服务。Google在I/O大会上还宣布一款基于H100 GPU的AI超级计算机A3。且谷歌还将努力构建多个类似的集群。面向希望训练大型语言模型的客户。此外,微软还宣布了配备更多 ... 网页链接