- 上云资讯 -

2025-01-17 12:14:18 109人关注

OpenDiLoCo：分布式AI训练的开源解决方案，低通信成本，全球覆盖！

在这个AI大爆炸的时代，大型语言模型（LLMs）已经成为推动机器学习应用的超级引擎。但是，训练这些庞然大物需要巨大的计算资源。想象一下，如果我们能在世界各地分散的设备上，高效地训练这些模型，那将会怎样?这就是OpenDiLoCo带给我们的惊喜。

2024-12-24 04:36:14 44人关注

今天，NVIDIA（英伟达）宣布，与 xAI 合作打造的 Colossus 超级计算机集群正式上线，这可是全球最强AI训练集群Colossus，整整由10万颗 NVIDIA Hopper GPU 组成。