- 上云资讯 -
2025-01-04 08:14:13 52人关注
Nous Research推出优化器DisTrO,普通网络条件也可以训练AI模型了
最近,Nous Research 的研究团队给科技圈带来了一个令人振奋的消息,他们推出了一种名为 DisTrO(分布式互联网训练)的新优化器。这项技术的诞生,意味着强大的 AI 模型不仅仅是大公司的专利,普通人也有机会在家里用自己的电脑进行高效训练。
2024-12-13 13:36:12 43人关注
无须超级集群!Nous Research 启动全球分布式 AI 训练,颠覆大模型开发方式
在快速发展的生成式 AI 领域,Nous Research 团队正在进行一项独特的实验:他们正在利用分布在全球的机器,预训练一款15亿参数的大型语言模型(LLM),这一过程避免了传统上需要在昂贵且耗电的数据中心或超级集群中进行的集中式开发。