- 上云资讯 -
2025-01-18 02:28:26 49人关注
谷歌提出百万专家Mixture 释放进一步扩展 Transformer 的潜力
Google DeepMind提出的百万专家Mixture模型，一个在Transformer架构上迈出了革命性步伐的研究。
Google Mixture Experts Transformer 模型 MoE 技术 大模型架构 AI 模型优化 Google AI 技术突破
2025-01-15 03:14:40 71人关注
智源研究院开源全球首个万亿单体稠密模型Tele-FLM-1T
北京智源人工智能研究院和中国电信人工智能研究院（TeleAI）联合研发的Tele-FLM系列大模型最近进行了升级，发布了52B指令模型FLM-2-52B-Instruct和全球首个万亿单体稠密模型Tele-FLM-1T，并将相关技术报告和模型的checkpoint开源。