- 上云资讯 -
2025-05-22 14:18:20 25人关注
DeepSeek开源周第二日：首个面向MoE模型的开源EP通信库
Deepseek 公布了开源周第二天的产品，首个面向MoE模型的开源EP通信库，支持实现了混合专家模型训练推理的全栈优化。
2025-03-27 16:27:43 69人关注
腾讯发布Hunyuan-TurboS：首款超大型混合Transformer-Mamba MoE模型震撼登场
今日，腾讯在X平台上正式宣布推出其最新AI模型Hunyuan-TurboS，这款被誉为“首款超大型Hybrid-Transformer-Mamba MoE模型”的产品迅速引发全球科技圈的热议。根据X用户披露的信息，Hunyuan-TurboS通过融合Mamba的高效长序列处理能力和Transformer的强大上下文理解能力，成功克服了传统纯Transformer模型在长文本训练和推理上的瓶颈，展现出令人瞩目的性能突破。
腾讯混元 TurboS Transformer Mamba MoE 大模型技术 AI模型架构 Transformer优化
2025-01-04 18:42:31 57人关注
AI2 推出全新开源模型 OLMoE：高效、强大且不再昂贵！
最近，艾伦人工智能研究所（AI2）发布了一款全新的开源模型 OLMoE，旨在满足对大型语言模型(LLM)的需求。这个模型不仅性能优异，而且成本相对低廉。
2025-01-03 21:13:40 76人关注
元象发布MoE开源大模型XVERSE-MoE-A36B 激活参数达36B
深圳元象信息科技有限公司近日宣布，公司已成功发布中国最大的Mixture of Experts（MoE）开源大模型——XVERSE-MoE-A36B。这款模型的发布标志着中国在AI领域的一大进步，将国产开源技术提升至国际领先水平。