- 上云资讯 -
2025-03-27 16:27:43 123人关注
腾讯发布Hunyuan-TurboS：首款超大型混合Transformer-Mamba MoE模型震撼登场
今日，腾讯在X平台上正式宣布推出其最新AI模型Hunyuan-TurboS，这款被誉为“首款超大型Hybrid-Transformer-Mamba MoE模型”的产品迅速引发全球科技圈的热议。根据X用户披露的信息，Hunyuan-TurboS通过融合Mamba的高效长序列处理能力和Transformer的强大上下文理解能力，成功克服了传统纯Transformer模型在长文本训练和推理上的瓶颈，展现出令人瞩目的性能突破。
腾讯混元 TurboS Transformer Mamba MoE 大模型技术 AI模型架构 Transformer优化
2024-12-13 10:27:15 85人关注
Liquid AI 推出 STAR 模型架构，效率超越传统 Transformer
在当前大型语言模型（LLM）开发的竞争中，各大人工智能公司面临着越来越多的挑战，因此，越来越多的目光开始转向 “Transformer” 以外的替代架构。Transformer 架构自2017年由谷歌研究人员提出以来，已成为当今生成式人工智能的基础。为了应对这一挑战，由麻省理工学院孵化的初创公司 Liquid AI 推出了一种名为 STAR(Synthesis of Tailored Architectures)的创新框架。