如果您需要任何上云服务
请随时联系我们：
电话：021-50583875
2025-01-15 17:21:37 142人关注
最近苹果公司的研究团队和 Meta AI 的研究人员联合推出了一项名为 LazyLLM 的新技术，这项技术在提高大型语言模型（LLM）在长文本推理中的效率。
LLM长文本推理 LazyLLM效率优化 大模型推理加速 长文本处理技术 LLM性能提升
2025-01-05 13:14:42 202人关注
最近，Mamba 团队的研究令人瞩目:来自康奈尔和普林斯顿等高校的研究者们成功将 Llama 这一大型 Transformer 模型 “蒸馏” 成了 Mamba，并设计了一种新型的推理解码算法，显著提高了模型的推理速度。
Llama 3 Mamba 推理速度优化 大模型推理加速 LLM性能提升
