微信扫码
添加专属顾问
2025-03-19 16:14:13 86人关注
还在为大模型处理长文本“龟速”而抓狂?别急!清华大学祭出“王炸”技术——APB 序列并行推理框架，直接给大模型装上“涡轮增压”引擎!实测显示，这项黑科技在处理超长文本时，速度竟比肩 Flash Attention 快10倍!没错，你没听错，是10倍!
大模型推理加速 清华APBB技术 大模型性能优化 推理速度提升方案 大模型技术突破
2025-01-15 17:21:37 197人关注
最近苹果公司的研究团队和 Meta AI 的研究人员联合推出了一项名为 LazyLLM 的新技术，这项技术在提高大型语言模型（LLM）在长文本推理中的效率。
LLM长文本推理 LazyLLM效率优化 大模型推理加速 长文本处理技术 LLM性能提升
2025-01-05 13:14:42 256人关注
最近，Mamba 团队的研究令人瞩目:来自康奈尔和普林斯顿等高校的研究者们成功将 Llama 这一大型 Transformer 模型 “蒸馏” 成了 Mamba，并设计了一种新型的推理解码算法，显著提高了模型的推理速度。
Llama 3 Mamba 推理速度优化 大模型推理加速 LLM性能提升
2024-12-28 15:40:11 119人关注
一个名为OpenR的创新开源框架近日问世，旨在解决大型语言模型（LLMs）在复杂推理任务中的短板。这一由伦敦大学学院、利物浦大学、上海交通大学、香港科技大学(广州)和西湖大学研究人员联合开发的框架，通过结合测试时计算、强化学习和过程监督，为提升LLMs的推理能力开辟了新途径。
OpenR框架 大模型推理优化 大模型推理加速 OpenR框架应用 大模型性能提升
