AI对话 上云服务 上云资讯 解决方案 关于我们
售前咨询 021-50583875
微信二维码

微信扫码

添加专属顾问

- 上云资讯 -

阿里云云原生 阿里云开发者 腾讯云开发者 火山引擎开发者社区 魔搭ModelScope社区 微软科技 Azure云科技 Zilliz OpenAI Anthropic Gemini LangChain Hugging Face Mistral

2025-04-28 10:31:11 77人关注

​DeepSeek 推出 NSA 技术：加速长上下文训练与推理

在人工智能领域，DeepSeek 团队于近日发布了最新研究成果，推出了一种名为 NSA（Native Sparse Attention）的创新稀疏注意力机制。这项技术的核心目标是提升长上下文训练和推理的速度，特别是针对现代硬件进行了优化，使得训练和推理的效率大幅提升。

DeepSeek NSA 长上下文训练 长上下文推理 大模型训练技术 大模型推理优化

2025-03-02 10:32:17 171人关注

「深度思考+联网搜索」阿里预览全新 AI 推理模型：挑战 DeepSeek R1、OpenAI o1 ！

在 DeepSeek R1 开源发布引爆全球关注后，更多大模型公司加速推出了深度思考模型，并计划或已经开源。

阿里AI推理模型 DeepSeek OpenAI AI推理技术 大模型推理优化

2025-02-19 10:33:31 371人关注

​NVIDIA联合高校发布 “FlashInfer”：提升大语言模型推理效率的全新内核库

随着大语言模型（LLM）在现代人工智能应用中的广泛应用，诸如聊天机器人和代码生成器等工具依赖于这些模型的能力。然而，随之而来的推理过程中的效率问题也日益突出。

NVIDIA FlashInfer LLM推理加速 大模型推理优化 GPU加速技术 NVIDIA AI技术

2025-02-12 16:26:33 429人关注

字节跳动豆包UltraMem架构将大模型推理成本降低83%

字节跳动豆包大模型团队今日宣布，成功研发出全新稀疏模型架构UltraMem，该架构有效解决了MoE（混合专家）模型推理时的高额访存问题，推理速度较MoE提升2-6倍，推理成本最高可降低83%。这一突破性进展为大模型的高效推理开辟了新路径。

字节跳动 豆包大模型 UltraMem技术 推理成本优化 大模型推理优化 AI推理成本降低

2025-01-29 09:14:24 3244人关注

DeepSeek R1 你用上了吗？推理效果一骑绝尘，Meta 内部已经慌了！

DeepSeek 近日推出的系列模型在全球 AI 圈引发震动。DeepSeek-V3 以低成本实现高性能，在多项评测中与顶尖闭源模型相当；DeepSeek-R1 则通过创新的训练方式，让模型展现出强大推理能力，性能对标 OpenAI o1 正式版，还开源了模型权重，为 AI 领域带来新的突破和思考。

DeepSeek R1 推理性能优化 Meta框架应用 大模型推理优化 DeepSeek R1性能评测

2025-01-14 12:33:45 86人关注

NVIDIA联手Hugging Face推高效推理服务，AI 模型的Token 处理效率提升五倍

最近，开源平台 Hugging Face 与 NVIDIA 宣布了一项令人振奋的新服务 —— 推理即服务（Inference-as-a-Service），这项服务将由 NVIDIA 的 NIM 技术驱动。新服务的推出可以让开发者们更快速地原型设计，使用 Hugging Face Hub 上提供的开源 AI 模型，并高效地进行部署。

NVIDIA Hugging Face 高效推理 模型推理优化 AI推理加速 GPU加速技术

2025-01-10 20:18:18 117人关注

GPU优化新突破！“树注意力”让500万长文本推理提速8倍

在这个信息爆炸的时代，人工智能如同一颗颗璀璨的星辰，照亮了人类智慧的夜空。而在这些星辰中，Transformer架构无疑是最耀眼的那一颗，它以自注意力机制为核心，引领了自然语言处理的新时代。

GPU优化 树注意力机制 文本推理加速 大模型推理优化 GPU计算性能提升

2024-12-30 14:45:38 253人关注

​新研究揭示小型 AI 语言模型在推理能力上的重大缺陷

最近，米拉研究所、谷歌 DeepMind 和微软研究院的研究人员对 AI 语言模型的推理能力进行了深入调查，发现小型和便宜的模型在解决复杂问题时存在显著不足。

小模型推理缺陷 AI小模型问题 语言模型推理错误 小模型技术缺陷 AI模型推理优化

2024-12-28 15:40:11 119人关注

创新开源框架OpenR 有效提升大模型推理能力

一个名为OpenR的创新开源框架近日问世，旨在解决大型语言模型（LLMs）在复杂推理任务中的短板。这一由伦敦大学学院、利物浦大学、上海交通大学、香港科技大学(广州)和西湖大学研究人员联合开发的框架，通过结合测试时计算、强化学习和过程监督，为提升LLMs的推理能力开辟了新途径。

OpenR框架 大模型推理优化 大模型推理加速 OpenR框架应用 大模型性能提升

2024-12-23 20:23:32 63人关注

报道称：OpenAI与博通合作，研发定制推理芯片

最近，有消息称，OpenAI 正在与博通（Broadcom）展开合作，计划开发一款定制的推理芯片。根据路透社的报道，这两个公司之间的讨论非常机密，而台湾半导体制造公司(TSMC)可能会作为此次项目的代工厂。这一消息引发了外界对 OpenAI 未来发展方向的广泛猜测。

OpenAI Broadcom 定制推理芯片 AI芯片 大模型推理优化 AI硬件加速

上云服务

沪ICP备14033669号-10