- 上云资讯 -
2025-12-09 08:24:25 37人关注
大模型API（LLM API）从个人开发者到企业级AI应用：n1n.ai 陪伴你的AI产品全生命周期
如果你还在观望大模型的风口，那你已经错过了上一波红利。而如果你已经开始布局AI能力，那么下一个挑战就摆在眼前:怎样用最低的成本、最稳定的服务、最高的效率，把大模型集成到自己的产品中?
2025-12-03 15:18:11 112人关注
vLLM-Omni开源:把扩散模型、ViT、LLM塞进一条流水线，多模态推理一次跑完
vLLM团队发布首个“全模态”推理框架vLLM-Omni，将文本、图像、音频、视频的统一生成从概念验证变成可落地代码。新框架已上线GitHub与ReadTheDocs，开发者可立即pip安装并调用。
2025-12-02 17:12:24 90人关注
vLLM-Omni 发布：可以处理文本、图像、音频和视频
在近日举行的技术发布会上，vLLM 团队正式推出了 vLLM-Omni，这是一个面向全模态（omni-modality）模型的推理框架。这一新框架旨在简化多模态推理的过程，并为新一代能够理解和生成多种形式内容的模型提供强有力的支持。与传统的文本输入输出模型不同，vLLM-Omni 可以处理文本、图像、音频和视频等多种输入输出类型。
2025-11-26 08:10:45 51人关注
xLLM社区12月6日首揭开源推理引擎：支持MoE、T2I、T2V全场景，联合Mooncake缓存方案实现延迟低于20ms
成立仅三个月的xLLM社区宣布将于 12 月 6 日举办首届线下Meetup，主题“共建开源AI Infra生态”。活动将展示自研推理引擎xLLM-Core，公开对比数据：在同级GPU上，MoE、Text-to-Image、Text-to-Video三类任务的P99 延迟均低于20ms，较vLLM平均下降42%，吞吐量提升2. 1 倍。
2025-11-18 17:11:11 44人关注
Meta首席AI科学家杨立昆拟离职创业：押注“世界模型”挑战LLM路线
Meta首席AI科学家杨立昆（Yann LeCun）已宣布计划在未来数月离职，并筹备创立专注“世界模型”的新公司。消息人士透露，他正在与潜在投资者接触，希望将多年研究的“目标驱动AI”架构商业化，此举被视为对Meta重金押注大语言模型（LLM）路线的公开否定。
2025-11-18 11:37:22 93人关注
杨立昆炮轰LLM：Meta AI战略走错了方向
Meta首席AI科学家杨立昆（Yann LeCun）在离职后的首次公开访谈中直言，大型科技公司对大型语言模型(LLM)的巨额投入是“战略错误”，无法通向真正的计算机智能。他指出，LLM仅擅长“统计式文本补全”，缺乏对物理世界的理解、长期推理与规划能力，因此“注定无法诞生人类级智能”。
2025-10-21 11:38:43 453人关注
颠覆LLM长文本处理！DeepSeek-OCR发布“视觉记忆压缩”机制，或破解AI记忆瓶颈
近日，DeepSeek发布了全新的OCR文档理解模型——DeepSeek-OCR。该模型不仅在图像文档解析方面取得了顶级性能，更引入了一个大胆且极具创新性的概念:“视觉记忆压缩”机制，旨在革命性地解决大型语言模型（LLM）在处理超长上下文时计算资源爆炸性增长的难题。
2025-09-30 09:20:44 127人关注
京东重磅推出国产芯片驱动的 xLLM 推理引擎
京东最近宣布了一项令人振奋的技术进展 —— 开源基于国产芯片自主研发的大模型推理引擎 xLLM。这一引擎的推出旨在帮助企业在部署人工智能（AI）应用时，能够以更高的性能和更低的成本运作，进一步推动行业的智能化转型。
2025-09-26 12:37:44 254人关注
LLM编码幻觉终结者！Exa Code发布，亿级代码索引让AI代理零失误
Exa Labs近日推出Exa Code，这款专为Coding Agent优化的网络上下文工具，通过索引超过10亿个文档页面、GitHub仓库和StackOverflow帖子，提供高效、精确的代码上下文，帮助大型语言模型（LLM）避免生成错误代码。该工具在代码幻觉评估中，表现超越市面上所有网络搜索工具，包括Exa自身，已免费开源，迅速引发开发者社区热议。
2025-09-20 18:14:29 141人关注
解锁 LLM Agent 力量！Anthropic 发布工具编写指南，助你玩转大语言模型！
近日，人工智能公司 Anthropic 在其官方博客上发布了一份重磅指南《Writing effective tools for LLM agents—using LLM agents》。这份指南详细阐述了如何利用 Model Context Protocol（MCP）为大语言模型（LLM）代理（Agent）设计高效工具，提供了一个系统化的 “原型 - 评估 - 协作” 三步迭代流程，旨在帮助开发者更好地构建和优化工具。
2025-09-20 17:14:12 180人关注
Anthropic 发布 LLM Agent 工具编写指南，助力开发者提升效率
近日，Anthropic 官方博客发布了一份详尽的指南，题为《Writing effective tools for LLM agents—using LLM agents》。该指南旨在帮助开发者利用 Model Context Protocol（MCP）为 LLM Agent 设计高效的工具。文中提出了 “原型 - 评估 - 协作” 三步迭代流程，并总结了五大设计原则，以确保工具的有效性和可用性。
2025-09-19 09:18:29 209人关注
Meta 推出小型推理模型MobileLLM-R1，企业应用向 “小型 AI” 转型
近期，Meta 公司推出了一款名为 MobileLLM-R1的小型推理模型，引发了业界对 “小型 AI” 在企业应用中的关注。以往，人工智能模型的强大能力往往与其庞大的参数规模相关，许多模型的参数量达到数百亿甚至数万亿。
2025-09-16 17:17:32 178人关注
Meta AI 发布 MobileLLM-R1：轻量级边缘推理模型，参数不足 10 亿，性能提升显著
Meta AI 近日推出了 MobileLLM-R1，这是一系列轻量级边缘推理模型，目前已在 Hugging Face 上发布。该系列模型参数范围从140M 到950M，专注于高效的数学、编码和科学推理，且在不足10亿的参数规模下实现了优秀的性能表现。
2025-09-16 12:25:32 101人关注
新工具来袭！BentoML发布llm-optimizer，助你轻松优化LLM推理性能
近日，知名开源项目 BentoML 推出了一款名为 llm-optimizer 的全新工具，旨在为开发者提供一种简单而高效的方法来优化大型语言模型（LLM）的推理性能。随着人工智能技术的迅速发展，LLM 的应用也越来越广泛，如何高效地部署和使用这些模型成为了不少开发者面临的挑战。llm-optimizer 的推出，无疑为这一问题提供了极具价值的解决方案。
2025-09-12 17:18:45 174人关注
挑战主流认知！蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型
蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型（dLLM） LLaDA-MoE，在约20T数据上完成了从零训练MoE架构的扩散语言模型，验证了工业级大规模训练的扩展性和稳定性;效果超过此前发布稠密扩散语言模型LLaDA1.0/1.5和Dream-7B，比肩等效自回归模型，并保有数倍的推理速度优势。模型将在近期完全开源，以推动全球AI社区在dLLM上的技术发展。
MoE架构扩散语言模型 LLaDA-MoE模型开源 dLLM技术发展 工业级大规模训练 扩散语言模型推理速度优势 AI社区技术推动
2025-09-11 16:13:29 285人关注
重磅！月之暗面开源革命性中间件 “Checkpoint Engine”，为 LLM 推理引擎带来新生机！
在人工智能领域，尤其是在大规模语言模型（LLM）的推理与训练中，模型权重的实时更新一直是一个技术挑战。最近，月之暗面(MoonshotAI)开源了一个名为 “Checkpoint Engine” 的新中间件，专为 LLM 推理引擎而设计。这一创新工具的发布，标志着在强化学习等应用场景中，模型的权重可以实现更为高效的原地热更新。
2025-09-04 13:22:41 325人关注
Meta 推出 DeepConf 技术，智能平衡大型语言模型的推理成本与准确性
近日，Meta AI 联合加州大学圣地亚哥分校（UCSD）推出了一种名为 Deep Think with Confidence（DeepConf） 的新技术，旨在帮助企业在大语言模型（LLM）的复杂推理任务中，有效降低算力成本的同时保持高准确率 。
大语言模型推理优化 DeepConf 技术解析 LLM 算力成本降低 复杂推理任务效率提升 Meta AI 与 UCSD 合作研究 企业级 AI 应用优化
2025-08-18 16:11:12 110人关注
人工智能能否真正构建软件？Zed 编辑器团队给出了答案！
开源代码编辑器 Zed 的开发团队发布了一篇引人关注的博文，题为《为什么 LLM 无法真正构建软件》。这篇文章由 Conrad Irwin 撰写，迅速引发了技术圈的热烈讨论，尤其是在 Hacker News 上，众多开发者纷纷发表看法，聚焦于 AI 辅助编程的本质。
开源代码编辑器 LLM 构建软件 AI 辅助编程本质 Zed 开发团队观点 Conrad Irwin 博文 Hacker News 技术讨论
2025-08-14 10:18:34 188人关注
微软重磅推出POML！全新AI标记语言颠覆提示工程，未来还是XML翻版？
近日，微软推出了一款全新的提示编排标记语言（POML，Prompt Orchestration Markup Language），专为大型语言模型(LLMs)的提示工程设计。据AIbase综合整理的网络信息，POML旨在解决传统提示开发中的痛点，通过结构化、可维护的方式提升AI应用的开发效率。然而，这一新语言是否只是XML的“翻版”，以及其复杂性是否会削弱实用性，引发了社区热议。