- 上云资讯 -
2025-06-23 10:27:34 55人关注
利用OpenVINO™高效推理MiniCPM4系列模型
本文介绍了使用OpenVINO™工具包高效推理MiniCPM4系列模型的步骤。首先需要创建Python虚拟环境并激活，然后安装必要的软件包，包括OpenVINO GenAI（需指定额外索引源）、NNCF以及Optimum-Intel（从GitHub源码安装）。核心实现部分展示了如何通过openvino_genai模块构建推理流程：创建参数解析器后，初始化LLMPipeline对象并配置生成参数，通过start_chat()开启对话，使用generate()方法处理提示词并支持流式输出，最后调用finish_chat()结束会话。整个过程体现了OpenVINO™在模型推理部署中的简洁性和高效性。
OpenVINO推理MiniCPM4 OpenVINO GenAI安装教程 Optimum-Intel源码安装 MiniCPM4模型部署 OpenVINO工具包高效推理 LLMPipeline流式输出
2025-05-15 16:44:13 71人关注
斯坦福新AI框架 OctoTools：无需训练，让AI实现高效复杂推理！
在人工智能（AI）领域，尽管大型语言模型(LLMs)在处理自然语言方面表现出色，但它们在面对复杂推理任务时常常显得力不从心。这些任务通常需要多步骤的推理、领域特定的知识，或者外部工具的有效集成。为了克服这些限制，研究人员们一直在探索如何通过外部工具的使用来提升 LLM 的能力。
Stanford AI框架 OctoTools 高效推理框架 AI推理工具 Stanford AI研究成果 AI框架优化
2025-04-28 10:24:34 124人关注
全球最快推理速度模型！Qafind Labs 发布 ChatDLM 技术
近日，Qafind Labs发布了其最新研发的ChatDLM模型，这一创新成果在人工智能领域引起了广泛关注。ChatDLM是首个将“区块扩散（Block Diffusion）”和“专家混合(MoE)”深度融合的模型，其在GPU上实现了惊人的2，800tokens/s超高推理速度，支持131，072tokens的超大上下文窗口，开启了文档级生成和实时对话的新纪元。