2025-01-14 12:33:45
85人关注
NVIDIA联手Hugging Face推高效推理服务，AI 模型的Token 处理效率提升五倍
最近，开源平台 Hugging Face 与 NVIDIA 宣布了一项令人振奋的新服务 —— 推理即服务（Inference-as-a-Service），这项服务将由 NVIDIA 的 NIM 技术驱动。新服务的推出可以让开发者们更快速地原型设计，使用 Hugging Face Hub 上提供的开源 AI 模型，并高效地进行部署。
NVIDIA
Hugging Face
高效推理
模型推理优化
AI推理加速
GPU加速技术
