- 上云资讯 -
阿里云云原生
阿里云开发者
腾讯云开发者
火山引擎开发者社区
魔搭ModelScope社区
微软科技
Azure云科技
Zilliz
OpenAI
Anthropic
Gemini
LangChain
Hugging Face
Mistral
2025-01-09 07:32:13 154人关注
Llama3压缩版！Nvidia推小型语言模型Llama-3.1-Minitron4B 仅4亿参数
在如今科技公司纷纷追逐在设备上实现人工智能的时代，越来越多的小型语言模型（SLM）应运而生，能够在资源受限的设备上运行。最近，Nvidia 的研究团队利用前沿的模型剪枝和蒸馏技术，推出了 Llama-3.1-Minitron4B，这是 Llama3模型的压缩版本。这个新模型在性能上不仅可以与更大的模型媲美，还能与同等规模的小型模型竞争，同时在训练和部署上都显得更加高效。