2025-01-09 07:32:13
102人关注
Llama3压缩版!Nvidia推小型语言模型Llama-3.1-Minitron4B 仅4亿参数
在如今科技公司纷纷追逐在设备上实现人工智能的时代,越来越多的小型语言模型(SLM)应运而生,能够在资源受限的设备上运行。最近,Nvidia 的研究团队利用前沿的模型剪枝和蒸馏技术,推出了 Llama-3.1-Minitron4B,这是 Llama3模型的压缩版本。这个新模型在性能上不仅可以与更大的模型媲美,还能与同等规模的小型模型竞争,同时在训练和部署上都显得更加高效。
Llama3
Mini Llama 3
Minitron 4b
大模型技术
大模型技术原理