- 上云资讯 -
阿里云云原生
阿里云开发者
腾讯云开发者
火山引擎开发者社区
魔搭ModelScope社区
微软科技
Azure云科技
Zilliz
OpenAI
Anthropic
Gemini
LangChain
Hugging Face
Mistral
2025-01-19 04:25:31 79人关注
IBM公布了其完整的6.48 TB LLM训练数据集
IBM 于五月份开源了适用于企业应用场景的 Granite13B LLM 模型。现在，IBM 的 AI 平台产品副总裁阿曼德・鲁伊兹（Armand Ruiz）公开了用于训练 Granite13B 的全面6.48TB 数据集的完整内容。
2025-01-11 18:41:35 151人关注
解决Llama3训练困境！豆包大模型携手港大团队推全新检查点系统 优化训练效率
在一个由数据和算法主导的数字世界里，人工智能的每一步成长都离不开一个关键元素——检查点（Checkpoint）。想象一下，当你正在训练一个能读懂人心、对答如流的大型语言模型时，这个模型聪明绝顶，但也是个"大胃王"，需要海量计算资源来"喂饱"它。在训练过程中，如果突然断电或硬件故障，损失将是巨大的。这时，检查点就像一台"时光机"，能让一切回到上一个安全状态，继续未完成的任务。
2024-12-30 09:17:41 179人关注
5.7万亿个优质tokens的诞生：大语言模型训练的 “神秘宝藏” TxT360
在 AI 的世界里，数据就像是金矿，越丰富越闪亮。最近，LLM360推出了一个令人瞩目的数据集 TxT360，专为大语言模型训练量身定做。这个庞然大物不仅收录了来自各行各业的高质量文本数据，更是经历了一场全球范围的去重大作战，最终汇聚成5.7万亿个优质 tokens，真可谓是 “数据界的百宝箱”!