微信扫码
添加专属顾问
2024-12-15 09:30:29 82人关注
在人工智能迅速发展的时代，大型模型的智能化水平不断提升，但随之而来的推理系统效率挑战也越来越明显。如何应对高推理负载、降低推理成本、缩短响应时间，已成为业界共同面对的重要问题。
Kimi Tsinghua 清华 AI inference AI推理 大模型技术
2024-12-15 09:22:22 85人关注
月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目，旨在共建以KVCache为中心的大模型推理架构。2024年6月，双方曾联合发布Kimi底层的Mooncake推理系统设计方案，该方案基于PD分离和以存换算架构，显著提升了推理吞吐量，受到业界广泛关注。
月饼推理架构 推理架构技术 大模型推理架构 AI推理架构设计 月饼架构技术解析
