- 上云资讯 -

2024-12-15 09:22:22 85人关注

月之暗面Kimi联合清华大学等开源共建大模型推理架构Mooncake

月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目，旨在共建以KVCache为中心的大模型推理架构。2024年6月，双方曾联合发布Kimi底层的Mooncake推理系统设计方案，该方案基于PD分离和以存换算架构，显著提升了推理吞吐量，受到业界广泛关注。