清华团队突破大模型算力难题英伟达面临挑战

来源：网络 作者：声远热闻

阅读：2424

发布时间：2025-02-15 19:09:02

评论：0

[摘要] 清华大学KVCache.AI团队联合趋境科技发布了KTransformers开源项目的重大更新，成功打破了大模型推理算力的门槛。这次更新支持在24G显存（4090D）的设备上本地运行DeepSeek-R1、V3的671B满血版。KTransformers项目的核心在于异构计算策略。通过稀疏性利用，MoE架构每次仅激活部分专家模块，团队将非共享的稀疏矩阵卸载至CPU内存，并结合高速算子处理，使显存占

清华大学KVCache.AI团队联合趋境科技发布了KTransformers开源项目的重大更新，成功打破了大模型推理算力的门槛。这次更新支持在24G显存（4090D）的设备上本地运行DeepSeek-R1、V3的671B满血版。

KTransformers项目的核心在于异构计算策略。通过稀疏性利用，MoE架构每次仅激活部分专家模块，团队将非共享的稀疏矩阵卸载至CPU内存，并结合高速算子处理，使显存占用压缩至24GB。此外，项目采用了4bit量化技术，配合Marlin GPU算子，效率提升了3.87倍；CPU端通过llamafile实现多线程并行，预处理速度达到286 tokens/s。CUDA Graph加速减少了CPU/GPU通信开销，单次解码只需一次完整的CUDA Graph调用，生成速度可达14 tokens/s。

这一突破带来的影响显著。传统方案中，使用8卡A100服务器的成本超过百万，按需计费每小时数千元。而现在，单卡RTX 4090方案的整机成本约为2万元，功耗仅为80W，非常适合中小团队和个人开发者。NVIDIA RTX 4090运行DeepSeek-R1满血版的案例不仅展示了技术奇迹，也是开源精神与硬件潜能结合的典范。这证明了在AI快速发展的时代，创新往往源于对“不可能”的挑战。

关键词：