字节Seed团队揭示DeepSeek“抽风”原因：长上下文易导致性能漂移

来源：网络

阅读：2807

发布时间：2026-10-09 17:15:16

[摘要] 字节 Seed 团队今年 9 月底在预印本平台 arXiv 提交了一篇论文，谈到分块 KV 缓存压缩带来的相位敏感性，直指 DeepSeek“抽风”原因。该研究评估了基础版和后训练版的 DeepSeek-V4-Flash 和 DeepSeek-V4-Pro，以及后训练后的 DeepSeek-V4.1-Flash。模型通过分块 KV 缓存压缩以固定步幅将连续标记的窗口压缩为更少的缓存条目，能

字节跳动 Seed 团队于今年 9 月底在预印本平台 arXiv 上发表了一篇论文，指出分块 KV 缓存压缩所引发的相位敏感性，并直接将 DeepSeek 出现“抽风”现象的原因指向这一问题。该研究对基础版和后训练版的 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro，以及经过后训练的 DeepSeek-V4.1-Flash 进行了评估。模型通过分块 KV 缓存压缩，以固定步幅将连续标记的窗口压缩为更少的缓存条目，从而降低长上下文推理的内存与注意力开销。不过，这种压缩方式也引入了一个新的位置坐标：Token 的相位，即其相对于压缩窗口边界所处的位置。研究团队发现，在使用此类压缩的模型中存在系统性不对称现象：相同的信息在某一阶段可以被轻松检索，而在另一阶段却难以检索。团队将这种检索性能的周期性波动命名为相位敏感性（phase sensitivity）。在采用该类压缩的大型开放权重模型中，长上下文检索准确率在不同阶段之间的差距最高可达 40 个百分点，这也揭示出平均基准分数可能掩盖的周期性缺陷。IT之家附论文链接：https://arxiv.org/abs/2609.36322

关键词： 字节团队揭示 DeepSeek 抽风原因上下文易导致