移动端
微信公众号
DeepSeek出现异常原因曝光 相位敏感性成关键因素
|
字节 Seed 团队近日在预印本平台 arXiv 上发表了一篇论文，研究了分块 KV 缓存压缩所引发的相位敏感性问题，并指出这可能是导致 DeepSeek 模型表现不稳定的因素之一。
该研究对基础版和后训练版的 DeepSeek-V4-Flash、DeepSeek-V4-Pro，以及经过后训练的 DeepSeek-V4.1-Flash 进行了评估。借助分块 KV 缓存压缩技术，模型可以按固定步幅将连续标记的窗口压缩为更少的缓存条目，以此降低长上下文推理过程中的内存与注意力开销。
然而，这种压缩方式引入了一个新的位置坐标——Token 的相位，也就是它相对于压缩窗口边界所处的位置。研究发现，采用该压缩方法的模型存在系统性的不对称现象：同样的信息在某个相位下容易被检索到，而在另一个相位下则更难被检索。团队将这种周期性的检索性能波动命名为相位敏感性。
在采用此类压缩的大型开放权重模型中，长上下文检索的准确率在不同相位之间最大可相差 40 个百分点，这说明平均基准分数可能会掩盖这种周期性的薄弱环节。论文链接如下： https://arxiv.org/abs/2609.36322 |
论坛热帖
在线投稿
-
相关阅读
-
李要得参观嫣然医院见李亚鹏 称深受影响愿多行善事
-
李要得坦言真心尊重李亚鹏 善行举动引发网友共鸣
-
永州女局长离婚纠纷引关注 调查结果尚未公布
-
小米17Ultra全系涨价 存储芯片成本上涨成主因
-
国庆每天3亿人出游 旅行社却撑不住 行业洗牌正在发生
-
老一辈航天人的故事让人泪目 重温中国航天峥嵘岁月
-
中国旅美球员庞清方被美国ICE拘留 留学生身份问题再引关注
-
创业板指深成指双双跌超1% 沪深京三市个股普遍下跌
-
入驻商铺
-
精彩图片
-
医生提醒：哈兰德狂人食谱不适合普通人，别盲目模仿
-
严重污染！印度首都河面漂浮大量有毒泡沫
-
金饰价格突破800元/克大关
-
绝美！北京朝霞遇到平流雾
-
美国给以色列派先遣队，援助的“萨德”也将启用？
-
以总理住宅遭无人机袭击 以方反应强烈
-
美政府紧急调查以色列报复伊朗计划外泄事件
-
以军袭击加沙地带北部拜特拉希亚地区已致73人死亡
-
新帖速递
-
李要得参观嫣然医院见李亚鹏 称深受影响愿多行善事
-
李要得坦言真心尊重李亚鹏 善行举动引发网友共鸣
-
永州女局长离婚纠纷引关注 调查结果尚未公布
-
小米17Ultra全系涨价 存储芯片成本上涨成主因
-
国庆每天3亿人出游 旅行社却撑不住 行业洗牌正在发生
-
老一辈航天人的故事让人泪目 重温中国航天峥嵘岁月
-
中国旅美球员庞清方被美国ICE拘留 留学生身份问题再引关注
-
创业板指深成指双双跌超1% 沪深京三市个股普遍下跌
精彩评论文明上网理性发言，请遵守评论服务协议
共0条评论