字节Seed团队发现DeepSeek「抽风」原因：长上下文会导致性能漂移

近日，字节跳动 Seed 团队在一项研究中发现，DeepSeek 等大模型在长上下文场景下会出现明显的「性能漂移」现象，这也解释了用户常说的模型「抽风」「变傻」问题。

什么是长上下文性能漂移

所谓性能漂移，是指模型在上下文长度不断增长时，输出质量并非平稳下降，而是出现阶段性、不可预测的波动。在短上下文下表现正常的模型，一旦上下文拉长到数万甚至十几万 token，回答质量可能突然变差。

为什么会出现

研究团队分析认为，主要有几个原因：

• 注意力稀释：上下文越长，模型对关键信息的注意力权重被摊薄，重点内容容易被淹没。
• 位置编码外推不足：部分模型的位置编码在超出训练长度后外推能力下降，导致远距离信息关联失效。
• 训练与推理不一致：训练时的数据长度分布与推理时实际长度不匹配，造成分布偏移。

对普通用户意味着什么

对日常使用来说，长上下文并非越长越好。把大量无关内容塞进对话，反而可能拖累模型表现。建议：

• 重要信息尽量放在上下文靠前或靠后的位置；
• 定期清理无关的历史消息，保持上下文精简；
• 长文档任务拆分成多轮处理，而不是一次性塞满。

行业影响

随着各家大模型把上下文窗口卷到百万级，「长上下文可用性」正在成为新的竞争焦点。谁能让模型在超长上下文下依然稳定，谁就能在文档分析、代码理解、Agent 记忆等场景占得先机。

这项研究也提醒开发者：评测模型时不能只看短上下文的跑分，长上下文的稳定性同样重要。