上下文窗口从 4K、32K 一路涨到百万级。但「能塞进去」和「能用好」是两件事。

长上下文的真实用途

• 把整份财报、论文、合同丢进去做问答与摘录。
• 让模型读完整个代码仓库，按需求改代码。
• 把几个月的会议记录汇总成项目复盘。

为什么它不总是靠谱

行业内常见的现象是「中间遗忘」：开头和结尾的信息记得牢，中间部分容易被忽略。上下文越长，单次调用越贵、越慢，检索精度也可能下降。

更实用的做法

1. 先切分再检索（RAG 思路），只把相关片段给模型，而不是全塞进去。
2. 重要信息放在开头或结尾，并在提问里重复一次关键约束。
3. 让它先输出提纲，确认后再逐段生成。

本文为编辑整理，具体上下文长度与效果请以各模型官方说明为准。