←AI 实践笔记

Lesson 07 · 训练 / 上下文 / 采样

它没在回答,
它在续写

大模型只会做一件事:猜下一个字。可它看起来在「回答」你。 这一课讲中间缺的那一环,然后拿它重新解释一遍分身上个月把「重出方案」判成「问进度」那件事。

先回忆一下(第 3 课)

分身的某个行为时对时错,同一句话发十次结果不一样。按第 3 课,先去哪一格找原因?

文字。代码是确定的,错了每次都一样;模型本身改不了。第 3 课把「模型」那一格当成黑盒, 这一课要把它拆开:黑盒里还有两样东西,一样是训练留下的,一样是采样带来的。 忘了的话回 第 3 课。

同一句话,两个模型

2022 年 OpenAI 发表 InstructGPT 时放过一组对照。给两个模型同一句话:

GPT-3(只做过预训练)

输入:给 6 岁孩子用几句话解释登月。

输出:给 6 岁孩子解释引力。

InstructGPT(多了两步训练)

输入:给 6 岁孩子用几句话解释登月。

输出:人们坐大火箭去了月球,四处走了走,又回到地球。他们拍了照片发回来,让大家都能看到。

原文为英文,此处为中译。来源:MIT 15.773 第 10 讲课件, 注明转引自 OpenAI 的 Aligning language models to follow instructions(有轻微编辑)。

GPT-3 收到「解释登月」,回的却是「解释引力」。它在干什么?

它读懂了,也没偷懒。它是在猜:网上什么样的文档会以这句话开头? 最常见的是一份作业题或提示词清单,第一行后面接的当然是第二道题。 GPT-3 的训练量比 InstructGPT 大得多,这不是量的问题,是它从没见过「这句话后面该接回答」的文档。

论文引言里就说了这件事:语言模型的训练目标是「预测互联网网页上的下一个 token」, 这和「有用、安全地照用户的指令做」不是同一个目标,所以他们说这个目标是 misaligned(没对齐)。 (Ouyang 等,2022,§1)

中间缺的那一环:换数据,不换任务

① 预训练 读:海量网页 学会:续写任何文档 结果 = 基座模型 (GPT-3 停在这里) ② 指令微调 读:人写的示范 「问题 + 好回答」 约 13k 条提示 任务仍是猜下一个字 ③ 奖励模型 人给几个回答排序 训一个「打分员」 约 33k 条提示 ④ 强化学习 让打分员给模型 的回答打分,调参 约 31k 条提示 ②③④ 合称「后训练」,③④ 就是常说的 RLHF

三个数字出自论文 §3.2。② 和 ③④ 的名字:SFT(监督微调)、RM(奖励模型)、PPO(一种强化学习算法)。

最容易误会的是第 ② 步。它没有教模型一个新本事,任务还是猜下一个字。变的只是喂进去的文档:

给 6 岁孩子用几句话解释登月。→ 猜 人们 → 猜 坐 → 猜 大火箭 → 猜 …

MIT 那份课件第 ② 步的图就是这样画的:问题和人写的回答拼成一段,按字一个个往后猜。

看过一万多份「问题后面紧跟一段好回答」的文档以后,「问题后面该接回答」就成了最可能的续写。 所以「回答」不是另一种能力,是续写在一类特定文档上的结果。 ③④ 再把回答往人更喜欢的方向推:论文里只有 1.3B 参数的 InstructGPT,评审更喜欢它的回答,而不是 175B 的 GPT-3,参数差了 100 多倍。 会不会回答,是后训练决定的,不是靠模型大。

做完指令微调以后,模型的训练任务变成了什么?

没变,还是预测下一个词,变的只是数据。这一题答对了,这一课最难的部分你就过了。

它面前没有「对话」,只有一长段文字

你在接口里发的是 messages 数组,一条 system、一条 user。可模型不认数组,它只认一串 token。 服务端会先按一份对话模板,把数组压平成一段文字,最后补上「轮到助手了」的记号,再让模型往下续写。 下面是 DeepSeek-V3 在 Hugging Face 上公开的模板(tokenizer_config.json 的 chat_template) 拼出来的样子,用的是分身上个月那条真实消息:

<|begin▁of▁sentence|>(分身的系统提示,几千字)……如果是在问那件事查得怎么样、有没有结论,输出 {"intent": "progress", "reply": ""}。……<|User|>重出方案 @Ke²<|Assistant|>▮

砖红色是特殊记号,▮ 是模型开始续写的位置。它会一直写,直到自己写出 <|end▁of▁sentence|>。 说明:分身用的是 deepseek-flash(deepseek_transport.py:11),这个版本的模板没公开, 记号可能不同。但「压平成一段文字再续写」这个做法各家都一样。

模板里还有 <|tool▁calls▁begin|>、<|tool▁output▁begin|> 这类记号。 第 1 课那四条报文到了模型那里,也被压成了同一段文字。 「调工具」对模型来说,也只是续写出一段特定格式的字。

你自己的代码里其实早就写了这一点。deepseek_transport.py 请求体那段的注释: response_format 只能保证输出是合法 JSON,「保证不了字段,形状靠系统提示里的例子来带」。 靠例子来带,就是续写。

「重出方案 @Ke²」进来时,模型面前实际摆着的是什么?

一整段长文字。系统提示、群聊上下文、这条消息,全被压在一起,末尾是 <|Assistant|>。 「意图只有补证和问进度两档」对模型来说不是一张表,只是这段文字里的几句话。

回到「重出方案」:为什么加一句话就好了

当时任务停在「等补充信息」。系统提示里写的是:补证必须答上缺的某一项,问进度输出 progress。 在这段文字后面接「重出方案」,最可能的续写是什么?补证的条件它不满足,剩下最像的就是 progress。 所以重放 6 次,0 次判成补证。模型没犯错,它是在照这段文字续写最可能的下一句。

修法是在文字里加一句例外(conversation.py:227 _RETRY_RULE):明确说了重查、重出方案的,输出 supplement。 加完以后,这段文字后面最可能的续写变了,重放 10 次 10 次判对。 代码一行逻辑没改,模型也没换,改的只是它面前那段文字。

但同一段文字,为什么每次结果还不一样

模型每一步给出的不是一个字,而是每个候选字的概率。最后选哪个,是按概率抽出来的,这一步叫采样。 temperature 控制抽得有多随机:DeepSeek 的默认值是 1,范围 0 到 2 (官方 API 文档)。 分身的请求体里没有设 temperature(deepseek_transport.py:334 起),用的就是默认值。所以同一条消息重放 6 次,可能得到不同的判断。

那次修复的提交说明里写:「好的」被误判成补证,从 6 次 2 次「降到」6 次 1 次。这个对比能说明什么?

可能只是噪声。默认 temperature 下每次都要抽一次,6 次里 2 次和 6 次里 1 次,差的就是一次抽签, 要几十次才看得出真差别。这句「降到」是我写的,说重了,在这里更正。 同一次实验里,0/6 到 10/10 是能当证据的,变化大到抽签解释不了。 以后看 agent 报来的「改前 N 次、改后 M 次」,先看次数够不够,再看差得够不够大。

判定:第 3 课的「模型」那一格拆成两格

问的是谁定的你能动吗
它会不会把问题当问题来答训练:DeepSeek 做完的后训练不能,只能换模型
它这次答成什么样文字:压平后的整段上下文能,改提示词、改上下文
同一句话,每次答得一不一样采样:temperature能调,分身目前没调过

按这门课的对照模板:教程的通用形态默认你手里有一个会回答的模型。 你的实现里,会回答这一格是向 DeepSeek 租的(deepseek_transport.py:11)。 判定:租的。这一格不用自己造,但要知道它不在你手里: 换模型时,「会不会答」和「答成什么样」都要重测,不能只当是换了个接口地址。

下一步

看这一段:Karpathy 的 Deep Dive into LLMs like ChatGPT。 不用看完,只看中间从基座模型演示到后训练对话数据那一段(按视频章节大约 42 分到 1 小时 10 分)。 他在现场让基座模型续写,你会亲眼看到它把问题续成下一道题。 想要原始出处,看 InstructGPT 论文 第 1 节和图 2,篇幅不长。

练一次真的:下次分身判错一句话,先别改提示词,同一个上下文重放 6 次。 6 次都错,说明文字把它往错的方向带,去改文字。有对有错,说明文字没把它按住,采样在替你做决定,也去改文字,但验证要放到几十次。 把重放结果和你的判断发给我,我来对。