Lesson 07 · 训练 / 上下文 / 采样
大模型只会做一件事:猜下一个字。可它看起来在「回答」你。 这一课讲中间缺的那一环,然后拿它重新解释一遍分身上个月把「重出方案」判成「问进度」那件事。
分身的某个行为时对时错,同一句话发十次结果不一样。按第 3 课,先去哪一格找原因?
文字。代码是确定的,错了每次都一样;模型本身改不了。第 3 课把「模型」那一格当成黑盒, 这一课要把它拆开:黑盒里还有两样东西,一样是训练留下的,一样是采样带来的。 忘了的话回 第 3 课。
2022 年 OpenAI 发表 InstructGPT 时放过一组对照。给两个模型同一句话:
GPT-3(只做过预训练)
输出:给 6 岁孩子解释引力。
InstructGPT(多了两步训练)
输出:人们坐大火箭去了月球,四处走了走,又回到地球。他们拍了照片发回来,让大家都能看到。
原文为英文,此处为中译。来源:MIT 15.773 第 10 讲课件, 注明转引自 OpenAI 的 Aligning language models to follow instructions(有轻微编辑)。
GPT-3 收到「解释登月」,回的却是「解释引力」。它在干什么?
它读懂了,也没偷懒。它是在猜:网上什么样的文档会以这句话开头? 最常见的是一份作业题或提示词清单,第一行后面接的当然是第二道题。 GPT-3 的训练量比 InstructGPT 大得多,这不是量的问题,是它从没见过「这句话后面该接回答」的文档。
论文引言里就说了这件事:语言模型的训练目标是「预测互联网网页上的下一个 token」, 这和「有用、安全地照用户的指令做」不是同一个目标,所以他们说这个目标是 misaligned(没对齐)。 (Ouyang 等,2022,§1)
三个数字出自论文 §3.2。② 和 ③④ 的名字:SFT(监督微调)、RM(奖励模型)、PPO(一种强化学习算法)。
最容易误会的是第 ② 步。它没有教模型一个新本事,任务还是猜下一个字。变的只是喂进去的文档:
MIT 那份课件第 ② 步的图就是这样画的:问题和人写的回答拼成一段,按字一个个往后猜。
看过一万多份「问题后面紧跟一段好回答」的文档以后,「问题后面该接回答」就成了最可能的续写。 所以「回答」不是另一种能力,是续写在一类特定文档上的结果。 ③④ 再把回答往人更喜欢的方向推:论文里只有 1.3B 参数的 InstructGPT,评审更喜欢它的回答,而不是 175B 的 GPT-3,参数差了 100 多倍。 会不会回答,是后训练决定的,不是靠模型大。
做完指令微调以后,模型的训练任务变成了什么?
没变,还是预测下一个词,变的只是数据。这一题答对了,这一课最难的部分你就过了。
你在接口里发的是 messages 数组,一条 system、一条 user。可模型不认数组,它只认一串 token。
服务端会先按一份对话模板,把数组压平成一段文字,最后补上「轮到助手了」的记号,再让模型往下续写。
下面是 DeepSeek-V3 在 Hugging Face 上公开的模板(tokenizer_config.json 的 chat_template)
拼出来的样子,用的是分身上个月那条真实消息:
砖红色是特殊记号,▮ 是模型开始续写的位置。它会一直写,直到自己写出 <|end▁of▁sentence|>。
说明:分身用的是 deepseek-flash(deepseek_transport.py:11),这个版本的模板没公开,
记号可能不同。但「压平成一段文字再续写」这个做法各家都一样。
模板里还有 <|tool▁calls▁begin|>、<|tool▁output▁begin|> 这类记号。
第 1 课那四条报文到了模型那里,也被压成了同一段文字。
「调工具」对模型来说,也只是续写出一段特定格式的字。
你自己的代码里其实早就写了这一点。deepseek_transport.py 请求体那段的注释:
response_format 只能保证输出是合法 JSON,「保证不了字段,形状靠系统提示里的例子来带」。
靠例子来带,就是续写。
「重出方案 @Ke²」进来时,模型面前实际摆着的是什么?
一整段长文字。系统提示、群聊上下文、这条消息,全被压在一起,末尾是 <|Assistant|>。
「意图只有补证和问进度两档」对模型来说不是一张表,只是这段文字里的几句话。
当时任务停在「等补充信息」。系统提示里写的是:补证必须答上缺的某一项,问进度输出 progress。
在这段文字后面接「重出方案」,最可能的续写是什么?补证的条件它不满足,剩下最像的就是 progress。
所以重放 6 次,0 次判成补证。模型没犯错,它是在照这段文字续写最可能的下一句。
修法是在文字里加一句例外(conversation.py:227 _RETRY_RULE):明确说了重查、重出方案的,输出 supplement。
加完以后,这段文字后面最可能的续写变了,重放 10 次 10 次判对。
代码一行逻辑没改,模型也没换,改的只是它面前那段文字。
模型每一步给出的不是一个字,而是每个候选字的概率。最后选哪个,是按概率抽出来的,这一步叫采样。
temperature 控制抽得有多随机:DeepSeek 的默认值是 1,范围 0 到 2
(官方 API 文档)。
分身的请求体里没有设 temperature(deepseek_transport.py:334 起),用的就是默认值。所以同一条消息重放 6 次,可能得到不同的判断。
那次修复的提交说明里写:「好的」被误判成补证,从 6 次 2 次「降到」6 次 1 次。这个对比能说明什么?
可能只是噪声。默认 temperature 下每次都要抽一次,6 次里 2 次和 6 次里 1 次,差的就是一次抽签, 要几十次才看得出真差别。这句「降到」是我写的,说重了,在这里更正。 同一次实验里,0/6 到 10/10 是能当证据的,变化大到抽签解释不了。 以后看 agent 报来的「改前 N 次、改后 M 次」,先看次数够不够,再看差得够不够大。
| 问的是 | 谁定的 | 你能动吗 |
|---|---|---|
| 它会不会把问题当问题来答 | 训练:DeepSeek 做完的后训练 | 不能,只能换模型 |
| 它这次答成什么样 | 文字:压平后的整段上下文 | 能,改提示词、改上下文 |
| 同一句话,每次答得一不一样 | 采样:temperature | 能调,分身目前没调过 |
按这门课的对照模板:教程的通用形态默认你手里有一个会回答的模型。
你的实现里,会回答这一格是向 DeepSeek 租的(deepseek_transport.py:11)。
判定:租的。这一格不用自己造,但要知道它不在你手里:
换模型时,「会不会答」和「答成什么样」都要重测,不能只当是换了个接口地址。
看这一段:Karpathy 的 Deep Dive into LLMs like ChatGPT。 不用看完,只看中间从基座模型演示到后训练对话数据那一段(按视频章节大约 42 分到 1 小时 10 分)。 他在现场让基座模型续写,你会亲眼看到它把问题续成下一道题。 想要原始出处,看 InstructGPT 论文 第 1 节和图 2,篇幅不长。
练一次真的:下次分身判错一句话,先别改提示词,同一个上下文重放 6 次。 6 次都错,说明文字把它往错的方向带,去改文字。有对有错,说明文字没把它按住,采样在替你做决定,也去改文字,但验证要放到几十次。 把重放结果和你的判断发给我,我来对。