Reference · Why It Answers

模型为什么会回答

一句话:它只会续写;后训练让「问题后面接回答」成了最可能的续写。忘了时翻这一页。

三样东西,三种改法

决定什么来自你能动吗症状
会不会把问题当问题答训练(后训练)不能,只能换模型换模型后整体风格变了
这次答成什么样上下文(压平后的整段文字)能:改提示词、改上下文重放 N 次都一样错
每次一不一样采样(temperature)能调重放 N 次有对有错

词汇表

token模型读写的最小单位,大致是一个字或半个词。
预训练在海量网页上练「猜下一个 token」。产出基座模型,它会续写任何文档,但不会「回答」。
后训练预训练之后的几步,让模型变成助手。InstructGPT 的做法是 SFT → RM → PPO。
SFT 指令微调用人写的「问题 + 好回答」继续练猜下一个 token。任务没变,数据变了。InstructGPT 用了约 13k 条提示。
RM 奖励模型人给同一问题的几个回答排序,用这些排序训一个打分员(约 33k 条提示)。
RLHF用打分员给模型的回答打分,再按分数调参(PPO,约 31k 条提示)。RM 加上这一步,就是 RLHF。
对话模板把 messages 数组压平成一段带特殊记号的文字。DeepSeek-V3 用 <|User|> 和 <|Assistant|> 这类记号。
特殊记号模板里的角色记号、结束记号、工具调用记号。模型写出 <|end▁of▁sentence|> 就停下。
采样按每个候选 token 的概率抽一个。temperature 越高抽得越随机。DeepSeek 默认是 1,范围 0~2。

模型实际看到的

<|begin▁of▁sentence|>{系统提示}<|User|>{用户消息}<|Assistant|>▮ ← 从这里续写

按 DeepSeek-V3 公开模板拼出来的。分身用的 deepseek-flash 版本模板没公开,记号可能不同,但压平再续写这个做法各家都一样。

看 agent 报来的「改前 / 改后」

出处