Reference · Why It Answers
一句话:它只会续写;后训练让「问题后面接回答」成了最可能的续写。忘了时翻这一页。
| 决定什么 | 来自 | 你能动吗 | 症状 |
|---|---|---|---|
| 会不会把问题当问题答 | 训练(后训练) | 不能,只能换模型 | 换模型后整体风格变了 |
| 这次答成什么样 | 上下文(压平后的整段文字) | 能:改提示词、改上下文 | 重放 N 次都一样错 |
| 每次一不一样 | 采样(temperature) | 能调 | 重放 N 次有对有错 |
| token | 模型读写的最小单位,大致是一个字或半个词。 |
|---|---|
| 预训练 | 在海量网页上练「猜下一个 token」。产出基座模型,它会续写任何文档,但不会「回答」。 |
| 后训练 | 预训练之后的几步,让模型变成助手。InstructGPT 的做法是 SFT → RM → PPO。 |
| SFT 指令微调 | 用人写的「问题 + 好回答」继续练猜下一个 token。任务没变,数据变了。InstructGPT 用了约 13k 条提示。 |
| RM 奖励模型 | 人给同一问题的几个回答排序,用这些排序训一个打分员(约 33k 条提示)。 |
| RLHF | 用打分员给模型的回答打分,再按分数调参(PPO,约 31k 条提示)。RM 加上这一步,就是 RLHF。 |
| 对话模板 | 把 messages 数组压平成一段带特殊记号的文字。DeepSeek-V3 用 <|User|> 和 <|Assistant|> 这类记号。 |
| 特殊记号 | 模板里的角色记号、结束记号、工具调用记号。模型写出 <|end▁of▁sentence|> 就停下。 |
| 采样 | 按每个候选 token 的概率抽一个。temperature 越高抽得越随机。DeepSeek 默认是 1,范围 0~2。 |
<|begin▁of▁sentence|>{系统提示}<|User|>{用户消息}<|Assistant|>▮ ← 从这里续写
按 DeepSeek-V3 公开模板拼出来的。分身用的 deepseek-flash 版本模板没公开,记号可能不同,但压平再续写这个做法各家都一样。
chat_template 字段。temperature 的默认值和取值范围。