後訓練流程：SFT、獎勵模型與 PPO 實用指南

一份實作指南說明如何為擁有 15 億個參數的 Qwen2.5 模型建立後訓練流程，運用監督式微調（SFT）、獎勵模型訓練，以及近端策略最佳化（PPO）。此工作流程使用 torchtune 進行 SFT、使用 Hugging Face TRL 訓練獎勵模型，並使用 ByteDance 的 verl 框架進行分散式強化學習。 在範例的 SFT 階段，模型會以對話示範資料進行訓練。使用者提示會被遮罩，讓模型學會產生助理回覆。獎勵模型則以偏好與拒絕的回覆配對進行訓練；指南建議只訓練一個 epoch，以降低過度擬合。進行 PPO 時，會根據獎勵模型最佳化 SFT 模型，而 KL 懲罰則有助於限制模型偏離助理原始行為的情況。 本教學提供設定範例，並強調實務監控，包括獎勵趨勢、KL 散度，以及由人類檢視生成的回覆。若要跟著指南操作，需要一台至少有兩張 GPU、GPU 記憶體總量約 80 GB 的電腦；範例中的 PPO 啟動程序使用四張 GPU。 核心重點是，使用開源工具在技術上即可建置這套後訓練流程，但成果很大程度取決於高品質的示範資料、可靠的人類偏好標籤，以及具代表性的提示。這篇文章是 AI 訓練教學，不是加密貨幣市場的發展消息。