OpenAI ChatGPT 後訓練流程解析

OpenAI 的後訓練流程透過改善指令遵循、對話、安全性、工具使用與推理能力，將 GPT-3 轉變為 ChatGPT。文章說明，後訓練結合了監督式微調（SFT）、基於偏好的獎勵模型，以及從人類回饋中進行的強化學習（RLHF）。 在 InstructGPT 流程中，約 40 名人類標註員為 SFT 建立了約 13,000 個指令－回應範例。接著，OpenAI 利用人類對模型回應的排名，訓練了一個擁有 60 億參數的獎勵模型。最後，近端策略最佳化（PPO）透過獎勵偏好的回答來改善模型，同時使用 KL 散度懲罰，以限制獎勵駭客行為，並防止模型過度偏離 SFT 模型。 後訓練也促成了工具呼叫、外部資料存取、更安全的拒絕回應，以及推理模型。文章引用 2024 年 AIME 數學考試中的巨大效能差距：GPT-4o 在單次嘗試中解決了 12% 的題目，而 OpenAI 的 o1 推理模型則解決了 74%。透過 1,000 次嘗試和重新排序，o1 達到 93%。 對交易員和投資人而言，關鍵啟示是，後訓練可以在不只依賴更大型模型的情況下，大幅提升 AI 能力。這也會增加對運算資源、資料中心容量和推論基礎設施的需求。然而，更高的推理效能會增加 token 使用量、延遲和營運成本，而安全性取捨及獎勵駭客行為仍是風險。這些發展對 AI 相關加密專案具有策略重要性，但文章並未指出任何直接的加密貨幣市場催化劑。