chatgpt和instruct GPT是同源的，是一種指令式的命令，

簡單來說就是先通過人工的標注方式來訓練出一一種強化學習的冷啟動模型和reward反饋模型。

然后再通過強化學習的模式來學習出對話友好的chatGPT。

從GPT-3的輸入語句數據集中采樣部分輸入，然后再用人工標注來完成輸出結果和行為，之后再對GPT-3進行有監督的訓練，這就是指令式GPT的冷啟動模型。

在采樣的輸入語句里面，前向推理就可以獲得很多歌模型輸出結果，然后再通過人工標注的行為來對這些輸出的結果進行各種排序和打標，這些數據就是用來訓練成為reward反饋模型。

采樣一些新的輸入語句，在用policy策略網絡生成輸出結果，通過反饋模型來計算反饋，之后再用作policy策略網絡。