OpenAI 今日公布了其最新研究，試圖用 CoT（思維鏈）監(jiān)控的方式監(jiān)控推理模型的“想法”，從而阻止 AI 大模型胡說八道、隱藏真實(shí)意圖等行為，同時(shí)這也是監(jiān)督超級模型的有效工具之一。
IT之家注：AI 偶爾會胡說八道，我們一般稱其為 AI 幻覺。除此之外，AI 還會偷懶或故意耍壞，例如在問題太難時(shí)欺騙用戶或干脆放棄。
OpenAI 使用了最新發(fā)布的前沿模型 o3-mini 作為被監(jiān)控對象，并以較弱的 GPT-4o 模型作為監(jiān)控器。測試環(huán)境為編碼任務(wù)，要求 AI 在代碼庫中實(shí)現(xiàn)功能以通過單元測試。
結(jié)果顯示，CoT 監(jiān)控器在檢測系統(tǒng)性“獎勵黑客”行為時(shí)表現(xiàn)卓越，召回率高達(dá) 95%，遠(yuǎn)超僅監(jiān)控行為的 60%。 
