昨日晚間，大模型訓(xùn)練、開發(fā)平臺(tái) Predibase 發(fā)布了一個(gè)完全托管、無(wú)服務(wù)器、端到端的強(qiáng)化微調(diào)平臺(tái)，也是首個(gè)端到端強(qiáng)化微調(diào)（RFT）平臺(tái)。
Predibase 表示，DeepSeek-R1 的開源在全球 AI 領(lǐng)域產(chǎn)生了巨大影響，讓很多人意識(shí)到強(qiáng)化學(xué)習(xí)微調(diào)對(duì)訓(xùn)練大模型的重要性。受此啟發(fā)，他們開發(fā)了這個(gè)端到端無(wú)服務(wù)器強(qiáng)化微調(diào)平臺(tái)。
與傳統(tǒng)的監(jiān)督式微調(diào)相比，RFT 不依賴大量的標(biāo)注數(shù)據(jù)，而是通過(guò)獎(jiǎng)勵(lì)和自定義函數(shù)來(lái)完成持續(xù)地強(qiáng)化學(xué)習(xí)，同時(shí)支持無(wú)服務(wù)器和端到端訓(xùn)練方法，從數(shù)據(jù)管理、訓(xùn)練模型到應(yīng)用部署可以在同一個(gè)平臺(tái)完成。用戶只需要一個(gè)瀏覽器，設(shè)定微調(diào)目標(biāo)、上傳數(shù)據(jù)、就能完成以前非常復(fù)雜的大模型微調(diào)流程。
為了展示 RFT 的強(qiáng)大，Predibase 基于阿里 Qwen2.5-Coder-32B-instruct 微調(diào)了一個(gè)專門用于將 PyTorch 代碼翻譯為 Triton 的模型 Predibase-T2T-32B-RFT，并根據(jù)其他更大的基礎(chǔ)模型（包括 DeepSeek-R1、Claude 3.7 Sonnet 和 OpenAI o1）對(duì)內(nèi)核正確性進(jìn)行了基準(zhǔn)測(cè)試。
與傳統(tǒng)的監(jiān)督式微調(diào)方法不同，Predibase-T2T-32B-RFT 利用 RFT 以交互方式調(diào)整模型行為，以最少的標(biāo)記數(shù)據(jù)優(yōu)化下游任務(wù)質(zhì)量。這使其成為專有 LLM 的高性價(jià)比、高性能替代方案。
通過(guò) RFT，Predibase 在訓(xùn)練過(guò)程結(jié)合了冷啟動(dòng)監(jiān)督式微調(diào)、強(qiáng)化學(xué)習(xí)和課程學(xué)習(xí)，并且只使用了十幾個(gè)標(biāo)記數(shù)據(jù)點(diǎn)。
在 Kernelbench 數(shù)據(jù)集上進(jìn)行的基準(zhǔn)測(cè)試顯示，Qwen2.5-Coder-32B-instruct 經(jīng)過(guò)強(qiáng)化后，其正確率比 DeepSeek-R1 和 OpenAI 的 o1 高出 3 倍，比 Claude 3.7 Sonnet 高出 4 倍以上，而模型占用的空間卻小了一個(gè)數(shù)量級(jí)。
附開源地址：
https://huggingface.co/predibase/Predibase-T2T-32B-RFT
在線體驗(yàn)地址：
https://predibase.com/reinforcement-fine-tuning-playground 
