C114通信網(wǎng)  |  通信人家園

人工智能
2025/3/20 08:57

感謝 DeepSeek:Predibase 發(fā)布全球首個端到端強化微調平臺并開源,支持無服務器和端到端訓練方法

IT之家  問舟

昨日晚間,大模型訓練、開發(fā)平臺 Predibase 發(fā)布了一個完全托管、無服務器、端到端的強化微調平臺,也是首個端到端強化微調(RFT)平臺。

Predibase 表示,DeepSeek-R1 的開源在全球 AI 領域產生了巨大影響,讓很多人意識到強化學習微調對訓練大模型的重要性。受此啟發(fā),他們開發(fā)了這個端到端無服務器強化微調平臺。

與傳統(tǒng)的監(jiān)督式微調相比,RFT 不依賴大量的標注數(shù)據(jù),而是通過獎勵和自定義函數(shù)來完成持續(xù)地強化學習,同時支持無服務器和端到端訓練方法,從數(shù)據(jù)管理、訓練模型到應用部署可以在同一個平臺完成。用戶只需要一個瀏覽器,設定微調目標、上傳數(shù)據(jù)、就能完成以前非常復雜的大模型微調流程。

為了展示 RFT 的強大,Predibase 基于阿里 Qwen2.5-Coder-32B-instruct 微調了一個專門用于將 PyTorch 代碼翻譯為 Triton 的模型 Predibase-T2T-32B-RFT,并根據(jù)其他更大的基礎模型(包括 DeepSeek-R1、Claude 3.7 Sonnet 和 OpenAI o1)對內核正確性進行了基準測試

與傳統(tǒng)的監(jiān)督式微調方法不同,Predibase-T2T-32B-RFT 利用 RFT 以交互方式調整模型行為,以最少的標記數(shù)據(jù)優(yōu)化下游任務質量。這使其成為專有 LLM 的高性價比、高性能替代方案。

通過 RFT,Predibase 在訓練過程結合了冷啟動監(jiān)督式微調、強化學習和課程學習,并且只使用了十幾個標記數(shù)據(jù)點。

在 Kernelbench 數(shù)據(jù)集上進行的基準測試顯示,Qwen2.5-Coder-32B-instruct 經(jīng)過強化后,其正確率比 DeepSeek-R1 和 OpenAI 的 o1 高出 3 倍,比 Claude 3.7 Sonnet 高出 4 倍以上,而模型占用的空間卻小了一個數(shù)量級。

附開源地址:

https://huggingface.co/predibase/Predibase-T2T-32B-RFT

在線體驗地址:

https://predibase.com/reinforcement-fine-tuning-playground

給作者點贊
0 VS 0
寫得不太好

免責聲明:本文僅代表作者個人觀點,與C114通信網(wǎng)無關。其原創(chuàng)性以及文中陳述文字和內容未經(jīng)本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網(wǎng) 版權所有 舉報電話:021-54451141