C114通信網(wǎng)  |  通信人家園

人工智能
2025/3/4 11:42

微軟擁抱 DeepSeek,Copilot+ PC 本地運(yùn)行 7B 和 14B 模型

IT之家  汪淼

微軟今日宣布,通過 Azure AI Foundry 接入 DeepSeek-R1 7B 和 14B 蒸餾模型,為 Copilot+ PC 提供本地運(yùn)行 7B 和 14B 模型的能力。

早在今年 1 月,微軟就宣布計劃將 DeepSeek-R1 模型的 NPU 優(yōu)化版本直接帶到搭載高通驍龍 X 處理器的 Copilot+ PC 上。如今,這個承諾終于兌現(xiàn)。

IT之家從微軟官方博客獲悉,模型將從搭載高通驍龍 X 處理器的 Copilot+ PC 開始上線,隨后是英特爾酷睿 Ultra 200V 和 AMD 銳龍的設(shè)備。

由于模型運(yùn)行在 NPU 上,因此可以減少對 PC 電池續(xù)航和散熱性能影響的同時,持續(xù)獲得 AI 計算能力,CPU 和 GPU 將可用于執(zhí)行其他任務(wù)。

微軟強(qiáng)調(diào),它使用了 Aqua 內(nèi)部自動量化工具,將所有 DeepSeek 模型變體量化為 int4 權(quán)重。不幸的是,模型標(biāo)記速度相當(dāng)?shù)汀N④泩蟾娣Q,14B 模型的標(biāo)記速度僅為 8 tok / 秒,而 1.5B 模型的標(biāo)記速度接近 40 tok / 秒。微軟提到,該公司正在進(jìn)一步優(yōu)化提高速度。

開發(fā)者可以通過 AI Toolkit VS Code 擴(kuò)展在 Copilot+ PC 上下載和運(yùn)行 DeepSeek 模型的 1.5B、7B 和 14B 版本。

給作者點贊
0 VS 0
寫得不太好

免責(zé)聲明:本文僅代表作者個人觀點,與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機(jī)版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網(wǎng) 版權(quán)所有 舉報電話:021-54451141