在AI技術(shù)飛速發(fā)展的當(dāng)下，AI大模型的應(yīng)用正從云端向端側(cè)加速滲透。
作為全球領(lǐng)先的物聯(lián)網(wǎng)整體解決方案供應(yīng)商，移遠(yuǎn)通信憑借深厚的技術(shù)積累與前瞻性的戰(zhàn)略布局，在AI大模型端側(cè)部署的賽道上率先發(fā)力，其端側(cè)AI大模型解決方案備受矚目，為AI設(shè)備的革新注入了澎湃動(dòng)力。
萬億級市場藍(lán)海顯現(xiàn)，端側(cè)AI大模型加速落地
近年來，端側(cè)AI市場呈現(xiàn)出驚人的增長態(tài)勢。據(jù)頭豹研究院發(fā)布的《2024 年中國端側(cè) AI 場景應(yīng)用分析：智能終端與邊緣計(jì)算的融合創(chuàng)新》報(bào)告預(yù)測，2023年中國端側(cè) AI 市場規(guī)模達(dá)1,939億元，預(yù)計(jì)2028年將增至19,071億元，年均復(fù)合增長率高達(dá)58%。
從千億級邁向萬億級，這一數(shù)據(jù)背后，是端側(cè)設(shè)備對智能化、實(shí)時(shí)性需求的爆發(fā)式增長。然而，端側(cè)AI的崛起并非偶然。通過將AI大模型部署在端側(cè)，不僅解決了云端部署在網(wǎng)絡(luò)延遲、隱私安全、算力成本等方面的問題，更釋放了設(shè)備端的算力潛力，為AI應(yīng)用的深度拓展提供了可能。
在應(yīng)用方面，端側(cè)AI大模型的落地速度遠(yuǎn)超預(yù)期。在CES 2025上，AI PC、AI手機(jī)、AI眼鏡、AI智能家電等一系列具備AI能力的終端設(shè)備紛紛亮相，充分展示了端側(cè)AI的無限可能。
三大核心驅(qū)動(dòng)力, 端側(cè)AI部署正當(dāng)時(shí)
當(dāng)前，端側(cè)AI的部署正以前所未有的速度推進(jìn)。這背后離不開以下三大核心驅(qū)動(dòng)力的支撐。
端側(cè)AI算力的提升。面向端側(cè)AI應(yīng)用，移遠(yuǎn)通信打造了豐富的AI算力模組，其中，SG885G基于高通QCS8550平臺(tái)開發(fā)，AI綜合算力高達(dá)48 TOPS，能夠輕松滿足復(fù)雜模型本地化推理的算力需求。
AI模型小型化發(fā)展。DeepSeek的出現(xiàn)，以及量化和蒸餾技術(shù)的應(yīng)用，推動(dòng)了AI模型的小型化發(fā)展。現(xiàn)階段，3B或4B參數(shù)級別的AI模型已等效于之前的7B參數(shù)AI模型，這使得小算力芯片、小容量存儲(chǔ)以及小BOM設(shè)計(jì)就能實(shí)現(xiàn)高性能的端側(cè)AI方案。
客戶需求的拉動(dòng)。AI大模型的端側(cè)部署方式具備諸多優(yōu)勢，不僅確保了終端設(shè)備的實(shí)時(shí)響應(yīng)和隱私安全，還能在無網(wǎng)環(huán)境下保持穩(wěn)定運(yùn)行，同時(shí)顯著降低推理成本，這極大地激發(fā)了客戶在端側(cè)部署AI的積極性。
移遠(yuǎn)端側(cè)大模型解決方案：技術(shù)三角重構(gòu)智能邏輯
在AI大模型領(lǐng)域，移遠(yuǎn)通信率先布局，于2024年8月份便推出了AI大模型解決方案，為AI大模型技術(shù)在端側(cè)的落地做好了充分準(zhǔn)備。
移遠(yuǎn)通信端側(cè)AI大模型解決方案以“LLM（大語言模型）+ RAG（檢索增強(qiáng)生成）+ Agent（智能體）”技術(shù)三角為核心，通過對AI模型的深度優(yōu)化與增強(qiáng)，重新定義了 AI 端側(cè)設(shè)備的智能化邏輯。
該方案基于移遠(yuǎn)高算力AI模組SG885G-WF，其48 TOPS的AI綜合算力可為方案功能的實(shí)現(xiàn)提供充足的算力支持。同時(shí)，方案在全語音鏈路上實(shí)現(xiàn)了無縫銜接與高效運(yùn)行，從KWS語音喚醒到VAD人聲檢測，再到ASR語音識(shí)別，最后通過TTS語音播報(bào)，能夠?yàn)橛脩魩砀匀坏恼Z音交互以及更加個(gè)性化的服務(wù)體驗(yàn)。
得益于移遠(yuǎn)通信全方位的工程能力，其端側(cè)AI大模型解決方案可廣泛應(yīng)用于機(jī)器人、醫(yī)療診斷、教育學(xué)習(xí)機(jī)、智能座艙、智能客服、智能點(diǎn)單機(jī)、PDA、對講機(jī)、陪伴玩具、智能網(wǎng)關(guān)、廣告機(jī)等眾多場景。
日前，移遠(yuǎn)通信聯(lián)合德壹發(fā)布的AI具身理療機(jī)器人，便是基于其端側(cè)AI大模型解決方案打造的。該機(jī)器人在無需理療師介入、無網(wǎng)絡(luò)連接的環(huán)境下，能夠快速且準(zhǔn)確地理解用戶指令和意圖，高效完成通用聊天、醫(yī)療領(lǐng)域RAG問答、指令控制等任務(wù)，充分展現(xiàn)了移遠(yuǎn)端側(cè)AI大模型解決方案的實(shí)用價(jià)值。
AI大模型端側(cè)部署的時(shí)代已全面開啟。接下來，移遠(yuǎn)通信將持續(xù)深化AI算力平臺(tái)迭代，推出具備更高算力的AI模組，將 AI 大模型的能力拓展至更多的端側(cè)場景，為推動(dòng)端側(cè)AI技術(shù)的發(fā)展和應(yīng)用貢獻(xiàn)更多力量。 
