科技媒體 testingcatalog 昨日(3 月 26 日)發(fā)布博文,報(bào)道稱 AI 公司 Anthropic 正計(jì)劃“擴(kuò)容”Claude 3.7 Sonnet 模型,將其上下文窗口將從 20 萬(wàn) token 躍升至 50 萬(wàn) token。
50 萬(wàn) tokens 窗口可直接處理海量信息,避免檢索增強(qiáng)生成(RAG)可能導(dǎo)致的上下文錯(cuò)亂問(wèn)題,適用于政治文檔分析、超長(zhǎng)代碼庫(kù)管理(如數(shù)十萬(wàn)行代碼)、跨文檔摘要生成等復(fù)雜任務(wù)。不過(guò)該媒體也指出超大上下文可能帶來(lái)內(nèi)存和算力成本壓力,模型實(shí)際利用率仍需驗(yàn)證。
IT之家注:上下文窗口(Context Window)是模型在生成每個(gè)新 token 時(shí)實(shí)際參考的前面內(nèi)容的范圍?梢詫⑵漕惐葹樵谀骋惶囟〞r(shí)間內(nèi)你能集中注意力的范圍,就像你只能專注于手頭的有限任務(wù)。
Context Window 決定了在生成過(guò)程中,模型可以參考的上下文信息的量。這有助于模型生成連貫且相關(guān)的文本,而不會(huì)因?yàn)閰⒖歼^(guò)多的上下文而導(dǎo)致混亂或不相關(guān)的輸出。
消息稱該功能或先面向企業(yè)客戶開(kāi)放,如編程工具 Cursor 已在其 IDE 中提供 "Claude Sonnet 3.7 MAX" 選項(xiàng)。Anthropic 始終聚焦企業(yè)級(jí)解決方案,此次升級(jí)直指 Google Gemini 等競(jìng)品的超長(zhǎng)上下文優(yōu)勢(shì)。
此次升級(jí)恰逢 AI 驅(qū)動(dòng)的“氛圍編程”(vibe coding)興起。開(kāi)發(fā)者通過(guò)自然語(yǔ)言描述生成代碼,50 萬(wàn) token 窗口可支持更大型項(xiàng)目連續(xù)開(kāi)發(fā),減少因 token 限制導(dǎo)致的中斷,進(jìn)一步降低編程門檻。