C114通信網(wǎng)  |  通信人家園

人工智能
2024/10/28 11:46

OpenAI解散另一支安全團(tuán)隊(duì) AGI Readiness首席顧問辭職

愛集微  

OpenAI正在解散其“AGI Readiness”團(tuán)隊(duì),據(jù)該團(tuán)隊(duì)負(fù)責(zé)人稱,該團(tuán)隊(duì)負(fù)責(zé)就OpenAI處理日益強(qiáng)大的人工智能(AI)的能力以及世界管理該技術(shù)的準(zhǔn)備情況向公司提供建議。

近期,AGI Readiness高級(jí)顧問Miles Brundage通過Substack發(fā)文宣布離職。他寫道,他離職的主要原因是機(jī)會(huì)成本太高,他認(rèn)為自己的研究對外界更有影響力,他希望減少偏見,而且他已經(jīng)完成了在OpenAI的初衷。

通用人工智能(Artificial General Intelligence,簡稱AGI)是人工智能的一個(gè)分支,追求在各種任務(wù)上與人類智力相當(dāng)或超越人類智力的技術(shù)。AGI是一個(gè)備受爭議的話題,一些領(lǐng)導(dǎo)者認(rèn)為即將實(shí)現(xiàn)它,而一些人則認(rèn)為它根本不可能實(shí)現(xiàn)。

Brundage在帖子中還寫道:“無論是OpenAI還是其他前沿實(shí)驗(yàn)室都沒有準(zhǔn)備好,世界也沒有準(zhǔn)備好。”

Brundage說,他計(jì)劃創(chuàng)辦自己的非營利組織,或者加入現(xiàn)有的非營利組織,專注于人工智能政策研究和宣傳。他說:“如果不齊心協(xié)力,人工智能就不可能盡可能地安全和有益。

根據(jù)Brundage的帖子,前AGI Readiness團(tuán)隊(duì)成員將被重新分配到其他團(tuán)隊(duì)

今年5月,OpenAI解散了其Superalignment團(tuán)隊(duì)——OpenAI稱該團(tuán)隊(duì)專注于“科學(xué)和技術(shù)突破,以引導(dǎo)和控制比我們聰明得多的人工智能系統(tǒng)”,防止它們“失控”,這距離宣布成立該團(tuán)隊(duì)僅一年時(shí)間。

OpenAI的Superalignment團(tuán)隊(duì)于去年宣布成立,當(dāng)時(shí)OpenAI表示將在四年內(nèi)為該計(jì)劃投入20%的計(jì)算能力。

今年5月,Superalignment團(tuán)隊(duì)負(fù)責(zé)人、OpenAI聯(lián)合創(chuàng)始人Ilya Sutskever和Jan Leike宣布從這家初創(chuàng)公司離職后,該團(tuán)隊(duì)隨即解散。

“我之所以加入,是因?yàn)槲艺J(rèn)為OpenAI將是世界上進(jìn)行這項(xiàng)研究的最佳場所,”Leike在5月份在X上發(fā)布的帖子中寫道,“然而,我與OpenAI領(lǐng)導(dǎo)層在公司核心優(yōu)先事項(xiàng)上的分歧已經(jīng)持續(xù)了相當(dāng)長的一段時(shí)間,直到我們最終達(dá)到了一個(gè)爆發(fā)點(diǎn)。”

Leike寫道,他認(rèn)為公司更多的帶寬應(yīng)該集中在安全、監(jiān)控、準(zhǔn)備、安全和社會(huì)影響方面。

他當(dāng)時(shí)寫道:“這些問題相當(dāng)難以解決,我擔(dān)心我們并不在實(shí)現(xiàn)目標(biāo)的軌道上。在過去的幾個(gè)月里,我的團(tuán)隊(duì)一直在逆風(fēng)航行。有時(shí)我們?yōu)橛?jì)算資源而苦苦掙扎,要完成這項(xiàng)至關(guān)重要的研究越來越難。”

Leike還說,OpenAI必須成為一家“安全第一的AGI公司”。

AGI Readiness團(tuán)隊(duì)解散的消息傳出之前,OpenAI董事會(huì)可能計(jì)劃將公司重組為營利性企業(yè),首席技術(shù)官M(fèi)ira Murati、首席研究官Bob McGrew和研究副總裁Barret Zoph三位高管在9月份同一天宣布離職。

10月初,OpenAI以1570億美元的估值完成了一輪融資,其中包括該公司從眾多投資公司和大型科技公司籌集的66億美元。它還獲得了40億美元的循環(huán)信貸額度,使其流動(dòng)資金總額超過100億美元。一位熟悉情況的人士稱,該公司預(yù)計(jì)今年?duì)I收為37億美元,虧損約50億美元。

今年9月,OpenAI宣布其安全與安保委員會(huì)將成為獨(dú)立的董事會(huì)監(jiān)督委員會(huì),該委員會(huì)于今年5月成立,負(fù)責(zé)處理有關(guān)安全流程的爭議。該委員會(huì)最近結(jié)束了為期90天的審查,對OpenAI的流程和保障措施進(jìn)行了評估,然后向董事會(huì)提出了建議。

高管離職和董事會(huì)變動(dòng)的消息也是繼今年夏天圍繞OpenAI的安全問題和爭議日益增多之后傳出的,此時(shí)OpenAI與谷歌、微軟、Meta和其他公司正處于生成式人工智能軍備競賽的風(fēng)口浪尖——據(jù)預(yù)測,這個(gè)市場將在十年內(nèi)達(dá)到1萬億美元的營收規(guī)模——因?yàn)楦餍懈鳂I(yè)的公司似乎都急于增加人工智能聊天機(jī)器人和代理,以避免被競爭對手甩在身后。

知情人士當(dāng)時(shí)證實(shí),今年7月,OpenAI將其最高安全主管之一Aleksander Madry調(diào)任到一個(gè)專注于人工智能推理的崗位。

根據(jù)Madry的簡歷,Madry曾是OpenAI的準(zhǔn)備工作負(fù)責(zé)人,該團(tuán)隊(duì)的“任務(wù)是跟蹤、評估、預(yù)測和幫助防范與前沿人工智能模型相關(guān)的災(zāi)難性風(fēng)險(xiǎn)”。OpenAI當(dāng)時(shí)表示,Madry在新崗位上仍將從事核心的人工智能安全工作。

給作者點(diǎn)贊
0 VS 0
寫得不太好

免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機(jī)版

      Copyright©1999-2024 c114 All Rights Reserved | 滬ICP備12002291號(hào)

      C114 通信網(wǎng) 版權(quán)所有 舉報(bào)電話:021-54451141