C114通信網(wǎng)  |  通信人家園

人工智能
2024/10/28 11:46

OpenAI解散另一支安全團隊 AGI Readiness首席顧問辭職

愛集微  

OpenAI正在解散其“AGI Readiness”團隊,據(jù)該團隊負(fù)責(zé)人稱,該團隊負(fù)責(zé)就OpenAI處理日益強大的人工智能(AI)的能力以及世界管理該技術(shù)的準(zhǔn)備情況向公司提供建議。

近期,AGI Readiness高級顧問Miles Brundage通過Substack發(fā)文宣布離職。他寫道,他離職的主要原因是機會成本太高,他認(rèn)為自己的研究對外界更有影響力,他希望減少偏見,而且他已經(jīng)完成了在OpenAI的初衷。

通用人工智能(Artificial General Intelligence,簡稱AGI)是人工智能的一個分支,追求在各種任務(wù)上與人類智力相當(dāng)或超越人類智力的技術(shù)。AGI是一個備受爭議的話題,一些領(lǐng)導(dǎo)者認(rèn)為即將實現(xiàn)它,而一些人則認(rèn)為它根本不可能實現(xiàn)。

Brundage在帖子中還寫道:“無論是OpenAI還是其他前沿實驗室都沒有準(zhǔn)備好,世界也沒有準(zhǔn)備好。”

Brundage說,他計劃創(chuàng)辦自己的非營利組織,或者加入現(xiàn)有的非營利組織,專注于人工智能政策研究和宣傳。他說:“如果不齊心協(xié)力,人工智能就不可能盡可能地安全和有益。

根據(jù)Brundage的帖子,前AGI Readiness團隊成員將被重新分配到其他團隊

今年5月,OpenAI解散了其Superalignment團隊——OpenAI稱該團隊專注于“科學(xué)和技術(shù)突破,以引導(dǎo)和控制比我們聰明得多的人工智能系統(tǒng)”,防止它們“失控”,這距離宣布成立該團隊僅一年時間。

OpenAI的Superalignment團隊于去年宣布成立,當(dāng)時OpenAI表示將在四年內(nèi)為該計劃投入20%的計算能力。

今年5月,Superalignment團隊負(fù)責(zé)人、OpenAI聯(lián)合創(chuàng)始人Ilya Sutskever和Jan Leike宣布從這家初創(chuàng)公司離職后,該團隊隨即解散。

“我之所以加入,是因為我認(rèn)為OpenAI將是世界上進行這項研究的最佳場所,”Leike在5月份在X上發(fā)布的帖子中寫道,“然而,我與OpenAI領(lǐng)導(dǎo)層在公司核心優(yōu)先事項上的分歧已經(jīng)持續(xù)了相當(dāng)長的一段時間,直到我們最終達(dá)到了一個爆發(fā)點。”

Leike寫道,他認(rèn)為公司更多的帶寬應(yīng)該集中在安全、監(jiān)控、準(zhǔn)備、安全和社會影響方面。

他當(dāng)時寫道:“這些問題相當(dāng)難以解決,我擔(dān)心我們并不在實現(xiàn)目標(biāo)的軌道上。在過去的幾個月里,我的團隊一直在逆風(fēng)航行。有時我們?yōu)橛嬎阗Y源而苦苦掙扎,要完成這項至關(guān)重要的研究越來越難。”

Leike還說,OpenAI必須成為一家“安全第一的AGI公司”。

AGI Readiness團隊解散的消息傳出之前,OpenAI董事會可能計劃將公司重組為營利性企業(yè),首席技術(shù)官Mira Murati、首席研究官Bob McGrew和研究副總裁Barret Zoph三位高管在9月份同一天宣布離職。

10月初,OpenAI以1570億美元的估值完成了一輪融資,其中包括該公司從眾多投資公司和大型科技公司籌集的66億美元。它還獲得了40億美元的循環(huán)信貸額度,使其流動資金總額超過100億美元。一位熟悉情況的人士稱,該公司預(yù)計今年營收為37億美元,虧損約50億美元。

今年9月,OpenAI宣布其安全與安保委員會將成為獨立的董事會監(jiān)督委員會,該委員會于今年5月成立,負(fù)責(zé)處理有關(guān)安全流程的爭議。該委員會最近結(jié)束了為期90天的審查,對OpenAI的流程和保障措施進行了評估,然后向董事會提出了建議。

高管離職和董事會變動的消息也是繼今年夏天圍繞OpenAI的安全問題和爭議日益增多之后傳出的,此時OpenAI與谷歌、微軟、Meta和其他公司正處于生成式人工智能軍備競賽的風(fēng)口浪尖——據(jù)預(yù)測,這個市場將在十年內(nèi)達(dá)到1萬億美元的營收規(guī)模——因為各行各業(yè)的公司似乎都急于增加人工智能聊天機器人和代理,以避免被競爭對手甩在身后。

知情人士當(dāng)時證實,今年7月,OpenAI將其最高安全主管之一Aleksander Madry調(diào)任到一個專注于人工智能推理的崗位。

根據(jù)Madry的簡歷,Madry曾是OpenAI的準(zhǔn)備工作負(fù)責(zé)人,該團隊的“任務(wù)是跟蹤、評估、預(yù)測和幫助防范與前沿人工智能模型相關(guān)的災(zāi)難性風(fēng)險”。OpenAI當(dāng)時表示,Madry在新崗位上仍將從事核心的人工智能安全工作。

給作者點贊
0 VS 0
寫得不太好

免責(zé)聲明:本文僅代表作者個人觀點,與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機版

      Copyright©1999-2024 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網(wǎng) 版權(quán)所有 舉報電話:021-54451141