過去幾個月,OpenAI的技術(shù)團(tuán)隊中有多名安全方面的高層人員離職,這些前員工中有些人對OpenAI在AI安全方面的優(yōu)先級下降表示擔(dān)憂。
OpenAI周二宣布成立一個新的安全顧問委員會,負(fù)責(zé)監(jiān)督與公司項目和運(yùn)營相關(guān)的“關(guān)鍵”安全和安保決策。而值得注意的是,進(jìn)入該安全顧問委員會的成員全部為該公司內(nèi)部人員,包括OpenAI的CEO Sam Altman,外部人員一個也沒有。
根據(jù)OpenAI公司博客上的一篇文章,安全顧問委員會將在接下來90天內(nèi)負(fù)責(zé)評估OpenAI得安全流程和保障措施。然后,該委員會將向OpenAI董事會匯報其發(fā)現(xiàn)和建議,OpenAI表示,屆時將以符合安全和安保的方式公布任何已采納的建議的更新。
OpenAI周二表示,已開始訓(xùn)練新一代旗艦人工智能模型,以期超越目前的GPT-4大模型!癘penAI最近開始訓(xùn)練其下一個前沿模型,我們預(yù)計由此產(chǎn)生的系統(tǒng)將使我們在通往通用人工智能的道路上邁上一個新臺階,”O(jiān)penAI寫道!半m然我們很自豪地構(gòu)建和發(fā)布在能力和安全方面都領(lǐng)先的模型,但我們歡迎在這個重要時刻進(jìn)行深入討論!
除了Altman,安全顧問委員會的其他成員包括OpenAI董事會成員Bret Taylor、Adam D’Angelo和Nicole Seligman,以及首席科學(xué)家Jakub Pachocki、OpenAI早期籌備團(tuán)隊的Aleksander Madry、安全系統(tǒng)負(fù)責(zé)人Lilian Weng、安保負(fù)責(zé)人Matt Knight和“人工智能對齊”(AI Alignment)負(fù)責(zé)人John Schulman。
安全不再優(yōu)先 多名高層離職
過去幾個月,OpenAI的技術(shù)團(tuán)隊中有多名安全方面的高層人員離職,這些前員工中有些人對OpenAI在AI安全方面的優(yōu)先級下降表示擔(dān)憂。
曾在OpenAI擔(dān)任團(tuán)隊治理工作的Daniel Kokotajlo在4月辭職,因為他對OpenAI在發(fā)布越來越強(qiáng)大的AI時“負(fù)責(zé)任的行為”失去了信心,他在個人博客上寫道。此外,OpenAI的聯(lián)合創(chuàng)始人兼前首席科學(xué)家Ilya Sutskever在與Altman及其盟友的長期斗爭后,于5月離職,據(jù)報道部分原因是Altman急于推出AI驅(qū)動的產(chǎn)品而犧牲了安全性能。
最近,前DeepMind研究員Jan Leike此前在OpenAI負(fù)責(zé)開發(fā)ChatGPT及其前身InstructGPT的過程中,也辭去了安全研究員職務(wù),他在一系列X平臺的帖子中表示,他認(rèn)為OpenAI“未走在解決AI安全和安保問題的正確軌道上”。同時,AI政策研究員Gretchen Krueger上周離開OpenAI,她也同意Leike的觀點(diǎn),呼吁公司提高問責(zé)制和透明度,并“更加謹(jǐn)慎地使用自己的技術(shù)”。
媒體報道,除了Sutskever、Kokotajlo、Leike和Krueger,自去年年底以來,至少有五名OpenAI最重視安全的員工要么辭職,要么被迫離開,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。兩人日前在媒體撰文稱,在Altman的領(lǐng)導(dǎo)下,他們相信OpenAI無法實(shí)現(xiàn)對自身追究責(zé)任。
“根據(jù)我們的經(jīng)驗,OpenAI的自我治理無法承受利潤激勵帶來的誘惑。”
倡導(dǎo)監(jiān)管?塑造監(jiān)管
此前有媒體報道,負(fù)責(zé)開發(fā)“超級智能”AI系統(tǒng)治理方法的OpenAI超級對齊(Superalignment team)團(tuán)隊被承諾獲得公司20%的計算資源,但實(shí)際上卻很少這部分資源。超級對齊團(tuán)隊自那以后被解散,其工作大部分被轉(zhuǎn)交給“人工智能對齊”(AI Alignment)負(fù)責(zé)人John Schulman和OpenAI在12月成立的安全咨詢小組。
雖然OpenAI一直在倡導(dǎo)AI監(jiān)管,但也在努力影響塑造這些監(jiān)管,該公司聘請了一名內(nèi)部游說者和越來越多的外部律師事務(wù)所游說者,僅在美國游說方面該公司2023年第四季度就花費(fèi)了數(shù)十萬美元。最近,美國國土安全部宣布Altman將成為其新成立的人工智能安全和安保委員會(Artificial Intelligence Safety and Security Board)的成員,該委員會將為“安全和可靠的AI開發(fā)和部署”提供建議,以覆蓋美國的關(guān)鍵基礎(chǔ)設(shè)施。
而為了避免由于安全和安保委員會全部為內(nèi)部高管而被認(rèn)為是橡皮圖章,OpenAI承諾聘請第三方“安全、安保和技術(shù)”專家來支持委員會的工作,包括網(wǎng)絡(luò)安全專家Rob Joyce和前美國司法部官員John Carlin。
然而,除了Joyce和Carlin,OpenAI尚未詳細(xì)說明該外部專家組的規(guī)模和組成,也沒有透露該組對委員會的影響力和權(quán)力的限制。有專家指出,OpenAI成立此類的企業(yè)監(jiān)督委員會,類似于谷歌的高級技術(shù)外部咨詢委員會,其實(shí)在實(shí)際監(jiān)督方面幾乎沒有什么作為。