在近日瑞士舉行的2024年人工智能向善全球峰會(AI for Good Global Summit)上,OpenAI CEO山姆·奧爾特曼(Sam Altman)與《大西洋月刊》CEO尼古拉斯·湯普森(Nicholas Thompson)進行了連線交流,提及AI的全球化、安全性、合成數(shù)據訓練以及下一代大模型等相關問題。
奧爾特曼在對話中預測,中國將會擁有自己獨特的大語言模型,與世界其他地區(qū)的模型不同。當被問到三年后會有多少基礎的大語言模型存在時,奧爾特曼表示,當下有許多模型正在訓練,這種趨勢將會持續(xù),“將有成千上萬的大語言模型被開發(fā)出來,但其中只有少數(shù),如10個、20個或類似的數(shù)量,會獲得大量的使用和最密集的資源投入!
奧爾特曼認為,我們仍處在AGI的初級階段,還有許多未知等待去探索,還有許多科學上的突破即將到來,因此在這一點上做出任何自信的預測都是非常困難的。
另一點是關于人工智能的全球化和公平問題,有人認為,GPT-4和其他大語言模型在英語、西班牙語和法語上的表現(xiàn)要優(yōu)于斯瓦希里語(一種在非洲廣泛使用的語言)等語言。奧爾特曼則回復,GPT-4o在更多種類的語言上都表現(xiàn)出色,OpenAI此前公布的統(tǒng)計數(shù)據顯示,GPT-4o已經能夠覆蓋97%人群的母語。
關于OpenAI,近段時間備受關注的仍然是其安全性問題,在GPT-4o模型發(fā)布不久后,負責安全事務的聯(lián)合創(chuàng)始人、首席科學家伊爾亞·蘇茨克維(Ilya Sutskever)就官宣離職,而另一位在安全領域作出重大貢獻的超級對齊團隊聯(lián)合負責人楊·萊克(Jan Leike)也離開OpenAI轉投Anthropic,并在社交媒體X上稱“(OpenAI)安全文化和安全流程已經讓位給閃亮的產品”。
奧爾特曼在對話中表示,在確保安全性方面,模型的可解釋性是一個值得探究的領域,目前盡管尚未解決可解釋性問題,但他“對正在發(fā)生的許多事情感到非常興奮”。在他看來,對模型內部運作的理解越深入,就越能做出更好的決策,“這可以成為我們構建和驗證安全性聲明的綜合性方案的一部分!
此外,人道科技中心聯(lián)合創(chuàng)始人兼執(zhí)行主管特里斯坦·哈里斯(Tristan Harris)曾提出一個建議是,大語言模型公司每投入100萬美元用于增強模型的能力,也應同等投入100萬美元用于安全性研究。奧爾特曼認為,人們往往傾向于把世界簡單地劃分為性能與安全兩個部分,并制定一些聽起來很有道理的政策,而要界定許多工作的性質是非常困難的。
如果在生產中使用一個模型,用戶確實會希望它能夠完成既定任務,同時不會產生任何負面影響。不過,讓模型在既定的界限內,按照用戶的期望去運行,是一個綜合性的問題。奧爾特曼將這個過程比喻為搭乘飛機,用戶期望它能安全地將自己送達目的地,同時也希望在整個飛行過程中不會出現(xiàn)任何故障。
“在飛機設計中,有些部分可以明確區(qū)分為能力提升或安全措施,但總體而言,我們是在努力設計一個綜合系統(tǒng),旨在安全、迅速地將您帶到目的地,并確保飛行中不會出現(xiàn)任何部件脫落的問題!眾W爾特曼的觀點是,有關產品能力提升和安全措施的這種界限,實際上并沒有表面上看起來那么清晰。
不過,在有關安全的關鍵人才離開之后,OpenAI “飛機的機翼”依然穩(wěn)固嗎?針對公眾的質疑,奧爾特曼認為,這種評價應基于公司行動,包括發(fā)布的模型、所開展的工作、進行的科學研究,實際上公司已經進行了對齊研究、建立了安全系統(tǒng)、實施了監(jiān)控措施。
在對話中,談及下一代模型是否會迎來指數(shù)增長的顯著飛躍,奧爾特曼表示,“我們并不認為我們正處于任何指數(shù)增長的臨界點!彼J為大模型仍然有很大的發(fā)展空間,并預期在某些領域將實現(xiàn)巨大的進步,但在其他一些領域可能提升并不如預期顯著,這與之前每次模型更新時的情況相似。
訓練大模型最關鍵的部分之一是數(shù)據,在對話中奧爾特曼提到,為了訓練下一代模型,OpenAI在大量生成合成數(shù)據用以訓練方面進行了各種實驗。但如果訓練模型的最佳途徑僅僅是創(chuàng)造數(shù)以萬億計的合成數(shù)據并將其重新輸入系統(tǒng),這種方法在某種程度上顯得效率不高,“應該存在一種機制,讓模型在訓練過程中能夠更有效地從數(shù)據中學習,我認為我們還有許多問題需要解決!
合成數(shù)據是否會引發(fā)數(shù)據出錯問題?奧爾特曼認為,無論是合成數(shù)據還是人類生成的數(shù)據,都存在質量良莠不齊的問題,關鍵在于獲取高質量的數(shù)據。只要能夠收集到足夠高質量的數(shù)據來訓練模型,或者能夠開發(fā)出提高數(shù)據效率的方法,從較少的數(shù)據量中學習更多,出錯的問題是可以解決的。