新火種
2023-10-30 
ChatGPT之父中國對話全文：《道德經》、大國分歧與AGI時間表
·“可能下個十年我們會有非常強大的AI系統，新技術從根本上改變世界的速度比我們想象的快。未來的AGI系統或許具有10萬行二進制代碼，人類監管人員不太可能發現這樣的模型是否在做一些邪惡的事情。因此，OpenAI正在致力于一些新的和互補的研究方向，希望能實現突破。”
·“我們需要國際合作，以可核查的方式建立對安全開發日益強大的AI系統的國際間信任。我并不妄想這是一件容易的事，需要投入大量和持續的關注。”奧特曼引用《道德經》：“千里之行，始于足下”。
OpenAI聯合創始人山姆·奧特曼（Sam Altman）在2023北京智源大會上隔空對話智源人工智能研究院理事長張宏江。
“距離通用人工智能（AGI）還有多遠？”似乎OpenAI聯合創始人山姆·奧特曼（Sam Altman）總是被問到這個問題。6月10日，在2023北京智源大會上對話智源人工智能研究院理事長張宏江時，他給出的答案是：“這很難評估具體時間，可能下個十年我們會有非常強大的AI系統，新技術從根本上改變世界的速度比我們想象的快。”
奧特曼再次被問到有關GPT-5的計劃，他重申不會很快部署GPT-5，未來會有更多開源大模型，但沒有具體模型和時間表。
奧特曼表示，他正在進行環球之旅，目前已經去過五個大洲的近20個國家，與學生、開發人員和國家元首會面。事實上，他目前就在亞洲。“我們看到了世界各地的人們都已經在使用AI技術，以令人難以置信的方式改變生活。我們也收到了來自用戶的寶貴反饋，告訴我們如何能使這些工具變得更好。我們還有機會與外國領導人進行有意義的對話，討論需要建立的監管安全措施，以確保安全和可靠地部署日益強大的人工智能系統。”
“隨著日益強大的AI系統的出現，全球合作的賭注從未如此之大。”奧特曼表示，“真心希望我們都能同意，推進AGI（通用人工智能）安全是我們需要找到共同利益點的最重要領域之一。”
奧特曼特別提到中國應該在人工智能安全方面發揮關鍵作用，“中國擁有一些世界上最優秀的人工智能人才，從根本上說，鑒于解決先進人工智能系統對齊（alignment）問題的困難，這需要來自世界各地的最優秀人才。”
具體而言，奧特曼認為，推進AGI安全的第一點是AGI治理。“AGI是一種從根本上改變我們文明的強大力量，這意味著有意義的國際合作和協調是極其必要的。如果國際間能夠合作治理，那么我們每一個人都能受益。”國際合作中，他提出兩個最重要的關鍵領域：建立國際規范和標準，以及在過程中注重包容性。“在任何國家使用AGI系統，都應平等而一致地遵循這樣的國際標準和規范。”
第二，“我們需要國際合作，以可核查的方式建立對安全開發日益強大的AI系統的國際間信任。我并不妄想這是一件容易的事，需要投入大量和持續的關注。”他引用《道德經》：“千里之行，始于足下”。
山姆·奧特曼引用《道德經》談AI安全，稱需要中國人才助力。(01:23)奧特曼認為，目前可以邁出的最有建設性的一步是與國際科技界合作，特別是推動建立提高AGI安全技術進步方面的透明度和知識共享的機制。當研究人員發現新出現的安全問題時，他們應為了人類更大的利益分享自己的發現。人們需要認真思考如何在尊重和保護知識產權的同時，鼓勵這樣的規范。這可以為人們深化合作打開新的大門。
在回答張宏江關于OpenAI是否會開源大模型時，奧特曼透露，未來會有更多開源大模型。
奧特曼透露，未來會有更多開源大模型。(01:50)奧特曼呼吁，應該在促進和引導AI對齊和安全研究方向進行投資。基于OpenAI自己的經驗，他分享道，“在如何讓人工智能系統成為一個更安全有用的系統的技術問題上，我們進行AI對齊研究。這可能指向，我們該如何訓練ChatGPT，使其不進行暴力威脅或協助用戶進行有害的活動。”
從GPT-4完成預訓練到部署，奧特曼稱OpenAI專門花了8個月時間來進行對齊方面的工作。總的來說，他認為，GPT-4比OpenAI以前的任何模型都更加與人類對齊。
不過，對于更先進的系統，奧特曼也坦承，對齊仍然是一個未解決的問題，需要新的技術方法，同時增強治理和監督。
“我們想象一下，未來的AGI系統或許具有10萬行二進制代碼，人類監督員不太可能發現這樣的模型是否在做一些邪惡的事情。”因此，OpenAI正在致力于一些新的和互補的研究方向，希望能實現突破。
其中一個是可擴展監督，嘗試使用AI系統來協助人類監督其他AI系統。例如，可以訓練一個模型來幫助人類監督發現其他模型輸出中的缺陷。
第二是可解釋性。“我們想嘗試更好地了解這些模型內部發生了什么。我們最近發表了一篇論文，使用GPT-4來解釋GPT-2中的神經元。在另一篇論文中，我們使用Model Internals（對一些本質可解釋的模型，輸出比如線性模型的權重）來檢測一個模型何時在說謊。”奧特曼說。
這些行動的最終目標是，訓練AI系統來幫助進行對齊研究。這種方法的好處在于，它可以隨著AI的發展速度而擴展。
是否有可能需要更改AGI模型的整個基礎架構或整個體系結構以讓其更安全？奧特曼表示，無論是從功能角度還是從安全角度來看，確實需要一些非常不同的架構，這是完全可能的。
“我認為我們將能夠取得一些進展，在解釋我們目前各種模型的能力方面取得良好進展，并讓他們更好地向我們解釋他們在做什么以及為什么。如果在Transformer之后有另一個巨大的飛躍，我不會感到驚訝。自從最初的Transformer以來，我們已經改變了很多架構。”奧特曼說。
以下為演講與問答實錄，有部分刪減：
每次我訪問中國，遇到的技術人才都能使我驚奇和振奮。正如你前面提到的，我現在正處于環世界之旅的第四周。我已經去了五個大洲的近20個國家，與學生、開發人員和國家元首會面。
這次旅行對我是一種激勵。我們看到了世界各地的人們都已經在使用AI技術，以令人難以置信的方式改變生活。我們也收到了來自用戶的寶貴反饋，告訴我們如何能使這些工具變得更好。我們還有機會與外國領導人進行有意義的對話，討論需要建立的監管安全措施，以確保安全和可靠地部署日益強大的人工智能系統。
整個世界現在都在集中注意力，想要解決當今的人工智能問題，這也是非常正確的、值得我們努力解決的重要議題。我們還有很多工作要做，但鑒于我們已經取得的進展，我相信我們一定會達到目標。
今天，我想談一談未來。具體來說，我想談談我們看到的人工智能能力的增長速度，以及我們現在需要做什么，從而為將它們部署到世界做好負責任的準備。
科學史告訴我們，技術進步遵循的是一條指數曲線。我們在幾千年來的農業、工業和計算革命中都看到了這一點。而我們現在正在見證的人工智能革命影響如此之大的原因，不僅在于其影響的規模，也在于其進展的速度。它正在擴展人類想象力的邊界，并以極快的速度進行著。
想象一下未來十年的世界，通常稱為AGI的通用人工智能系統，在幾乎所有領域的專業技能都超過了人類。這些系統產生的生產力最終可以超過我們最大公司所能產出的集體生產力。
潛在的紅利是巨大的。人工智能革命可以創造人類共享的財富，而且可能大幅提高每個人的生活水平。但我們必須共同應對挑戰，如氣候變化和全球衛生安全，并以其他方式提高社會福祉。
我非常了解，大國之間有時可能會有分歧，從古至今都是如此。但即使在最困難的時期，大國們也找到了在最重要的事情上進行合作的方法。大國之間的合作促進了關鍵的醫療和科學進步，如根除脊髓灰質炎和天花等疾病，全球也共同努力減弱了氣候變化風險。
隨著日益強大的AI系統的出現，全球合作的賭注從未如此之大。如果我們不小心行事，建立了一個旨在改善公共衛生成果的AI系統，但卻可能因為對齊出現問題，而向人們提供沒有根據的醫療建議，反而破壞了整個醫療體系。同樣，一個旨在優化農業實踐的AI系統可能會由于缺乏對影響糧食生產和環境平衡的長期可持續性的考慮，而無意中耗盡自然資源或破壞生態系統。我真心希望我們都能同意，推進AGI安全是我們需要找到共同利益點的最重要的領域之一。
我想在接下來的發言中重點談談，我們可以從哪里開始。
第一個領域是AGI治理。AGI是一種從根本上改變我們文明的強大力量，這意味著有意義的國際合作和協調是極其必要的。如果國際間能夠合作治理，那么我們每一個人都能受益。
如果我們安全和負責任地對其進行治理，AGI系統可以為全球經濟創造無與倫比的經濟財富，能夠解決像氣候變化、健康、安全這樣的共同挑戰，并以無數其他方式改善社會。我非常相信這樣的未來將會到來，而我們所有居住在這個星球的人，需要共同投資于AGI的安全措施，才能到達、享受這樣的未來。要做到這一點，需要大家認真合作。AGI是一個全球性的科技，也有著全球范圍內的影響力。出現事故或者不負責任地發展，其代價會影響我們所有人。
國際合作中，我認為有兩個關鍵領域最為重要。
首先，我們需要建立國際規范和標準，并在過程中注重包容性。在任何國家使用AGI系統，都應平等而一致地遵循這個國際標準和規范。在這些安全措施內，我們相信人們有充分的機會做出自己的選擇。
第二，我們需要國際合作，以可核查的方式建立對安全開發日益強大的AI系統的國際間信任。我并不妄想這是一件容易的事，這需要投入大量和持續的關注。
《道德經》教育我們，千里之行，始于足下。我們認為，我們可以邁出的最有建設性的一步是與國際科技界合作，特別是推動建立提高AGI安全技術進步方面的透明度和知識共享的機制。當研究人員發現新出現的安全問題時，他們應為了人類更大的利益分享其發現。我們需要認真思考如何在尊重和保護知識產權的同時，鼓勵這樣的規范。這可以為我們深化合作打開新的大門。
更廣泛地說，我們應該在促進和引導AI對齊和安全研究方向進行投資。在OpenAI，在如何讓人工智能系統成為一個更安全有用的系統的技術問題上，我們進行AI對齊研究。這可能指向，我們該如何訓練ChatGPT，使其不會發出暴力威脅或協助用戶進行有害活動。
但隨著我們日益接近AGI，沒有對齊的AI系統的潛在影響力和影響規模將呈指數增長。現在積極主動地解決這些挑戰，可以將未來出現災難性結果的風險降到最低。
對于目前的系統，我們主要利用人類反饋強化學習來訓練我們的模型，使其成為一個有幫助的安全助手。這只是各種訓練后調整技術的一個例子。而且我們也在努力研究新的技術，其中需要很多艱苦的工程工作。
從GPT-4完成預訓練到我們部署它，我們曾專門花了8個月時間來進行對齊方面的工作。總的來說，我們認為我們在這方面做得很好。GPT-4比我們以前的任何模型都更加與人類對齊。
然而，對于更先進的系統，對齊仍然是一個未解決的問題，我們認為這需要新的技術方法，同時增強治理和監督。想象一下，未來的AGI系統或許具有10萬行二進制代碼，人類監督者不太可能發現這樣的模型是否在做一些邪惡的事情。因此，我們正在致力于一些新的和互補的研究方向，希望能實現突破。
其中一個是可擴展監督。我們可以嘗試使用人工智能系統來協助人類監督其他人工智能系統。例如，我們可以訓練一個模型來幫助人類監督發現其他模型輸出中的缺陷。
第二個是可解釋性。我們想嘗試更好地了解這些模型內部發生了什么。我們最近發表了一篇論文，使用GPT-4來解釋GPT-2中的神經元。在另一篇論文中，我們使用Model Internals來檢測一個模型何時在說謊。我們還有很長的路要走。我們相信，先進的機器學習技術可以進一步提高我們解釋的能力。
最終，我們的目標是訓練AI系統來幫助進行對齊研究。這種方法的好處在于，它可以隨著AI的發展速度而擴展。
獲得AGI帶來的非凡好處，同時降低風險，是我們這個時代的開創性挑戰之一。我們看到中美兩國和世界各地的研究人員有很大的潛力共同實現共同的目標，并致力于努力解決AGI對齊帶來的突出技術挑戰。
如果我們這樣做，我相信我們將能夠利用AGI來解決世界上最重要的問題，并極大地改善人類的生活質量。
對話實錄：
智源人工智能研究院理事長張宏江：我們離人工智能還有多遠？風險是不是很緊迫，還是我們離它還很遙遠？無論是安全的人工智能，還是潛在的不安全的人工智能。
OpenAI創始人山姆·奧特曼：這很難評估具體時間。因為它需要新的研究思路，而這些思路并不總是按照規定的日程來發展。它可能很快就會發生，也可能需要更長的時間。我認為很難用任何程度的確定性來預測。
但我確實認為，在未來十年內，我們可能會擁有非常強大的人工智能系統。在這樣的世界里，我認為解決這個問題是重要而緊迫的，這就是為什么我呼吁國際社會共同合作來解決這個問題。歷史上確實給我們提供了一些新技術比許多人想象的更快改變世界的例子。我們現在看到的這些系統的影響和加速度，在某種意義上是前所未有的。所以我認為做好準備，讓它盡快發生，并且解決好安全性方面的問題，考慮到它們的影響和重要性，是非常有意義的。
張宏江：你感覺到了一種緊迫感嗎？
山姆·奧特曼：是的，我感覺到了。我想強調一下，我們并不真正知道。而且人工智能的定義也不同，但是我認為在十年內，我們應該為一個擁有非常強大系統的世界做好準備。
張宏江：你在剛才的演講中也提到了幾次全球合作。我們知道世界在過去六七十年里面臨過很多危機。不過對于其中的很多危機，我們設法建立了共識和全球合作。你也正在進行一次全球之旅。你正在推動什么樣的全球合作？你對目前收到的反饋感覺如何？
山姆·奧特曼：是的，我對目前收到的反饋非常滿意。我認為人們非常認真地對待人工智能帶來的風險和機遇。我認為在過去六個月里，這方面的討論已經有了很大進步。人們真正致力于找出一個框架，讓我們能夠享受這些好處，同時共同合作來減輕風險。我認為我們處于一個非常有利的位置來做這件事。全球合作總是很困難的，但我認為這是一種機會和威脅，可以讓世界團結起來。我們可以制定一些框架和安全標準，來指導這些系統的開發，這將是非常有幫助的。
張宏江：在這個特定的話題上，你提到了高級人工智能系統的對齊是一個未解決的問題。我也注意到開放AI在過去幾年里投入了很多精力。你還提到了GPT-4是對齊方面的最佳例子。你認為我們能否通過對齊來解決人工智能安全問題？或者這個問題比對齊更大？
山姆·奧特曼：我認為對齊這個詞有不同的用法。我認為我們需要解決的是如何實現安全人工智能系統的整個挑戰。對齊在傳統意義上是指讓模型按照用戶的意圖行事，這當然是其中的一部分。但我們還需要回答其他一些問題，比如我們如何驗證系統是否做了我們想要它們做的事情，以及我們要根據誰的價值觀來對齊系統。但我認為重要的是要看到實現安全人工智能所需要的全貌。
張宏江：是的。如果我們看看GPT-4所做的事情，在很大程度上，它仍然是從技術角度來看的。但除了技術之外，還有許多其他因素。這是一個非常復雜的問題。通常復雜問題是系統性的。人工智能安全可能也不例外。除了技術方面之外，你認為還有哪些因素和問題對人工智能安全至關重要？我們應該如何應對這些挑戰？特別是我們大多數人都是科學家，我們應該做什么？
山姆·奧特曼：這當然是一個非常復雜的問題。我會說沒有技術解決方案，其他一切都很難。我認為把很多精力放在確保我們解決了安全方面的技術問題上是非常重要的。正如我提到的，弄清楚我們要根據什么樣的價值觀來對齊系統，這不是一個技術問題。它需要技術輸入，但它是一個需要全社會深入討論的問題。我們必須設計出公平、有代表性和包容性的系統。而且，正如你指出的，我們不僅要考慮人工智能模型本身的安全性，還要考慮整個系統的安全性。
所以，建立安全分類器和檢測器，可以在模型之上運行，可以監控使用策略的遵守情況，這也很重要。然后，我也認為很難提前預測任何技術會出現什么問題。所以從真實世界中學習和迭代地部署，看看當你把模型放到現實中時會發生什么，并改進它，并給人們和社會時間去學習和更新，并思考這些模型將如何以好的和壞的方式影響他們的生活。這也很重要。
張宏江：你剛才提到了全球合作。你已經訪問了很多國家，你提到了中國。你能否分享一些你在合作方面取得的成果？你對下一步有什么計劃或想法？從這次世界之旅中，從你與各種政府、機構、機構之間的互動中？
山姆·奧特曼：我認為通常需要很多不同的視角和人工智能安全。我們還沒有得到所有的答案，這是一個相當困難和重要的問題。
此外，正如所提到的，這不是一個純粹的技術問題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶偏好。我們需要很多不同的投入才能實現這一目標。中國擁有一些世界上最優秀的人工智能人才。從根本上說，我認為，考慮到解決高級人工智能系統對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這里做出巨大的貢獻。
張宏江：我明白今天的論壇是關注AI安全的，因為人們對OpenAI很好奇，所以我有很多關于OpenAI的問題，不僅僅是AI安全。我這里有一個觀眾的問題是，OpenAI有沒有計劃重新開源它的模型，就像在3.0版本之前那樣？我也認為開源有利于AI安全。
山姆·奧特曼：我們有些模型是開源的，有些不是，但隨著時間的推移，我認為你應該期待我們將來會繼續開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。
張宏江：我們把所有的努力都投入到了開源中，包括模型本身、開發模型的算法、優化模型和數據之間關系的工具。我們相信有必要分享，并讓用戶感覺到他們控制了自己所使用的東西。你是否有類似的反饋？或者這是你們在OpenAI中討論的內容？
山姆·奧特曼：是的，我認為開源在某種程度上確實有一個重要的作用。最近也有很多新的開源模型出現。我認為API模型也有一個重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調。如果某件事情不起作用，你可以收回它。在當前模型的規模下，我不太擔心這個問題。但是隨著模型變得像我們期望的那樣強大，如果我們對此是正確的，我認為開源一切可能不是最佳路徑，盡管有時候它是正確的。我認為我們只需要仔細地平衡一下。
張宏江：關于GPT-4和AI安全方面的后續問題是，我們是否需要改變整個基礎設施或整個AGI模型的架構，以使其更安全、更容易被檢查？你對此有什么想法？
山姆·奧特曼：這肯定有可能，我們需要一些非常不同的架構，無論是從能力還是從安全性方面來看。我認為我們將能夠在可解釋性方面取得一些進展，在當前類型的模型上，并讓它們更好地向我們解釋它們在做什么以及為什么。但是，如果在Transformer之后還有另一個巨大的飛躍，那也不會讓我感到驚訝。而且實際上我們已經在原始的Transformer之后，架構已經發生了很大的變化。
張宏江：作為一個研究人員，我也很好奇，下一步的AGI研究方向是什么？在大模型、大語言模型方面，我們會不會很快看到GPT-5？下一個前沿是不是在具身模型上？自主機器人是不是OpenAI正在或者準備探索的領域？
山姆·奧特曼：我也很好奇下一步會發生什么，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新范式。當然，在某個時候，我們會嘗試做一個GPT-5模型，但不會是很快。我們不知道具體什么時候。我們在OpenAI剛開始的時候就做過機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個領域。
張宏江：聽起來很棒。你在演講中也提到了你們是如何用GPT-4來解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴展的嗎？這種方向是不是OpenAI未來會繼續推進的？
山姆·奧特曼：我們會繼續推進這個方向。
張宏江：那你認為這種方法可以應用到生物神經元上嗎？因為我問這個問題的原因是，有一些生物學家和神經科學家，他們想借鑒這個方法，在他們的領域里研究和探索人類神經元是如何工作的。
山姆·奧特曼：在人工神經元上觀察發生了什么比在生物神經元上容易得多。所以我認為這種方法對于人工神經網絡是有效的。我認為使用更強大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個方法應用到人類大腦上。
張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個問題是，如果這個世界上只有三個模型，那么會不會更安全？這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術的國家數量。那么控制模型數量是不是一個可行的方向？
山姆·奧特曼：我認為對于世界上有少數模型還是多數模型更安全，有不同的觀點。我認為更重要的是，我們是否有一個系統，能夠讓任何一個強大的模型都經過充分的安全測試？我們是否有一個框架，能夠讓任何一個創造出足夠強大的模型的人，既有資源，也有責任，來確保他們創造出的東西是安全和對齊的？
張宏江：昨天在這個會議上，MIT、未來生命研究所的Max教授（邁克斯·泰格馬克，Max Tegmark）提到了一種可能的方法，就是類似于我們控制藥物開發的方式。科學家或者公司開發出新藥不能直接上市，必須經過測試過程。這是不是我們可以借鑒的？
山姆·奧特曼：我絕對認為，我們可以從不同行業發展出來的許可和測試框架中借鑒很多東西。但我認為從根本上說，我們已經有了一些可以奏效的方法。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
