新火種
2023-11-28 
神秘的Q-Star項目，人工智能再次突破引發恐慌？
前天我們發布了關于OpenAI宮斗大戲的事件經過，雖然事件以Sam重歸CEO告一段落，但是董事會為何突然罷免Sam依然是一片疑團。
不過就在昨天，路透社援引兩位知情人士的話透露，在 OpenAI 罷免阿爾特曼之前，曾有多名研究人員向董事會發出了一封信，警告稱其人工智能領域的一項技術取得了突破，而它被發現可能會威脅到人類。消息人士稱，這封以前未報道的信件和人工智能算法是董事會罷免 Altman 的一個關鍵線索，也是董事會對 Altman 的諸多不滿的因素之一。
路透社還提到，OpenAI 在發給員工的內部信息中承認了一個名為 Q * 的項目，并在 Altman 被開除之前致信董事會。OpenAI 的一位發言人表示，上述內部信息是由長期擔任高管的 Mira Murati（OpenAI 前 CTO，在混亂之初曾被任命為臨時 CEO）發布的，目的是提醒員工注意某些媒體報道，但不評論其準確性。
Q * 的發音為 Q-Star，網絡上一些人士認為，OpenAI可能已經在AGI的研發升級上又有了一次重大突破或者發現。
Q-Star是否真的有那么神奇，目前還沒有更多信息可以判斷，有一些短視頻博主通過Copilot來判斷，ChatGPT隱藏的能力越來越可怕，自主意識越來越強。據 The Information 報道，神秘模型 Q-Star 是由 OpenAI 的兩位頂級研究人員 ——Jakub Pachocki 和 Szymon Sidor—— 基于 OpenAI 首席科學家 Ilya Sutskever 的研究成果構建的。在 Altman 被開除后，二人也成了首批辭職的高級員工之一。
而這似乎也可以說明為何Sam會沒有任何征兆地被罷免而無法向外說明具體原因。
另外這也從側面解釋了為何首席科學家IIya會投票罷免老戰友Sam，基于他了解AGI突破帶來的影響，以及一直以來他對外表達的對AGI安全的擔憂。
其實IIya是ChatGPT之父或許更加貼切，他是最早卷積網絡算法的三個作者之一，谷歌Deepmind的核心成員，也是AlphaGo的作者之一。
IIya
作為一個低調的科學家，如果不是因為這次宮斗，恐怕很多人還不認識他。
從他不多的公開發言的視頻來看，他很早就在思考通用人工智能AGI到底能給人類帶來什么。
一方面他對人工智能不斷突破后的發展速度毫不懷疑，另外一方面，他對通用人工智能的風險又有著深深的擔憂。
他的理由是，通用人工智能技術的發展和自然生物的發展有著一樣的趨勢。他認為，AGI可能會像一種新生物一樣發展。
如果不在底層編程上加以控制，AGI的發展就如同生物的進化一樣，會朝著將自己的生存放在首位的方向發展。
他認為，通用人工智能如果不加以管控，未來它看人類就像人類看其他動物一樣，通用人工智能并不會憎恨人類，但是它可以為了自己而無視人類。
他打了一個比方，人類可以愛動物，但并不會因為愛動物而在修建高速的時候咨詢一下動物的意見。
這就好像三體里黑暗森林一樣，當其他星球的生命暴露自己時，你肯定會優先考慮自己的安全。
IIya認為，如果通用人工智能被利用作為武器，或者被用來實施犯罪，那對人類來說是災難。
整體來說，他對人工智能的發展是充滿信心的，但是他對人類的命運似乎又有一些悲觀，他希望屆時AGI能對人類好一點。這種既想探索前沿又對新技術充滿警惕的想法值得稱贊，但也解釋了他一開始罷免Sam，后續又歡迎Sam回歸的糾結。
作為一個頂尖科學家，他一定想真的看看到底AGI能發展到什么程度，但又害怕OpenAI面臨當年奧本海默一樣的情況。
所以，在今年 7 月，他組建了一個「超級對齊」團隊，致力于讓強大的 AI 系統遵循人類的意愿，而不是傷害人類。
但不管如何，人類已經打開了潘多拉魔盒，即便一部分人提出了擔憂并行動了起來，但利益的驅動還是可能讓人類像當年的原子彈軍備競賽一樣不斷挖掘AGI的能力。
而我們對待這種可能會有自主意識但又十分強大的新技術有著非常糾結的心態，怕它不來，但是又怕它亂來。未來到底會如何，我們只能希望OpenAI及其投資人能否真的在底層邏輯上控制好AGI了。
原文標題:神秘的Q-Star項目，人工智能再次突破引發恐慌？
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
