新火種
2023-11-02 
OpenAI潛入黑客群聊！盜用ChatGPT被換成“喵喵GPT”，網友：絕對的傳奇
當ChatGPT被黑客“入侵”時，OpenAI會如何應對？
掐斷API，不讓他們用？不不不。
這幫極客們采取的做法可謂是劍走偏鋒——反手一記《無間道》。
故事是這樣的。
OpenAI雖然在發布ChatGPT之前做了大量的安全性檢測，但當開放API之后，還是防不住一些居心叵測的黑客們拿它搞事情。
然后有一天，團隊中的一個工程師突然發現ChatGPT端點上的流量有些不太正常；在經過一番調查之后，確定了大概率是有人在反向工程API（盜版API）。
不過OpenAI并沒有選擇立即阻止這些黑客，因為如果團隊這樣做了，黑客們就會馬上發現異樣，然后改變策略繼續攻擊。
這時，團隊里一個“大聰明”就支了個妙招：
“陷阱”布置成功后，黑客大兄弟再向ChatGPT提問時，畫風就是這樣嬸兒的了：
沒錯，不管問啥，回答都是“喵言喵語”：
這位黑客大兄弟起初還不知道自己早已落入“陷阱”，還發帖描述了自己神奇的經歷[笑哭]。
不過黑客團伙中很快有人察覺到了異樣：
團伙中還有人在Discord社區中這樣討論：
殊不知，OpenAI的成員們早就潛入了Discord社區，觀望著黑客們的對話……
黑客們最終還是發現了真相，后知后覺的他們，最終在Discord中給OpenAI的團隊發話了：
對此，OpenAI的成員表示：“收到，下次我們會的”。
上面這個有趣的故事，其實是一位OpenAI工程師Evan Morikawa在一場技術分享活動中自曝的。
不少網友在看完這個故事之后，紛紛感慨道：
雖然故事很精彩、很有趣，不過言歸正傳，這也從側面反映出了目前大模型時代下所存在的安全隱患。
正如Evan在活動中所說：
除此之外，Evan在活動中還分享了兩個與OpenAI、ChatGPT相關的“隱秘的故事”。
我們繼續往下看。
OpenAI：GPU夠的話，發布早就提前了Evan先是回顧了ChatGPT最初爆火的盛況：
從內部決定發布，到后來意外走紅，就連馬斯克都發推討論等等。
隨之而來的便是大量用戶的涌入，當時他們自己也很擔心，因為以他們GPU的能力，完全hold不住那么大的負載。
然后Evan在現場展示了他們為ChatGPT提供動力的計算機，里面有8個英偉達A100 GPU：
每個GPU上還都附加了特殊的HPM高帶寬內存；至關重要的是，他們還需要所有GPU相互通信：
Evan表示，里面的每個環節的性能都會影響ChatGPT最終的體驗感。
接下來，Evan站在現在這個時間節點，回顧并總結了OpenAI最初在GPU上所遇到的瓶頸。
1、GPU內存不足
由于ChatGPT的模型非常大,需要占用大量GPU內存來存儲模型權重。而GPU上的高帶寬內存非常昂貴和有限,不夠用來同時服務大量用戶請求。這成為第一個瓶頸。
2、計算效率低下
初期通過簡單的GPU利用率指標監控存在問題,沒有充分考慮到tensor運算的內存訪問模式。導致GPU算力沒有被充分利用,浪費了寶貴的計算資源。
3、難以擴容
ChatGPT流量暴增,但受限于整個GPU供應鏈,短時間內無法擴充GPU服務器數量,不得不限制用戶訪問。無法自動擴容成為重大挑戰。
4、多樣化負載特征
隨著用戶使用模式的變化,不同模型和請求類型對GPU的計算方式和內存訪問模式需要不斷調整,優化難度大。
5、分布式訓練困難
GPU之間的通信和數據交換成為訓練架構中新的瓶頸。
可以看出，OpenAI開始將GPU用于部署大模型服務時，確實因為經驗不足而遇到一些系統級別的困難。但通過不斷調整策略和深入優化，才使ChatGPT得以穩定運行。
而且Evan還爆料說：
基于上述的挑戰，Evan分享了OpenAI總結出的經驗教訓：
把問題視為系統工程挑戰，而不僅僅是研究項目；需要優化各個系統組件的協同工作，如緩存、網絡、批處理大小等。要深入了解硬件的底層細節及其對系統的影響，如GPU內存帶寬、ops/bytes等對性能的影響；不能停留在表面指標。不斷根據模型和場景變化對系統進行調優；不同的模型結構和使用場景會對系統提出不同要求。要考慮到硬件的各種限制，如內存和算力均衡、擴容限制等，這會影響產品路線圖；不能簡單地套用傳統的云擴展經驗。把ChatGPT看成初創公司至于團隊方面，Evan也有所介紹。
ChatGPT啟動時，應用工程團隊只有30人左右，發布10個月后才擴充到近100人。
OpenAI一直在員工數量增長與保持高人才密度之間尋找平衡，他們最初希望團隊盡可能小，這樣可以保持高效的迭代文化。
不過后來隨著產品規模增長，很多職能只有幾個人在支撐，這樣就會存在一定風險，因此才決定進行一定擴張。
Evan對于團隊建設方面的分享，有一個觀點是值得劃重點的。
那就是他認為：
他們在三年前就嘗試過用API做類似ChatGPT的事情，因此在Evan看來——
ChatGPT更像是個10月大的初創公司嵌套到了3年前的初創公司；而這個三年前的初創公司，又嵌套在一個8年前的初創公司（即OpenAI）。
接下來，如果公司還會出現新的產品，Evan希望還是能夠保持沿用這種模式。
參考鏈接：[1]https://www.youtube.com/watch?v=PeKMEXUrlq4[2]https://twitter.com/random_walker/status/1719342958137233605?s=20[3]https://twitter.com/nearcyan/status/1719225443788935372?s=20
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
