新火種
2023-09-21 
傳谷歌開始小范圍測試Gemini：比訓練GPT-4算力大5倍，多模態能力大提升
今年 5 月的谷歌 I/O 大會上，皮查伊宣布了對標 GPT-4 的大模型 PaLM 2，但同時也提到谷歌的研究重心正在轉向 Gemini，后者是一種多模態和高效的機器學習工具。
為了更快地開發 Gemini，谷歌在今年 4 月份合并了內部的兩個人工智能實驗室：谷歌大腦（Google Brain）和 DeepMind，Gemini 這項聯合計劃就由來自兩個實驗室的研究人員組成的團隊牽頭。
接下來幾個月，Gemini 的神秘面紗一點點被揭開：我們大概知道該模型是在 Google Brain 和 DeepMind 合并之后開始研發的，將具有像 GPT-4 一樣的萬億參數；Gemini 在訓練中已經展示出了以往模型中從未見過的多模態能力；一旦經過微調和嚴格的安全性測試，谷歌同樣將提供不同尺寸和功能的 Gemini 版本，以確保部署在不同的產品、應用和設備上。
最新消息是，據三位直接知情人士透露，谷歌已經允許一小部分公司使用 Gemini 軟件的早期版本，意味著谷歌即將將其納入消費者服務，并通過公司的云計算服務出售給企業。
能否超越 GPT-4？
近日，SemiAnalysis 分析師 Dylan Patel 和 Daniel Nishball 帶來了更多關于 Gemini 的爆料，其中 Dylan Patel 曾在今年 7 月 11 日曾曝光?GPT-4 的架構。
Dylan Patel 和 Daniel Nishball 透露，初代的 Gemini 應該是在 TPUv4 上訓練的，并且這些 pod 并沒有集成最大的芯片數 —4096 個芯片，而是使用了較少的芯片數量，以保證芯片的可靠性和熱插拔。如果所有 14 個 pod 都在合理的掩模場利用率 (MFU) 下使用了約 100 天，那么訓練 Gemini 的硬件 FLOPS 將超過 1e26。
不過，Gemini 已開始在新的 TPUv5 Pod 上進行訓練，算力高達～1e26 FLOPS，比訓練 GPT-4 的算力還要大 5 倍。
另外，Gemini 的訓練數據庫為 Youtube 上 93.6 億分鐘的視頻字幕，總數據集大小約為 GPT-4 的兩倍。
Gemini 由一組大型語言模型組成，可能使用 MOE 架構與投機采樣（Speculative Sampling）技術，通過小模型提前生成 token 傳輸至大模型進行評估，提高模型總推理速度。
從能力上說，Gemini 支持從聊天機器人到總結文本或生成原始文本（如電子郵件草稿、歌詞或新聞文章）的各種功能，這些功能都是基于對用戶想要閱讀的內容的描述。此外，Gemini 還能幫助軟件工程師編寫代碼，并根據用戶的要求生成原始圖片。
據 The Information 此前報道，谷歌希望 Gemini 大大提高軟件開發人員的代碼生成能力，以此追趕微軟的 GitHub Copilot 代碼助手。
谷歌員工還討論過利用 Gemini 來實現圖表分析等功能，比如要求模型解釋完成圖表的含義，以及使用文本或語音指令來瀏覽網頁瀏覽器或其他軟件。
一位測試過 GPT-4 的人士說，Gemini 至少在一個方面比 GPT-4 更具優勢：除了網絡上的公共信息外，Gemini 利用了谷歌從其消費產品中獲取的大量專有數據。因此，該模型在理解用戶對特定查詢的意圖時應該會特別準確，而且它似乎會產生較少的錯誤答案（即幻覺）。
谷歌云服務迎頭趕上的機會
自今年年初 OpenAI 開始出售 GPT-4 的訪問權限以來，谷歌近幾個月來一直在積極地將其現有的商用模型提供給更多的開發者。
今年 5 月，谷歌宣布將通 Vertex AI 向谷歌云客戶提供 PaLM 2 。另一位知情人士說，谷歌計劃通 Google Cloud Vertex AI service 向企業提供「Gemini」，包含不同大小的版本，這樣開發者就可以選擇付費購買一個不太復雜的版本來處理簡單的任務，或者購買一個足夠小的版本在個人設備上運行。
這位知情人士補充說，谷歌目前讓開發者使用的是相對較大的 Gemini 版本，但不是正在開發的最大版本，后者更接近于 GPT-4。
對谷歌來說，Gemini 的發布事關重大。谷歌花費了大量的計算資源和人力來開發它作為與 OpenAI 競爭的利器，希望這款軟件除了促進其云服務器租賃業務外，還能為從 Bard 聊天機器人到 Workspace 軟件的新功能提供支持。
據 The Information 報道，OpenAI 和其他軟件公司（如幫助公司開發和使用人工智能的 Databricks）也預測，它們將從對話式 AI 中獲得可觀的收入。然而，開源大模型的崛起可能會削弱谷歌和 OpenAI 出售其專有模型訪問權的關注度。
也許某天一覺醒來，Gemini 已經正式發布，屆時它的神秘面紗將被徹底揭開。
谷歌能否憑借 Gemini 扭轉局勢？我們只需耐心等待。
參考鏈接：https://www.theinformation.com/articles/google-nears-release-of-gemini-ai-to-rival-openai
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
