新火種
2024-03-12 
新王Claude3實測！各項能力給跪，打麻將也會，確實比GPT-4好用
OpenAI不可戰勝的神話，已經被打破了。
隨著Claude 3（支持中文）一夜登陸，榜單性能跑分全面超越GPT-4，成為首個全面超越GPT-4的產品，也坐上了全球最強大模型新王座。
而且多版本發布后，“中杯”（Sonnet）直接免費體驗，“大杯”（Opus）充個會員也能即刻享受。
各路測評紛至沓來。
所以，Claude 3的“武力值”究竟如何爆滿？究竟比GPT-4如何？（聽說都能學會至今沒有模型能搞定的打麻將？）
全球熱乎的一手體驗，我們悉數奉上。
（當然，我們自己也實測對比了一波。
9k長大模型微調教程直出、讀圖超顯專業
Claude 3一出來，它的視頻解讀能力首先就火了。
面對OpenAI前科學家Karpathy不久前剛出的《構建分詞器》教程，盡管全程足足2個小時13分鐘長，Claude 3只靠一輪提示詞，就成功將它總結成了博客文章：
有文有圖有代碼，非常詳細，但又絕不是羅列視頻里的每一句話（輸入附件并非視頻，而是視頻的字幕文件，當然也包含每5秒一次的截圖）。
這是所用提示詞的一部分，要求非常之多：
測試者指出：
這展現的是Claude 3遵循多個復雜指令的能力。
除了解讀視頻教程，Claude 3還能直接給你編寫詳細教程。
9k字的大模型微調入門教程，“中杯”Sonnet就輕松hold住。并且：
代碼能力上，網友測評是讓它為零基礎小白創建一個聊天機器人的前端webUI——
結果毫無猶豫地就完成任務拆解，從核心代碼到樣式美化以及API本地配置，三大部分一氣呵成，并可以直接部署到GitHub。
多模態能力上，最讓網友驚訝的是：
以及PLC梯形圖也能讀，直接跪了：
（以上4個例子來源見文末鏈接[1]）
至于同樣趕超的推理以及數學等能力。
一測，可以直接解決“迄今為止只有GPT-4解決了”的一道超級難題：
二測，則是直接搞定了所有模型都沒能搞定的打麻將問題？？（當然，鑒于我們目前只看到這么一張截圖，有效性還待進一步驗證）（cr:見文末鏈接[1]）
最后，不得不提的是，Claude在“自我認知”上的展現。
有人要求Opus畫一幅自畫像。
您猜怎么著？
它這么描述自己：
洋洋灑灑一長串形容，聽起來真得很酷很有“自我”——
然而，用它給出的代碼渲染出真實形象，就更有一種說不出來的微妙感覺了：
網友真切感嘆：
真人？AI自我認知？這有點讓人擔心了……
這不Claude 3的技術報告就提到，它甚至可以自己訓練微調另一個小模型。
不過！謝天謝地，由于多gpu設置失敗它沒能成功。（手動狗頭）
火眼金睛，還能大海撈針
我們先以幾道“理綜”題目為載體，看看Claude 3宣傳的第一個賣點——多模態能力究竟如何。
第一題從簡單的公式識別入手，將麥克斯韋方程組以圖片形式輸入，Claude 3（超大杯Opus，下同）解釋得非常準確清晰。
當然，這道題GPT-4也做對了。
簡單的有機化合物分子結構，Claude 3和GPT-4也都能正確識別。
簡單的識別任務過后，是一道需要推理后解決的題目。
Claude 3在識別題目和解題思路上都完全正確，而GPT4這邊……給出的答案則是不忍猝看——
把電表的類型弄錯不說，甚至還出現了“電流為2V”這樣令人啼笑皆非的內容。
看了這么多題目，我們來換換腦筋，看看Claude 3和GPT4在做飯方面表現得怎么樣。
我們上傳了一張水煮肉片的照片，讓模型各自識別并給出做法，結果Claude 3給出了大致的方法，而GPT4一口咬定這是一盤麻婆豆腐。
除了這次新增加的多模態能力，Claude一直引以為豪的長文本能力也是我們測試的重點。
我們找了一本《紅樓夢》的電子文檔（前二十回），整體的字數大約13萬，當然目的不是讓它讀書，而是進行“插針測試”。
我們在原文中插入了這樣的“發瘋文學”內容，倒也的確很符合“滿紙荒唐言”這個設定（手動狗頭）：
然后要求Claude僅根據文檔回答相關問題，首先不得不說的是速度真的非常感人……
但結果還算說的過去，準確地從文中找出了這三段位于不同位置的文本，還順帶進行了一番分析，發現了我們的心機。
為什么是Claude？
盡管在我們和網友的測試中，目前的版本還不算穩定，時常崩潰，有一些功能偶爾也抽風，并不能如期發揮：
比如上傳UI出代碼，它就沒能完成，而GPT-4發揮正常。
但總的來看，網友還是相當看好Claude，評測完毫不猶豫地表示：
究其原因，Claude 3相比之前的版本，真的有種“來勢洶洶”之勢。
表現亮點的地方相當多，包括但不限于多模態識別、長文本能力等等。
從網友的反饋來看，最強競對的稱號，也并非浪得虛名。
所以，一個問題是：
率先干翻GPT-4，這家公司究竟憑什么？
論技術，遺憾，Claude 3的技術報告中沒有對他們的路線進行詳解。
不過倒是提到了合成數據。有大V指出：這可能是一個關鍵因素。
而對Claude熟悉一些就知道，長文本能力一直是它的一大賣點。
去年七月推出的Claude 2就已具有100k的上下文窗口，而GPT-4的128k版本直到11月才與公眾見面。
而這次窗口長度再次翻倍，達到了200k，并且接受超過100萬Tokens的輸入。
相比技術的神秘，Claude背后名為Anthropic的初創公司，倒是能讓我們找到更多眉目。
它的創始人是OpenAI的元老級人物。
2021年，多名OpenAI前員工不滿其在獲得微軟投資后走向封閉，憤而出走并聯合創立了Anthropic。
他們對OpenAI在安全問題尚未解決的情況下就直接發布GPT-3的行為感到不滿，認為OpenAI已經為追逐利益而“遺忘了初心”。
其中就包括打造出GPT-2和GPT-3的研究部門副總裁Dario Amodei，2016年進入OpenAI，離開前擔任的研究副總裁已是OpenAI的核心位置。
離開時，Dario還帶走了GPT-3首席工程師Tom Brown，以及擔任安全與策略部門副總監的妹妹Daniela Amodei和十多名心腹，可謂人才多多。
而公司創立之初，這幫人才也進行了許多研究工作，并發表多篇論文；直到一年后，Claude的概念隨著一篇題為“Constitutional AI”的論文應運而生。
2023年1月，Claude開啟內測，第一時間體驗過的網友就表示，比ChatGPT（當時只有3.5）強多了。
而除了人才，創立至今，Anthropic也有比較強大的背景支持：
已獲得來自谷歌、亞馬遜等26個機構或個人的融資，總計融資金額達到了76億美元。（說到亞馬遜，現在Claude3也上線了他們的云平臺，除了官網，大家還可以在該平臺上體驗～）
最后，縱觀國內，如果我們想超越GPT-4，也許可以把Anthropic當一個正面例子？
畢竟它的規模再怎么說也遠不及OpenAI，但仍然取得了這樣的成功。
這里面，我們可以照它的哪些方向去卷，有哪些能夠學習轉化的點？
人、錢、數據資源？但卷出最新最強大模型后，壁壘又在哪里？
至少OpenAI自GPT火爆以來，不可戰勝的神話已經破滅了。
中國玩家，誰能率先全面超越GPT-4？以及即將發布的GPT-5？
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
