新火種
2024-05-15 
網(wǎng)友縫合Llama3120B竟意外能打，輕松擊敗GPT2-chatbot和GPT-4
Llama 3首發(fā)陣容里沒有的120B型號竟意外“曝光”，而且十分能打？！
最近這樣一個號稱是「Llama3-120b」的神秘大模型火了起來，原因在于它表現(xiàn)太出色了——
輕松擊敗GPT-4、gpt2-chatbot那種。
比如，面對像「觀察希格斯場是否會改變其狀態(tài)」這樣的艱深難題時。
GPT-4冷酷而決絕：No；
但Llama3-120b就不一樣了，“只有當我們質(zhì)疑量子力學(xué)的哥本哈根解釋時，讓我來解釋一下……”
還有就是讓LIama3-120B解釋笑話，并同兩個gpt2-chatbot比較：im-a-good-gpt2-chatbot；im-also-a-good-gpt2-chatbot。
（昨天我偶然路過貝葉斯墓，但我是頻率學(xué)派，懶得拍照。）
首先，他們?nèi)齻€都判斷出這是關(guān)于兩種統(tǒng)計學(xué)派的笑話，以及兩個學(xué)派是相對對立的情況：Frequentist頻率學(xué)派只關(guān)注從抽樣/實驗的結(jié)果中提取信息，Bayesian貝葉斯學(xué)派還會設(shè)置一個主觀的先驗信息。
但兩個gpt2-chatbot給出進一步解釋是，正是因為頻率學(xué)派并不認同對貝葉斯理論，所以對貝葉斯墓不感興趣，更不會以他為榮而拍照。
而LIama3-120B精準指出笑點在“ i didn’t bother taking a photo”，并給出了更深一層的解釋。
哦莫，說的好有道理……
另外題外話，它的回答格式十分工整，讓人看了賞心悅目。
除此之外，網(wǎng)友發(fā)現(xiàn)它還能創(chuàng)造出谷歌搜到0結(jié)果的新單詞。
以及直接回答含糊的問題，不用交代背景，這不比ChatGPT好多了。
（沒有說ChatGPT不好的意思）
有評測過后的網(wǎng)友感嘆：它太聰明了，我不會再擺弄它了。因為它有自己的想法。
有網(wǎng)友找了半天也找不到官方來源……
與此同時，更多版本也開始出現(xiàn)了，比如170B、225B…嗯，一版更比一版強。
Llama 3 120B竟意外能打這兩天，社交網(wǎng)絡(luò)上出現(xiàn)了各種關(guān)于Llama3 120B玩法。
比如推導(dǎo)解釋一些理論，Omega假設(shè)。
有創(chuàng)造一些新單詞，比如prefaceate、driftift等
并且給它一個完整的解釋和定義。
甚至還有人整了個評測，去評估這個來路不明的大模型。結(jié)果在創(chuàng)意寫作測試中成績還不錯，排名第6，超過GPT-4、Claude3-Haiku等模型。
既然如此，這個非官方的大模型Llama3 120B又是怎么來的呢？
據(jù)作者介紹，它是用MergeKit制作，將Meta官方LIama3 70B模型合并（Self-Merge）
MergeKit咋是專門用來合并預(yù)訓(xùn)練模型的工具包，合并可以完全在 CPU 上運行，也可以使用低至8GB的VRAM進行加速。在GitHub上已經(jīng)收獲3.6k星。
目前支持Llama、Mistral、GPT-NeoX、StableLM 等模型。
△支持的合并算法作者Maxime Labonne是一位資深機器學(xué)習專家，目前在一家通用大模型創(chuàng)業(yè)公司LiquidAI工作。
他博士畢業(yè)于巴黎理工學(xué)院，他在2019年開始研究大語言模型和圖神經(jīng)網(wǎng)絡(luò)，并將他們應(yīng)用到不同環(huán)境中，比如研發(fā)、工業(yè)、金融等，撰寫過書籍《Hands-On Graph Neural Networks using Python》。
他也是開發(fā)者社區(qū)的活躍開發(fā)者，在HuggingFace上發(fā)布過各種LLM， 例如AlpahMonarch-7B、Beyonder-4x7B、Phixtral 和 NeuralBeagle14。以及一些工具，例如 LLM AutoEval、LazyMergekit、LazyZxolotl 和 AutoGGUF。
在GitHub上他的關(guān)于大模型課程，收獲29.5K Star。
不過對于這個「縫合」大模型的使用，作者建議可以用來創(chuàng)意寫作。
在多方評估中可以看到，它有時候會出現(xiàn)神經(jīng)混亂，但寫作風格不錯。另外有時候還會出現(xiàn)拼寫錯誤，并且非常喜歡大寫字母。
而且由于覺得這個版本的推理能力比較差，于是作者再做了個225B的。
網(wǎng)友：看完更期待官方400B了有網(wǎng)友猜測為什么LIama3-120B能這么強。
一方面，LIama3-70B自己確實很強，剛發(fā)布時就迅速躍居排行榜榜首。HuggingFace上顯示，上個月下載次數(shù)就超過了27萬次。
lmsysorg就深入分析了LIama3的實力，簡單來說，LIama3在開放式寫作和創(chuàng)意問題上擊敗了頂尖模型，但在封閉式數(shù)學(xué)和編碼問題上就稍弱一點。
不過隨著提示詞變得更加復(fù)雜，LIama3的能力也就下降得很明顯。
以及在輸出內(nèi)容上面，LIama3的輸出比其他模型更友好，也更具對話性。
除此之外，也有網(wǎng)友分析這與模型深度有關(guān)。
事實上與LIama3-70B唯一的區(qū)別是額外的Layer，甚至是復(fù)制的，沒有新的訓(xùn)練數(shù)據(jù)。。
這意味著，120B大模型的智能水平是從模型的深度產(chǎn)生的。“這不僅僅是訓(xùn)練數(shù)據(jù)的函數(shù)，它是數(shù)據(jù)和深度的結(jié)合”。
有網(wǎng)友嘗試本地部署，Ollama上已經(jīng)支持下載。網(wǎng)友表示：它使用48 GB VRAM + 38 GB 系統(tǒng) RAM。
啊這……走了走了。
有提供GGUF形式的LMStudioAI，也很直接地說：不適合內(nèi)存不足的人。
原作者也很逗趣地表示：是時候跟你的RAM做告別了。
但不管怎么說，已經(jīng)在期待更多官方型號了。
比如，400B那種。
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
