首頁 > AI資訊 > 最新資訊 > 阿里剛開源32B大模型,我們立馬測試了“弱智吧”

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

新火種    2024-04-08

阿里的通義千問(Qwen),終于拼齊了1.5系列的最后一塊拼圖——

正式開源Qwen 1.5-32B。

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

話不多說,直接來看“成績單”。

這次官方pick同臺競技的“選手”是Mixtral 8x7B模型和同為Qwen 1.5系列的72B模型。

從結(jié)果上來看,Qwen 1.5-32B已經(jīng)在多項評測標準中超越或追平Mixtral 8x7B:

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

并且即便是在與自家更大參數(shù)模型PK過程中,Qwen 1.5-32B也用“以小博大”的姿勢展現(xiàn)出了較好的性能。

用通義千問團隊成員的話來說就是:

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

不僅如此,即便是再拉來其它體量相當?shù)拇竽P汀斑x手”,Qwen 1.5-32B在多項評測中的成績依舊較為亮眼:

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

除此之外,團隊還做了一項比較有意思的測試——長文本評估任務(wù),“大海撈針”。

簡單來說,這項任務(wù)就是將一個與文本無關(guān)的句子(“針”)隱藏在大量的文本(“大海”)中,然后通過自然語言提問的方式,觀察AI能否準確提取出這個隱藏的句子。

從結(jié)果上來看,Qwen 1.5-32B在32k tokens的上下文中性能表現(xiàn)良好。

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

不過有一說一,剛才所展示的也還僅是Qwen 1.5-32B在評分上的成績,至于具體到實際體驗過程中,效果又會如何呢?

大戰(zhàn)一波“弱智吧”

自打大模型火爆以來,“弱智吧”就一直成了檢測大模型邏輯能力的標準之一,江湖戲稱為“弱智吧Benchmark”。

(“弱智吧”源自百度貼吧,是一個充滿荒謬、離奇、不合常理發(fā)言的中文社區(qū)。)

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

而且就在前幾天,“弱智吧”還登上正經(jīng)AI論文,成了最好的中文訓(xùn)練數(shù)據(jù),引發(fā)了一波不小的熱議。

這項研究正是來自中科院深圳先進技術(shù)研究院、中科院自動化研究所,滑鐵盧大學等眾多高校、研究機構(gòu)聯(lián)合團隊。

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

剛好此次Qwen 1.5-32B在開源的同時,也一并放出了在線體驗的demo,那么當它倆碰到一起,會擦出怎樣的火花?

請聽第一題:

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

Qwen 1.5-32B很準確地回答出了“你的父母在結(jié)婚時你尚未出生,因此他們無法邀請你參加他們的婚禮”。

繼續(xù)第二題:

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

面對這道很經(jīng)典的問題,Qwen 1.5-32B也能做到追根溯源地做正經(jīng)科普。

再來第三道和第四道:

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

不難看出,Qwen 1.5-32B都能夠給出準確的答案。

尤其是在第四道問題上,它甚至直接指出了邏輯性的問題:

嗯,Qwen 1.5-32B是一個經(jīng)住了“弱智吧Benchmark”的大模型。

至于其它關(guān)于常識、數(shù)學、編程等能力的效果,家人們可以親自去體驗一番了。

如何做到的?

正如我們剛才所述,Qwen 1.5-32B在技術(shù)架構(gòu)上與此前版本并無太大的區(qū)別,亮點就是引入了GQA(Grouped Query Attention,分組查詢注意力)這個技術(shù)。

這也正是它能夠在相對較小的體量之下,能夠做到性能較優(yōu)且快速部署的關(guān)鍵。

GQA是一種在自然語言處理中使用的 Transformer 架構(gòu)中的一種機制,它通過將查詢序列分組為多個子序列來提高 Transformer 模型的計算效率。

這種方法可以有效地減少計算復(fù)雜度,同時保留 Transformer 模型的表示能力。

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

具體而言,GQA是通過將查詢分組并在組內(nèi)計算它們的注意力,來混合 Multi-Query Attention (MQA) 的速度與 Multi-Head Attention (MHA) 的質(zhì)量。

GQA 通過將查詢頭分為組,每個組共享單個鍵頭和值頭,來實現(xiàn)這一點,從而在質(zhì)量和速度之間取得平衡。

如此一來,GQA的引入就降低了注意力計算的數(shù)量,從而加速了推理時間。

阿里剛開源32B大模型,我們立馬測試了“弱智吧”

最后,奉上Qwen 1.5-32B在HuggingFace的體驗入口,感興趣的朋友可以去體驗啦~

Tags:
相關(guān)推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內(nèi)容相關(guān)的任何行動之前,請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。

熱門文章