一句話解鎖100k+上下文大模型真實力,27分漲到98,GPT-4、Claude2.1適用
各家大模型紛紛卷起上下文窗口,Llama-1時標配還是2k,現在不超過100k的已經不好意思出門了。然鵝一項極限測試卻發現,大部分人用法都不對,沒發揮出AI應有的實力。AI真的能從幾十萬字中找到特定關鍵事實嗎?顏色越紅代表AI犯的錯越多。
各家大模型紛紛卷起上下文窗口,Llama-1時標配還是2k,現在不超過100k的已經不好意思出門了。然鵝一項極限測試卻發現,大部分人用法都不對,沒發揮出AI應有的實力。AI真的能從幾十萬字中找到特定關鍵事實嗎?顏色越紅代表AI犯的錯越多。
谷歌最強大模型Gemini 1.5 Pro今天起,“全面”對外開放。目前完全免費,開發者可以通過API調用的方式使用,普通玩家也可以在谷歌AI Studio中直接體驗。
搜狗創始人、百川智能創始人兼CEO 王小川國內大模型技術競爭加速,繼訊飛星火、智譜推出最新產品之后,百川也迎來了新的大模型成果。鈦媒體獲悉,10月30日上午,王小川創立的 AI 大模型公司“百川智能”宣布,推出Baichuan2-192K大模型,其上下文窗口長度高達192K,能夠處理約35萬個漢字。
今日GitHub熱榜榜首,是最新的開源世界模型。上下文窗口長度達到了100萬token,持平了谷歌同時推出的王炸Gemini 1.5,伯克利出品。強大的模型,命名也是簡單粗暴——沒有任何額外點綴,直接就叫LargeWorldModel(LWM)。
22倍加速還不夠,再來提升46%,而且方法直接開源!這就是開源社區改進MIT爆火項目StreamingLLM的最新成果。StreamingLLM可以在不犧牲生成效果、推理速度的前提下,實現多輪對話共400萬個token,22.2倍推理速度提升。
開源之王Llama 3原版上下文窗口居然只有……8k,在32k起步,100k尋常的今天,這是故意要給開源社區留做貢獻的空間
10 月 30 日消息,OpenAI 目前正在為 ChatGPT Plus 會員推出新的測試版功能,有用戶反饋,這次更新包括了上傳文件和處理文件的能力,以及多模態支持。這意味著用戶不需要從 GPT-4 的下拉菜單中選擇像 Browse with Bing 這樣的模式,而是根據上下文自動猜測用戶想要
陳丹琦團隊剛剛發布了一種新的LLM上下文窗口擴展方法:它僅用8k大小的token文檔進行訓練,就能將Llama-2窗口擴展至128k。
Llama2系列又上新,這回是Meta官方出品的開源編程大模型Code Llama。模型一發布,官方直接給貼了個“最強”標簽,還強調了一把“免費可商用”。
無需微調,只要四行代碼就能讓大模型窗口長度暴增,最高可增加3倍!而且是“即插即用”,理論上可以適配任意大模型,目前已在Mistral和Llama2上試驗成功。有了這項技術,大模型(LargeLM)就能搖身一變,成為LongLM。