新火種
2023-10-28 
有中國特色的大模型要來啦！
1、“碼農大模型”要來了。
各家大廠都覺得，“輔助程序員寫代碼的大模型”這事兒有搞頭。他們紛紛把 Github 整個“拖庫”下來喂給大模型。
騰訊的混元大模型也學會了寫代碼，老師傅現場展示讓 AI 寫了個抽獎程序、貪吃蛇游戲、
不久的將來，也許很多騰訊的代碼都是 AI 生成的了。
（只是不知道用 Github 上的語料來訓練罪過有多大，要不要人均罰款100w。）
2、大模型領域可能會出現“3Q大戰 2.0”。
目前大模型的訓練和推理成本還有點高，現有商業模式愣是使用這么高成本的技術還有點兒“膽禿”。
沒準兒等成本再降一降，行業里會沖出來一個混不吝的黑馬，搞個“免費大模型服務”，里面各種引流插廣告，用“三級火箭”來攪渾大模型的水，就像當年360在殺毒領域“大鬧天宮”一樣。
當然，滄海桑田，大佬們都老了，未來這個攪渾水的人不一定是360，跟他打架的也不一定是騰訊了。
但老驥伏櫪也未可知。
3、大模型必須從“拿著計算器的白癡”變成“愛因斯坦”。
過去的大模型就是數學白癡，超過3就算不對了。遇到數學問題，只能外掛一個嚴謹的“計算器”。但這樣不僅像個尿袋一樣不美觀，還有很大的局限，沒有泛化能力，也沒有創造力。
騰訊的老師傅決定逼大模型一把，讓它“硬學”數學，不僅給他看各種數學教材，還教他用“因為所以”這樣的“漸進思維鏈”來進行一步步思考，甚至還鼓勵它“一題多解”，學出更好的解題思路。
這樣學出來的數學，雖然在極難的問題里還可能犯錯誤，但創造性大幅提高。愛因斯坦還經常算錯數呢，但他可比計算器偉大多了。
4、大模型要想普惠，最終還得靠“產品能力”。
現在很多大廠卷大模型都快卷死了，但是普通人幾乎沒感覺。這是因為大模型還沒出現殺手級應用。
中國產品能力最能打的大廠就是騰訊。騰訊老師傅說他們正在把大模型塞進騰訊游戲，做游戲助手、NPC對話和劇本生成；塞進騰訊文檔，幫你改文章；塞進企業
但我覺得這些用法還不夠打動普通人。普通人需要那種一看到就會喊“我他喵的就缺這個”的應用場景。
即便如此，我還是對騰訊抱有希望，沒準有一個如當年“
5、未來“狗式模型”可能會比“人式模型”多。
人的神經元有800億，狗有22億。假設千億參數大模型對標人的話，那百億以下參數的大模型就對標狗。
別小看汪星人，狗的智力是相當能打的，它雖然不會說話，但是賣萌賣得好極了。而且它用人三十六分之一的神經元就做到了這么好。
同理，未來大模型的發展方向之一就是訓練“小大模型”，千萬個“小大模型”在特定的場域發揮作用，就像很多人家里都養狗一樣。
騰訊老師傅說，模型好壞不止看參數大小，還要看訓練時吞吐的 Token 量。換句話說，同樣是訓狗，有人訓出來是邊牧，有人訓出來是哈士奇。
他們要訓邊牧。
6、“想象場景生成”是未來“文生圖”的重要戰場。
用過 MidJourney 的人都知道，AI 對日常存在的圖像生成比較好，例如“一個老奶奶織毛衣”；但是對日常不存在的東西生成比較差，例如“一個老鼠織毛衣”。
但問題是，很多人（比如我）恰恰是因為這些想象中的場景找不到現成的圖片，才需要求助于 AI 生成。所以如果能很好地生成想象中的場景，“文生圖”的用武之地會大大擴展。
騰訊的老師傅就在“混元大模型”上優化了這種能力，比如，他們讓混元生成一個“一個靶子在蘋果上”的場景，AI 就生成得非常好。
7、我們需要“有中國特色的文生圖”。
之前大家對國產大模型的吐槽主要有兩點：1、“鼠標、總線、螞蟻上樹”之類中國人都懂的詞匯，它不理解；2、生成出來的圖片里都是外國人的臉和外國環境。
據此有人說國產大模型是套殼的，這也不對。本質上是因為互聯網上的高質量語料很多都是英文的，訓練過程中難免會混入英文的世界觀。
不過，騰訊老師傅決心做出“有中國特色的文生圖”。
首先，他們使用了專門的解碼器，把“中文-英文-圖片”三者做了精細對應，挑出很多中英文有歧義的場景做特訓，避免“螞蟻上樹”的圖里真的出現螞蟻。。。
其次，他們還針對中國人的審美調整訓練數據，生成出來的妹子都是中國人的菜，生成出來的風景色調也是中國人喜歡的亮色。
總之，他們在“語義、細節、構圖”上都做了一套“數據飛輪”，把大模型的迭代周期從倆禮拜縮短到三天，按照這樣的迭代速度，估計很快就能做出適合中國人口味的“菜”。
但我覺得，這個過程里，怎么避免把中國文化的“糟粕”也一并帶入進去，其實是個挺大的挑戰。
8、騰訊老師傅展示他們的“混元大模型”時，輸入提示詞非常客氣，每句話前面都不忘加上個“請”。
可見他們已經明白自己做的 AI 有多強大了，對它客氣點。。。總沒壞處。。。
以上就是今天我從騰訊混元大模型的老師傅那里得到的最新消息和一些啟發，分享給大家~
混元大模型相比幾個月前的進步
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
