新火種
2024-12-30 
2024中國生成式AI大會上海站圓滿收官，第二日AIInfra峰會演講精華一文看盡
智東西12月6日報道，為期兩天的2024中國生成式AI大會（上海站）今日圓滿收官。
兩天內，51位產學研投嘉賓代表密集輸出干貨爆棚，大會報名咨詢人數(shù)超4000人，超過1200位觀眾到場參會。其中，在主會場進行的大模型峰會、AI Infra峰會的線上觀看人次更是超過104萬。
現(xiàn)場參會觀眾們的熱情十分高漲，主會場、分會場座無虛席，展覽區(qū)附近的產業(yè)交流也十分活躍，15家企業(yè)的諸多新產品新技術都引起了廣泛關注和討論。
▲大會展區(qū)
此次大會以“智能躍進 創(chuàng)造無限”為主題，51位產學研投嘉賓代表基于前瞻性視角解構和把脈生成式AI的技術產品創(chuàng)新、商業(yè)落地解法、未來趨勢走向與前沿研究焦點。
今天的AI Infra峰會上，上海交通大學副教授、無問芯穹聯(lián)合創(chuàng)始人兼首席科學家戴國浩認為，業(yè)界更應該關注單位算力如何實現(xiàn)更高效的token吞吐，大模型實際可用算力不僅取決于芯片理論算力，還可通過軟硬協(xié)同優(yōu)化提高算力利用效率，通過多元異構適配放大整體算力規(guī)模。
北電數(shù)智智算云負責人郭文，GMI Cloud亞太區(qū)總裁King.Cui，阿里云智算集群產品解決方案負責人叢培巖，中昊芯英芯片軟件棧負責人朱國梁，光羽芯辰創(chuàng)始人兼董事長周強分別對全棧AI工廠、AI企業(yè)出海如何補齊算力短板、高性能智算集群、國產TPU芯片“No CUDA”軟件棧、通向個人大模型之路幾個主題進行了分享。
楓清科技創(chuàng)始人兼CEO高雪峰，聲網生成式AI產品負責人毛玉杰，騰訊云向量數(shù)據(jù)庫技術負責人謝宇，Jina AI聯(lián)合創(chuàng)始人兼首席技術官王楠，Zilliz合伙人、研發(fā)VP欒小凡，英飛流創(chuàng)始人兼CEO張穎峰，Alluxio首席架構師傅正佳分別針對“從數(shù)據(jù)到知識：AI重塑百行千業(yè)的基石”、“生成式AI驅動實時互動的技術變革與體驗革新”、“TencentVDB向量數(shù)據(jù)庫”、“RAG范式下AI Infra的機遇和挑戰(zhàn)”、“RAG雖強，但向量數(shù)據(jù)庫絕非萬靈藥”、“新一代企業(yè)級多模態(tài)RAG引擎”、“高性能AI數(shù)據(jù)底座”帶來了精彩演講。
下午場的圓桌討論聚焦“大模型行至深水區(qū)，AI Infra的新變化與新機會”，由德聯(lián)資本執(zhí)行董事劉景媛主持，Alluxio首席架構師傅正佳，Zilliz合伙人、研發(fā)VP欒小凡，英飛流創(chuàng)始人兼CEO張穎峰三位嘉賓給出了自己的真知灼見。
大會首日，17位嘉賓暢談大語言模型、多模態(tài)大模型、具身智能、AI原生應用、音樂生成、3D AIGC、AI智能體的行業(yè)應用、垂類行業(yè)大模型等前沿議題。（2024中國生成式AI大會上海站開幕！首日大模型峰會燃爆魔都，17位大咖密集輸干貨）
除了大會首日主會場進行的大模型峰會，以及今天主會場的AI Infra峰會，大會分會場也在這兩天分別組織了端側生成式AI技術研討會、AI視頻生成技術研討會與具身智能技術研討會，17位青年學者和技術專家?guī)砹藞蟾娣窒恚罄m(xù)將會上架這三場收費制研討會的回放。
一、從智算集群到原生加速技術棧，聚焦產業(yè)落地痛點突破大模型算力瓶頸
AI的發(fā)展帶來了巨大的數(shù)據(jù)、算力以及能源挑戰(zhàn)，作為支撐大模型運行以及生成式AI應用開發(fā)的關鍵，AI Infra也走到了臺前，發(fā)展勢頭強勁。
如何打造優(yōu)質的智算中心，如何實現(xiàn)AI從芯片到應用端全產業(yè)鏈的高效協(xié)同？多位嘉賓給出了自己的深入見解。
1、上海交通大學副教授、無問芯穹聯(lián)合創(chuàng)始人兼首席科學家戴國浩
Scaling Law之下，數(shù)據(jù)成為制約AI繼續(xù)發(fā)展的因素之一。以GPT-o1為代表的推理模型可以突破數(shù)據(jù)瓶頸，但計算范式的轉變使算力需求呈指數(shù)級增長，可能導致硬件系統(tǒng)能耗開銷供不應求，對行業(yè)的可持續(xù)發(fā)展構成挑戰(zhàn)。
對此，戴國浩教授指出，當下業(yè)界更應該關注單位算力如何實現(xiàn)更高效的token吞吐，讓大模型的實際可用算力不僅取決于芯片理論算力，還可通過軟硬協(xié)同優(yōu)化提高算力利用效率，并通過多元異構適配放大整體算力規(guī)模。他分享了其研究團隊在軟硬協(xié)同、多元異構與端側智能方面的研究進展與落地成果，這些成果能助力行業(yè)提升面向大模型場景的token吞吐效率。
2、北電數(shù)智郭文：以AI工廠填補國產算力供給側與需求側的產業(yè)鏈斷層
“產業(yè)要發(fā)展，創(chuàng)新不能只是停留在技術層面，更要從流程、系統(tǒng)和組織進行全面的創(chuàng)新。”北電數(shù)智智算云負責人郭文分享了從算力、算法、數(shù)據(jù)與生態(tài)方面全面構建人工智能時代AI生產線的實踐思考。
郭文稱，當下國產芯片落地人工智能產業(yè)的最大問題是，算力供給側與需求側之間存在產業(yè)鏈斷層。為此，北電數(shù)智推出首個“國產算力PoC平臺”，以北京數(shù)字經濟算力中心為載體打造具備全棧能力的AI工廠，全線適配與拉通場景、模型到芯片層面，推動智算中心從成本中心轉化為推動地區(qū)發(fā)展新質生產力中心。
3、GMI Clould King.Cui：高穩(wěn)定GPU集群成AI企業(yè)全球化布局關鍵
中國AI出海加速，算力作為其中的核心生產資料正發(fā)揮重要作用。高穩(wěn)定性的GPU集群能降本增效，幫助企業(yè)在AI全球化浪潮中取勝。
GMI Cloud亞太區(qū)總裁King.Cui提到，為確保GPU集群的高穩(wěn)定性，他們使用了具備主動檢測功能的自研云集群引擎，實現(xiàn)計算、存儲和網絡資源的高效調配。
GMI Cloud是NVIDIA Top10 NCP，交付前會進行嚴格的驗證流程。GMI Cloud與IDC協(xié)作，提供備件和維修，擁有更短的交付時間，確保停機時間最小化。
4、阿里云叢培巖：靈駿智算集群不僅要實現(xiàn)穩(wěn)定性和極致性能，更要在不同維度支持規(guī)模的極致擴展
阿里云智算集群產品解決方案負責人叢培巖預測，未來模型性能還會隨參數(shù)，數(shù)據(jù)集和算力的增長繼續(xù)提升，Scaling Law仍有增長空間，AI智算集群的設計范式轉向要以GPU為核心。
阿里云推出支持超大規(guī)模分布式訓練的靈駿智算集群，可達到10萬卡擴展規(guī)模，千卡規(guī)模線性加速比達到96%；阿里云自研磐久服務器采用CPU和GPU分離，實現(xiàn)單機提升至16顆GPU；網絡架構HPN7.0最大規(guī)模可連接10萬顆GPU。
智算集群穩(wěn)定性至關重要，阿里云3千卡規(guī)模智算集群，在一個月內穩(wěn)定訓練時長占比達99%。
5、光羽芯辰周強：解決“大模型不懂你”問題，個人大模型迎來機遇
作為與通用大模型、行業(yè)大模型、企業(yè)大模型并行發(fā)展的一大分支，個人大模型也進入了快速發(fā)展期。光羽芯辰創(chuàng)始人兼董事長周強稱，個人大模型解決的是“大模型不懂你”的問題，隨著手機、PC、可穿戴、XR等端側設備廠商All in AI，個人大模型之路將越走越寬。
他提到，個人大模型也稱為端側大模型，期待解決端側智能體在性能、功耗和成本方面的痛點，讓真正的AI手機走進生活。端側AI具備及時性、可靠性、成本低、隱私保護和定制化五大優(yōu)勢。目前，構建端側大模型的核心是解決存儲帶寬和容量雙重問題。
6、中昊芯英朱國梁：國產TPU芯片“No CUDA”軟件棧的構建實踐
中昊芯英芯片軟件棧負責人朱國梁介紹了他們在為國產TPU芯片構建“No CUDA”軟件棧的實踐經驗。
中昊芯英剎那芯片采用VLIW指令集架構，面對龐大的CUDA生態(tài)，他們逐一解決了庫、并行計算與編程方面的問題，全自研用戶態(tài)和內核態(tài)驅動，實現(xiàn)了芯片的高效管理。
為做好生態(tài)兼容，中昊芯英底層軟件棧兼容PyTorch以及所有主流訓推框架，目前，中昊芯英可提供定制的端到端的云智算解決方案，并支持國產操作系統(tǒng)。
二、從企業(yè)智能體、向量數(shù)據(jù)庫到RAG，AI Infra基礎軟件涌現(xiàn)諸多新挑戰(zhàn)
下午場，多位嘉賓進一步分享了AI Infra領域關于智能體開發(fā)管理平臺、實時語音、向量數(shù)據(jù)庫、向量模型、RAG技術、數(shù)據(jù)編排等方面的行業(yè)觀察和深入見解。諸多新平臺、新產品、新技術走向前臺，賦能產業(yè)。
1、楓清科技高雪峰：從數(shù)據(jù)到知識，跨越生成式AI與決策智能間的鴻溝
楓清科技創(chuàng)始人兼CEO高雪峰談道，要將生成式AI真正應用到企業(yè)決策場景中，彌合其與決策智能之間鴻溝的技術突破點，就是在推理框架側融合符號邏輯推理。
企業(yè)智能化落地需要面臨數(shù)據(jù)孤島、數(shù)據(jù)整合、知識校驗、數(shù)據(jù)實時效等技術挑戰(zhàn)。楓清科技可以為企業(yè)提供知識引擎與大模型雙輪驅動的新一代智能體平臺，通過構建全鏈路優(yōu)化體系，幫助企業(yè)提升數(shù)據(jù)質量，將企業(yè)本地數(shù)據(jù)知識化，并融合大模型沉淀的泛化能力，在知識網絡之上進行符號邏輯推理，實現(xiàn)可解釋的智能，進而使AI在多個場景下能夠實現(xiàn)精準、透明的決策支持，推動企業(yè)智能化轉型的順利實施。
2、聲網毛玉杰：生成式AI+實時互動，讓人機交互變成真正的心靈交互
聲網生成式AI產品負責人毛玉杰講述了生成式AI出現(xiàn)后實時互動（RTE，Real-Time Engagement）技術和體驗的變遷。
毛玉杰介紹，2014年至今十年，RTE從服務質量走向體驗質量；2025年開始，在生成式AI發(fā)展的背景下，RTE向AI RTE變革，開始注重跨模態(tài)體驗質量，做多模態(tài)交互、跨模態(tài)轉換，為人和模型而設計，給大模型廠商提供眼睛、耳朵和聲音能力。
毛玉杰說，目前人機對話已經達到“聽得懂”的狀態(tài)，期待下一步實現(xiàn)“聽得心”——讓人機交互變成真正的心靈交互。
3、騰訊云謝宇：向量數(shù)據(jù)庫助力企業(yè)挖掘更大數(shù)據(jù)價值
AI時代，向量數(shù)據(jù)庫（VDB）脫穎而出，成為連接結構化與非結構化數(shù)據(jù)的樞紐。然而，當VDB被運用于RAG場景時，多款開源RAG架構出現(xiàn)了召回率低的問題。
騰訊云向量數(shù)據(jù)庫技術負責人謝宇介紹，為解決上述挑戰(zhàn)，騰訊首先提升了復雜文檔的識別效果，并對數(shù)據(jù)處理、Embedding、檢索、總結等其他環(huán)節(jié)進行優(yōu)化，最終實現(xiàn)了90%以上的召回率。
騰訊自研向量檢索引擎OLAMA已上線5年，日均處理8500億次檢索請求。未來，他們還將在性能、成本、業(yè)務效果、容災率等方面發(fā)力，持續(xù)提升產品表現(xiàn)。
4、Jina AI王楠：長文本大模型、RAG長期共存，長窗口向量模型面臨兩大挑戰(zhàn)
大模型存在幻覺、無法保證私有數(shù)據(jù)安全、推理成本高三大問題，Jina AI聯(lián)合創(chuàng)始人兼首席技術官王楠認為，RAG正是通過縮小大模型生成范圍，保證檢索準確性、實現(xiàn)結果可溯源，所以長本文大模型不會取代RAG，二者將長期共存。
短窗口會導致上下文背景信息丟失，因此RAG需要長窗口向量模型支持。但長窗口向量模型面臨兩大挑戰(zhàn)，一是推理成本和內存消耗會隨窗口長度呈平方線性增長，共享GPU是解決思路之一；二是長窗口使模型無法完整表示細顆粒度語義，解法是增加向量維度和多向量表示。
5、Zilliz欒小凡：向量數(shù)據(jù)庫落地面臨成本及擴展性挑戰(zhàn)，RAG轉為Graph RAG
Zilliz合伙人、研發(fā)VP欒小凡分享了向量數(shù)據(jù)庫目前面臨的挑戰(zhàn)以及相應解決方案。
欒小凡稱，2025年新生成的數(shù)據(jù)中，將會有80%以上是非結構化數(shù)據(jù)。在這一數(shù)據(jù)壓力下，向量數(shù)據(jù)庫的落地面臨著成本以及擴展性等方面的種種挑戰(zhàn)。而目前的RAG存在搜索質量難、處理長尾查詢能力差、結果難以解釋和控制、向量存儲成本高等問題。
據(jù)此，欒小凡及其團隊提出了兩個解決思路：一是混合查詢，在單個系統(tǒng)內支持密集嵌入、稀疏嵌入和詞匯搜索；二是Graph RAG，將知識圖譜和向量檢索結合起來。
6、英飛流張穎峰：多模態(tài)RAG新范式
英飛流創(chuàng)始人兼CEO張穎峰認為，RAG作為LLM時代的數(shù)據(jù)庫，目前面臨著三大挑戰(zhàn)——多模態(tài)文檔處理、檢索、語義鴻溝。
針對第一個問題，英飛流訓練了深度文檔理解模型，能對復雜文檔中的多模態(tài)內容進行分類處理。而在檢索這一RAG“最后一公里”的問題上，英飛流使用三路召回方案，并增加張量索引進行重排序，這一方案在多模態(tài)RAG上展現(xiàn)出明顯優(yōu)勢。
最后，針對檢索過程中的語義鴻溝，英飛流使用GraphRAG抽取知識圖譜，并與原數(shù)據(jù)進行聯(lián)合檢索，提升檢索質量。
7、Alluxio傅正佳：零改造、無侵入策略，打造高性能AI數(shù)據(jù)底座
Alluxio首席架構師傅正佳談到了提升大規(guī)模模型訓練效率的兩大挑戰(zhàn)：一是數(shù)據(jù)規(guī)模不斷增長、類型更多元化，因此處理數(shù)據(jù)需要提升算力有效利用率；二是當數(shù)據(jù)喂到訓練平臺上，數(shù)據(jù)IO訪問瓶頸會導致算力處于低利用率狀態(tài)。
這一背景下，Alluxio提供了統(tǒng)一的數(shù)據(jù)視圖、豐富協(xié)議轉化、高性能數(shù)據(jù)訪問，以打造整體數(shù)據(jù)服務。其方案通過零改造、無侵入策略，可以使算法工程師仍按原有方式工作，無需改變已有腳本，并且客戶已經有的大量存量數(shù)據(jù)不需要進行私有化協(xié)議改造。
三、AI 2.0時代，大模型行至深水區(qū)，AI Infra迎來變革
在圓桌論壇環(huán)節(jié)，幾位嘉賓分享了對于“大模型行至深水區(qū)，AI Infra的新變化與新機會”這一主題的行業(yè)洞察，以及各自公司的產品和技術是如何解決AI應用中的核心痛點的。
作為主持人的德聯(lián)資本執(zhí)行董事劉景媛提到，兩年前，ChatGPT將生成式AI推到臺前，迎來AI 2.0時代，Scaling Law和數(shù)據(jù)量的大規(guī)模增長給AI Infra帶來了非常大的增量機會。兩年后的今天大模型行至深水區(qū)，AI Infra在幫助大模型及相關產品的落地的過程中，產品邊界和功能需求逐漸明晰。
▲劉景媛
對于Infra這類研發(fā)周期長、工程復雜程度高的軟件產品，開源社區(qū)或許可以貢獻一些能量，使產品迭代及技術選型更貼合實際需求，同時提升項目本身的關注度和影響力。
另外，“go global”也幾乎成為Infra軟件的必選項，一方面有商業(yè)的考量，另外中國工程師的勤奮和工程攻堅能力全球有目共睹。值得關注的是，在資源有限的情況下也要做好取舍（無論是功能方面還是業(yè)務模式方面）。
Zilliz作為向量數(shù)據(jù)庫企業(yè)，其產品可以處理大體量非結構化數(shù)據(jù)，挖掘數(shù)據(jù)價值。對AI 2.0時代的需求變化，Zilliz合伙人、研發(fā)VP欒小凡認為，AI技術在去年被高估、今年被低估，往后看AI落地還需要等一個機會，這也是整個范式的發(fā)展機會。
談到開源，欒小凡感慨道，Zilliz目前正處于最具挑戰(zhàn)的階段，一方面要讓產品滿足客戶需求，另一方面要讓產品變現(xiàn)。
▲欒小凡
當下，AI Infra公司出海已經成為必答題。欒小凡認為出海的前提條件就是產品要有先發(fā)優(yōu)勢，在擴展性、功能等方面碾壓競品。產品定制方面，欒小凡的觀點是Zilliz幾乎不做定制。原因在于其所處的賽道已經足夠大，沒有必要執(zhí)著于將自己打造成大而全的平臺。
AI時代，數(shù)據(jù)量的暴增對存儲提出巨大挑戰(zhàn)。Alluxio首席架構師傅正佳介紹，他們通過分布式數(shù)據(jù)編排軟件系統(tǒng)，高效連接存儲與計算。Alluxio很早就注意到存算分離的趨勢，并在數(shù)據(jù)遠程訪問環(huán)節(jié)重點發(fā)力，回應了AI存儲挑戰(zhàn)。
Alluxio的存儲系統(tǒng)兼具開閉源版本，傅正佳認為開源幫助他們保持了與技術前沿的同步，也打出了知名度，但他們也面臨著商業(yè)化和部分開源用戶貢獻程度低的問題。Alluxio目前正積極出海，傅正佳分享，海內外團隊的優(yōu)勢互補與產品的本地化是其中的關鍵。
▲傅正佳
英飛流創(chuàng)始人兼CEO張穎峰稱，RAG用起來很容易，但做好非常困難。公司能做成RAG的核心在于，把做系統(tǒng)的人和做AI的人融合在了一起去做產品。
談及開源，張穎峰說，開源是商業(yè)化的一種策略，而不是為了開源而開源；為了出海必須開源，但創(chuàng)業(yè)第一天就要想明白產品企業(yè)版和開發(fā)者版之間的區(qū)別。
▲張穎峰
目前英飛流的Infra產品還沒有進入商業(yè)化階段，結合過往創(chuàng)業(yè)經歷，張穎峰稱，商業(yè)化過程中，創(chuàng)始人必須對每個產品的特性和定制化的邊界有非常清晰的認識。
結語：生成式AI產業(yè)化落地加速，上中下游全產業(yè)鏈呼喚合作共贏
過去一年，生成式AI的發(fā)展度過了波瀾壯闊的一年，整個產業(yè)鏈成為全球創(chuàng)新、投資和應用最活躍的領域之一，每位參與者都在與時間賽跑。
Sora掀起視頻生成熱潮，多模態(tài)世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，基座大語言模型不再持續(xù)狂飆，不僅價格戰(zhàn)、營銷戰(zhàn)硝煙燃起，融資熱度降溫，Scaling Law是否撞墻更是在年底引發(fā)熱議。
行業(yè)賦能持續(xù)進行，包括智能體在內的應用層的興起仍然備受期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機、AI PC等AI硬件紛紛站上風口。不止AI硬件，大模型驅動下的具身智能更是熱度空前，人形機器人正開啟星辰大海。
作為智能產業(yè)的長期觀察者，我們期待見證并記錄中國生成式AI浪潮之變，并將持續(xù)邀請這股浪潮中的生力軍們，分享他們最新的技術進展與商業(yè)化探索。
隨著今日為期兩天的2024中國生成式AI大會（上海站）圓滿收官。2025年線下大會也將正式啟動，除了1月14日的全球自動駕駛峰會，圍繞AI芯片、生成式AI等領域的線下大會也已規(guī)劃上了，敬請期待。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
