新火種
2025-03-19 
GTC大會上，理想發布下一代自動駕駛架構MindVLA
3 月 18 日，理想汽車自動駕駛技術研發負責人賈鵬在英偉達 GTC 2025 大會上發表主題演講《VLA：邁向自動駕駛物理智能體的關鍵一步》，分享了理想對于下一代自動駕駛技術 MindVLA 的最新思考和進展。
賈鵬表示：「MindVLA 是機器人大模型，它成功整合了空間智能、語言智能和行為智能，一旦跑通物理世界和數字世界結合的范式后，將有望賦能更多行業。MindVLA 將把汽車從單純的運輸工具轉變為貼心的專職司機，它能聽得懂、看得見、找得到。我們希望 MindVLA 能為汽車賦予類似人類的認知和適應能力，將其轉變為能夠思考的智能體。」
全棧自研：深度融合空間、語言及行為智能
基于端到端 + VLM 雙系統架構的最佳實踐，及對前沿技術的敏銳洞察，理想提出了新的 VLA 模型——MindVLA。理想認為，VLA 是機器人大模型的新范式，其將賦予自動駕駛強大的 3D 空間理解能力、邏輯推理能力和行為生成能力，讓自動駕駛能夠感知、思考和適應環境。
MindVLA 不是簡單地將端到端模型和 VLM 模型結合在一起，所有模塊都經過了全新設計。其中，3D 空間編碼器通過語言模型，和邏輯推理結合在一起后，給出合理的駕駛決策，并輸出一組 Action Token（動作詞元），Action Token 指的是對周圍環境和自車駕駛行為的編碼，并通過 Diffusion（擴散模型）進一步優化出最佳的駕駛軌跡，整個推理過程都要發生在車端，并且要做到實時運行。
MindVLA 的六大關鍵技術
MindVLA 打破了自動駕駛技術框架設計的傳統模式，使用能夠承載豐富語義，且具備出色多粒度、多尺度 3D 幾何表達能力的 3D 高斯（3D Gaussian）這一優良的中間表征，充分利用海量數據進行自監督訓練，極大提升了下游任務性能。
理想從零開始設計和訓練了適合 MindVLA 的 LLM 基座模型，采用 MoE 混合專家架構，引入 Sparse Attention（稀疏注意力），實現模型稀疏化，保證模型規模增長的同時，不降低端側的推理效率。在基座模型訓練過程中，理想加入大量 3D 數據，使模型具備 3D 空間理解和推理能力。為了進一步激發模型的空間智能，理想加入了未來幀的預測生成和稠密深度的預測等訓練任務。
LLM 基座模型獲得 3D 空間智能的同時，還需要進一步提升邏輯推理能力。理想訓練 LLM 基座模型學習人類的思考過程，讓快慢思考有機結合到同一模型中，并可以實現自主切換快思考和慢思考。為了把 NVIDIA Drive AGX 的性能發揮到極致，MindVLA 采取小詞表結合投機推理，以及創新性地應用并行解碼技術，進一步提升了實時推理的速度。至此，MindVLA 實現了模型參數規模與實時推理性能之間的平衡。
MindVLA 利用 Diffusion 將 Action Token 解碼成優化的軌跡，并通過自車行為生成和他車軌跡預測的聯合建模，提升在復雜交通環境中的博弈能力。同時 Diffusion 可以根據外部條件，例如風格指令，動態調整生成結果。為了解決 Diffusion 模型效率低的問題，MindVLA 采用 Ordinary Differential Equation（常微分方程）采樣器，實現了 2-3 步就能完成高質量軌跡的生成。
面對部分長尾場景，理想建立起人類偏好數據集，并且創新性地應用 RLHF（基于人類反饋的強化學習）微調模型的采樣過程，最終使 MindVLA 能夠學習和對齊人類駕駛行為，顯著提升安全下限。
MindVLA 基于自研的重建 + 生成云端統一世界模型，深度融合重建模型的三維場景還原能力與生成模型的新視角補全，以及未見視角預測能力，構建接近真實世界的仿真環境。源于世界模型的技術積累與充足計算資源的支撐，MindVLA 實現了基于仿真環境的大規模閉環強化學習，即真正意義上的從「錯誤中學習」。
過去一年，理想自動駕駛團隊完成了世界模型大量的工程優化，顯著提升了場景重建與生成的質量和效率，其中一項工作是將 3D GS 的訓練速度提升至 7 倍以上。
理想通過創新性的預訓練和后訓練方法，讓 MindVLA 實現了卓越的泛化能力和涌現特性，其不僅在駕駛場景下表現優異，在室內環境也展示出了一定的適應性和延展性。
賦能汽車變為專職司機，重塑用戶體驗
MindVLA 將為用戶帶來全新的產品形態和產品體驗，有 MindVLA 賦能的汽車是聽得懂、看得見、找得到的專職司機。「聽得懂」是用戶可以通過語音指令改變車輛的路線和行為，例如用戶在陌生園區尋找超市，只需要通過理想同學對車輛說：「帶我去找超市」，車輛就能在沒有導航信息的情況下自主漫游找到目的地；車輛行駛過程中，用戶還可以跟理想同學說：「開太快了」、「應該走左邊這條路」等，MindVLA 能夠理解并執行這些指令。
「看得見」是指 MindVLA 具備強大的通識能力，不僅能夠認識星巴克、肯德基等不同的商店招牌，當用戶在陌生地點找不到車輛時，可以拍一張附近環境的照片發送給車輛，擁有 MindVLA 賦能的車輛能夠搜尋照片中的位置，并自動找到用戶。
「找得到」意味著車輛可以自主地在地庫、園區和公共道路上漫游，其中典型應用場景是用戶在商場地庫找不到車位時，可以跟車輛說：「去找個車位停好」，車輛就會利用強大的空間推理能力自主尋找車位，即便遇到死胡同，車輛也會自如地倒車，重新尋找合適的車位停下，整個過程不依賴地圖或導航信息，完全依賴 MindVLA 的空間理解和邏輯推理能力。
總結來說，對于用戶而言，有 MindVLA 賦能的車不再只是一個駕駛工具，而是一個能與用戶溝通、理解用戶意圖的智能體。理想表示，對于汽車行業而言，MindVLA 就像 iPhone 4 重新定義手機一樣將重新定義自動駕駛。對于人工智能領域而言，汽車作為物理人工智能的最佳載體，未來探索出物理世界和數字世界結合的范式，將有望賦能多個行業協同發展。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
