新火種
2024-02-21 
大模型開車哪家強？普渡研究給指南：GPT-4真行啊
現在一句口令，就能指揮汽車了。
比如說聲“我開會要遲到了”“我不想讓我朋友等太久”等等，車就能理解，并且自動加速起來。
如果這次行程有不滿意的，只需要給汽車提供反饋建議：“要在充分保障安全的前提下”，汽車的自動駕駛行為就會在下次行程中進行自我修正。
這是來自普渡大學數字孿生實驗室最新研究——
讓大語言模型部署在自動駕駛實車上，在多個交通場景，比如停車場、十字路口和高速上理解乘客的各種個性化指令，構建他們的數字孿生。
最終在眾多大模型的實驗中，GPT-4脫穎而出。
更多細節在此。
基于LLM的自動駕駛系統
而這背后的實現，主要來自于一個框架Talk2Drive。
這個框架主要有三個特點：
1、它將人類口頭命令轉換為文本指令，然后由云端的大模型來處理。在此過程中會用到一些語音識別的開源API，比如Whisper，準確捕獲口令并翻譯成文本。云上的大模型結合天氣、交通狀況和當地交通規則等信息，生成上下文駕駛數據。
2、大模型生成特定的自動駕駛代碼，隨后發送回車輛的電子控制單元（ECU）并在其中執行。
代碼執行涉及調整基本駕駛行為以及車輛規劃和控制系統中的各種參數。
隨后，車輛的執行器通過CAN總線和線控系統控制油門、剎車、檔位選擇和轉向。
3、車輛的存儲模塊秉承”千人千面“的理念，記錄著所有人車交互數據，確保每次行駛體驗都是基于乘客的歷史偏好和實時命令進行定制，實現真正意義上的數字孿生個性體驗。
經過一眾大模型對比，他們最終選擇GPT-4，因為它的延遲相對較小，以及推理能力更強。
在Talk2Drive 系統中，三類不同駕乘偏好的乘客以口頭化的指令表達與大模型進行交互，以促使系統做出相應調整。當乘客對調整后的自動駕駛行為不滿意時會關閉自動駕駛模式，系統也會記錄這種情況下的 “接管”。
結果顯示，無論駕乘偏好如何，Talk2Drive都能顯著降低接管率。
這輛全副武裝的自動駕駛車和大語言模型API協作完成了這次研究。
來自普渡大學數字孿生實驗室
這項研究來自普渡大學數字孿生實驗室。
從研究團隊來看，大部分都是華人面孔。
其中一作Can Cui目前是普渡大學一年級博士生。在加入普渡大學工程學院之前，在密歇根大學獲得了電氣與計算機工程碩士學位。本科畢業于武漢理工大學。
其導師王子然博士，在2022年加入普渡大學之前，曾在豐田硅谷研發中心任職四年，以主任研究員的身份領銜數字孿生的相關研究。
據介紹，普渡數字孿生實驗室從2023年6月開始深耕大語言模型和自動駕駛交叉領域，進行了包括文獻綜述、創立公開數據集、仿真環境測試、以及主辦研討會等一系列工作。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
