新火種
2024-05-11 
對話吳新宙：智能駕駛和座艙，英偉達(dá)的「三步走」規(guī)劃
北京車展前夕，英偉達(dá)在北京辦公室召開了北京車展媒體溝通會。
英偉達(dá)全球副總裁、汽車事業(yè)部負(fù)責(zé)人吳新宙，英偉達(dá)汽車事業(yè)部數(shù)據(jù)中心副總裁Norm Marks， 英偉達(dá)全球副總裁、中國區(qū)汽車事業(yè)部負(fù)責(zé)人劉通等人出席。這是吳新宙履新英偉達(dá)的第7個月。
在這次溝通會之后的車展上，英偉達(dá)與奇瑞汽車簽訂了合作協(xié)議，雙方宣布圍繞英偉達(dá)旗下的DRIVE Thor計算平臺聯(lián)合打造新一代高端智駕平臺，該平臺將會在星途高端車型上首發(fā)。同一天里，由吉利控股和百度聯(lián)合打造的極越，也宣布采用新一代的DRIVE Thor計算平臺。
吳新宙表示，“DRIVE Thor大概2025年開始有第一代的SOP，芯片也會比較快地拿到樣片。”
英偉達(dá)正在逐漸擴(kuò)大它在智能駕駛領(lǐng)域的領(lǐng)地。不過，吳新宙卻說，“英偉達(dá)是定位于整個AI生態(tài)的賦能者，不止是專注于做車。可以說每個AI的突破，我們都希望在NVIDIA的生態(tài)中產(chǎn)生。”
AI定義汽車與軟件定義汽車有何不同?吳新宙表示，過去十年，軟件定義汽車在汽車領(lǐng)域產(chǎn)生了非常深遠(yuǎn)的影響，特別是通過OTA技術(shù)，把汽車這樣一個固定不變的硬件產(chǎn)品變成可以自學(xué)習(xí)、不斷變化的用戶產(chǎn)品。但是，隨著生成式AI的大規(guī)模進(jìn)展，AI定義汽車一定會是趨勢。
自動駕駛并不是一個新鮮事物，早在上世紀(jì)90年代的美國，就已經(jīng)有了自動駕駛的相關(guān)論文和落地嘗試。而我們熟悉的現(xiàn)代化的自動駕駛的發(fā)展會經(jīng)歷三段式的發(fā)展。
第一代的自動駕駛系統(tǒng)是完全基于規(guī)則，有著大量人工Engineer Feature（工程師特征），通過很多算法去完成讓車自己開的動作。
第二代就是目前市場的主流，用大量的AI取代原有的人工Engineer Feature（工程師特征），不管是預(yù)測還是規(guī)劃都在用模型去做，但是仍然需要很多工程師的介入才能把獲取到的數(shù)據(jù)用好。
第三代應(yīng)該會通過NVIDIA達(dá)到更大的突破，就是變成端到端大模型的方式。
吳新宙向表示，“這個過程不可避免，并在接下來的五年內(nèi)發(fā)生。”
而未來的AI汽車會比現(xiàn)在的自動駕駛開發(fā)簡單很多，更多地集中在云端。因?yàn)橛ミ_(dá)在云端有大量的自動駕駛模型訓(xùn)練的能力，仿真、驗(yàn)證都可以放在云端進(jìn)行。目前，這些技術(shù)的積累在自動駕駛系統(tǒng)的開發(fā)流程中已經(jīng)比較成熟，車端能夠把Corner Case的數(shù)據(jù)準(zhǔn)確觸發(fā)反饋到云端。
相比之下，軟件定義汽車則有了諸多“落后”之處。
軟件定義汽車需要大量工程師介入，所有的組件的算法開發(fā)量非常大，比如Corner Case識別比較慢，需要海量的路測，只有測過的路線，大家才有信心在ODD（運(yùn)行設(shè)計域）釋放，這是非常大的系統(tǒng)開發(fā)工作流程。
另一方面，需要大規(guī)模的測試、運(yùn)營，需要準(zhǔn)確、快速地把數(shù)據(jù)回傳給工程師，需要一個非常好的基礎(chǔ)建設(shè)設(shè)施支持?jǐn)?shù)據(jù)設(shè)施閉環(huán)。
經(jīng)過大量測試以后，軟件定義汽車是通過OTA的方法更新，現(xiàn)在還有國家合規(guī)的要求，不管是軟件開發(fā)、模型開發(fā)還是數(shù)據(jù)閉環(huán)需要大量人工參與的工作。
所以，這也是AI定義汽車與軟件定義汽車的區(qū)別，前者可以讓流程得到很大的簡化。
在AI定義汽車時代，大部分模型都能夠在云端完成訓(xùn)練，通過數(shù)據(jù)驅(qū)動的方式，車端觸發(fā)Edge Case（邊緣案例），然后通過自動數(shù)據(jù)驅(qū)動完成模型的自我迭代，也可以在云端通過仿真完成大部分的驗(yàn)證，極大地減少車端大規(guī)模設(shè)備部署和測試的依賴性。未來的部署也可以簡化成模型更新的工作，而不是巨大的代碼更新。
除了自動駕駛，智能座艙也會面臨大變化。隨著生成式AI能力的進(jìn)一步提升，也會對座艙有巨大的提升。NVIDIA在智能駕駛和座艙領(lǐng)域有哪些舉措，吳新宙提出了一個三步走的規(guī)劃。
第一步是完善現(xiàn)有的L2和L2+系統(tǒng)，以達(dá)到市場領(lǐng)先水平或者第一梯隊(duì)水平；
第二步希望L2++領(lǐng)域取得新突破，實(shí)現(xiàn)未來軟件棧的端到端可訓(xùn)練，將上游模型和下游模型打通，整體上用生成式大模型的布局已經(jīng)開始，今年晚些時間會有DEMO展示，通過端到端模型的方式完成；
第三步就是希望能夠在2026年量產(chǎn)的L3，實(shí)現(xiàn)完全自動駕駛。
端到端的行業(yè)熱點(diǎn)，繞不開的數(shù)據(jù)難題除了AI與大模型方面的規(guī)劃，英偉達(dá)還在使用生成式數(shù)據(jù)，其自研渲染工具Omniverse能夠?qū)崿F(xiàn)數(shù)據(jù)生成，補(bǔ)足仿真Corner Case，從而快速轉(zhuǎn)成虛擬數(shù)據(jù)，然后進(jìn)行隨機(jī)處理，衍生出更多的Corner Case。
目前就有多家中國車企通過Omniverse虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)對汽車制造工廠的工作流程優(yōu)化。
英偉達(dá)中國區(qū)汽車事業(yè)部負(fù)責(zé)人劉通透露，除了在端到端全棧式合作，包括車端芯片DRIVE Orin和DRIVE Thor、智駕芯片和數(shù)據(jù)中心端的解決方案等，比亞迪和NVIDIA還在智能工廠方面進(jìn)行合作，利用Omniverse做自主機(jī)器的仿真，包括物流小車、機(jī)械臂等。
英偉達(dá)汽車事業(yè)部數(shù)據(jù)中心副總裁Norm Marks表示，自動駕駛汽車1.0時代主要是基于標(biāo)注圖像的訓(xùn)練，并在上面開發(fā)和部署深度神經(jīng)網(wǎng)絡(luò)的集成，可能會有40-50個深度神經(jīng)網(wǎng)絡(luò)從L2+層級轉(zhuǎn)向更高級的自動駕駛。假設(shè)一個車隊(duì)50輛測試車，每周可能會生成2PB的數(shù)據(jù)，但其中只有10%-15%會得到標(biāo)注。
而在自動駕駛汽車2.0時代，是基于視頻進(jìn)行模型的訓(xùn)練，就像真人看世界那樣，是一整個大的融合世界的統(tǒng)一模型。
Norm Marks還預(yù)計，未來自動駕駛汽車2.0轉(zhuǎn)型的模型規(guī)模將增長13倍，數(shù)據(jù)存儲規(guī)模將增長17倍。基于Transformer需要3000個服務(wù)器節(jié)點(diǎn)，而如果以GPT4作為基礎(chǔ)的話需要上萬的服務(wù)器節(jié)點(diǎn)，即達(dá)到超算水平。
英偉達(dá)的NeMo平臺可作為一站式工具幫助構(gòu)建大語言模型，從最開始的數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)獲取、數(shù)據(jù)測轉(zhuǎn)、預(yù)訓(xùn)練、模型定制化、提示語調(diào)優(yōu)化以及人為反饋進(jìn)入閉環(huán)，包括后續(xù)的信息檢索，實(shí)現(xiàn)比較精確的信息檢索。
在溝通會上，吳新宙還對今年最熱的端到端話題進(jìn)行了回應(yīng)。
雖然端到端智能駕駛方案已經(jīng)成為業(yè)內(nèi)的一個共識，但是端到端的問題也很明顯：通常需要處理大量的傳感器數(shù)據(jù)，包括圖像、點(diǎn)云、雷達(dá)等，直接輸出控制指令，對算力的要求較高。此外，為了訓(xùn)練這些復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，需要大量的標(biāo)注數(shù)據(jù)。
吳新宙認(rèn)為，“端到端模型上線之前，一定會有一個“護(hù)欄”，因?yàn)樾枰煌５貎?yōu)化和成長，要是一開始就上線端到端的模型是非常困難的。把端到端模型做好的企業(yè)一定也需要非常好的第二代甚至第一代的自動駕駛堆棧。”
所以，端到端模型仍然離不開原有模型，通過原有的模型和方法保證安全性，這些是把端到端模型真正大規(guī)模部署變成主流的過程。
至于如何解決黑盒問題，吳新宙提出了幾個緯度：
一、原有的第一代、第二代算法棧，可以保證端到端模型的安全性，也可以不停地判斷端到端模型決定的合理性，把雙方有差異的地方作為輸入。這就類似于大語言模型訓(xùn)練的反饋，讓結(jié)果更加合理化，
二、未來的大模型、端到端模型有周邊的輸出點(diǎn)可以觀測，比如可以觀測DEV輸出的結(jié)果，訓(xùn)練的時候也是部分訓(xùn)練等。于是在黑盒上開啟幾扇“窗”，看到信號是怎樣的模式。
吳新宙認(rèn)為，英偉達(dá)的一個巨大優(yōu)勢就是端到端，而且是整體AI賦能，汽車只是其中的一個垂直領(lǐng)域。
他表示，“我們在數(shù)據(jù)中心、訓(xùn)練工具都有巨大的投入，我們有SoC和安全平臺，從底層軟件加上芯片，所有的每一層都有引入非常強(qiáng)的安全概念，我們還有端到端全棧軟件的開發(fā)。以上四個方面構(gòu)成我們汽車生態(tài)系統(tǒng)，”
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
