新火種
2024-01-03 
達(dá)摩院“數(shù)學(xué)天團(tuán)”死磕四年，國(guó)產(chǎn)“工業(yè)軟件之芯”發(fā)布1.0版本！
被譽(yù)為“工業(yè)軟件之芯”的求解器，長(zhǎng)年由國(guó)外壟斷，國(guó)產(chǎn)自研進(jìn)度如何了？
最近，工信部產(chǎn)業(yè)發(fā)展促進(jìn)中心等單位專門舉辦了一場(chǎng)比賽（首屆能源電子產(chǎn)業(yè)創(chuàng)新大賽），讓國(guó)產(chǎn)求解器在電網(wǎng)調(diào)度的復(fù)雜場(chǎng)景下PK了一番。
為什么求解器這么受重視？
其實(shí)，無(wú)論是地鐵和飛機(jī)的排班，還是快遞包裹運(yùn)送路線的設(shè)計(jì)，背后都是求解器在計(jì)算這些復(fù)雜的數(shù)學(xué)題。
它就像一個(gè)“最強(qiáng)大腦”，總能在超大規(guī)模任務(wù)中快速找出最優(yōu)解。
在工業(yè)設(shè)計(jì)、電網(wǎng)調(diào)度等關(guān)乎國(guó)計(jì)民生的重要領(lǐng)域，只要涉及到數(shù)字化轉(zhuǎn)型，就更是繞不開(kāi)求解器提供的智能決策能力。
這次比賽得冠軍由阿里巴巴達(dá)摩院歷時(shí)四年自主研發(fā)的MindOpt摘得。
在速度指標(biāo)和精度指標(biāo)上都表現(xiàn)優(yōu)秀，在保證電網(wǎng)安全運(yùn)行的同時(shí)，幫助實(shí)現(xiàn)機(jī)組開(kāi)停機(jī)費(fèi)用及運(yùn)行費(fèi)用最小化。
△由DALL·E 3生成其實(shí)，求解器技術(shù)壁壘高、研發(fā)難度大，放眼數(shù)年前，這個(gè)領(lǐng)域近乎是被國(guó)外廠商所壟斷，而且是長(zhǎng)達(dá)數(shù)十年之久的那種程度。
因此，達(dá)摩院從0到1實(shí)現(xiàn)求解器的國(guó)產(chǎn)自研，并且已然成熟到可以放心“上崗電力調(diào)度員”的過(guò)程，也可以視為國(guó)產(chǎn)求解器發(fā)展史的一段縮影。
經(jīng)歷4年的自主研發(fā)，這款軟件其實(shí)才剛剛推出1.0版本。
接下來(lái)，我們就來(lái)共同翻開(kāi)這段“四年磨一劍”，迭代26個(gè)版本的故事。
三分鐘？不行，最多15秒！時(shí)間先撥回到2019年。
當(dāng)時(shí)國(guó)內(nèi)求解器的發(fā)展并非是一片荒蕪，已經(jīng)有一些企業(yè)在這個(gè)領(lǐng)域中摩拳擦掌、嶄露頭角。
不過(guò)也正如我們剛才提到的，國(guó)外商業(yè)求解器巨頭已然在全球市場(chǎng)制霸了二十年之久，最為典型的就是被稱為“三巨頭”的Gurobi、IBM的CPLEX和FICO的Xpress。
△借助DALL·E 3合成即使是這三大巨頭也是在求解器領(lǐng)域中摸爬滾打了數(shù)二十載才將技術(shù)和商業(yè)經(jīng)驗(yàn)累積于此。
究其原因，正是因?yàn)榍蠼馄魉婕暗募夹g(shù)壁壘著實(shí)太高，涵蓋運(yùn)籌學(xué)、計(jì)算數(shù)學(xué)、軟件工程等眾多科學(xué)領(lǐng)域。
因此，即便是國(guó)產(chǎn)求解器已有起步之勢(shì)，但很多企業(yè)的選擇依舊是那個(gè)用習(xí)慣了的、成熟且穩(wěn)定的高性能國(guó)外求解器：當(dāng)時(shí)的阿里巴巴和達(dá)摩院，亦是如此。
然而就在這一年，隨著一位國(guó)際知名數(shù)學(xué)家的到來(lái)，一場(chǎng)必然的“國(guó)產(chǎn)自研”序幕被徹底拉開(kāi)了。
他叫印臥濤，是目前唯一獲得運(yùn)籌學(xué)領(lǐng)域權(quán)威獎(jiǎng)項(xiàng)Egon Balas獎(jiǎng)（2021年獲得）的中國(guó)科學(xué)家，通常情況下，這個(gè)獎(jiǎng)項(xiàng)每年全球僅頒發(fā)給一人。
△印臥濤
印臥濤是在2019年3月正式加入達(dá)摩院，負(fù)責(zé)帶隊(duì)決策智能實(shí)驗(yàn)室。
這個(gè)實(shí)驗(yàn)室主要研究?jī)?yōu)化求解器技術(shù)、時(shí)間序列技術(shù)、可解釋的 AI 技術(shù)；同時(shí)，在新能源相關(guān)的預(yù)測(cè)和調(diào)度項(xiàng)目，驗(yàn)證技術(shù)可落地性。
然而就在他入職不久，團(tuán)隊(duì)便在求解器這件事上遇到了一個(gè)“內(nèi)憂”的問(wèn)題——在中國(guó)互聯(lián)網(wǎng)舉世罕見(jiàn)的業(yè)務(wù)規(guī)模和復(fù)雜度面前，國(guó)外求解器性能走到了瓶頸，不夠用了。
在一個(gè)需要智能決策場(chǎng)景的任務(wù)中，團(tuán)隊(duì)基于已有的求解器給出了兩套方案：第一個(gè)方案耗時(shí)半小時(shí)，第二個(gè)方案耗時(shí)3分鐘。
但業(yè)務(wù)方直接開(kāi)口說(shuō)到：
而諸如這樣求解器性能跟不上的例子，在團(tuán)隊(duì)內(nèi)部實(shí)操過(guò)程中出現(xiàn)的是越發(fā)得頻繁，甚至當(dāng)時(shí)團(tuán)隊(duì)對(duì)“內(nèi)憂”評(píng)估是，現(xiàn)有的所有求解器都無(wú)法解決。
于是，如此情況之下，自研之路，似乎就成了這群“求解器狂熱者們”的唯一最優(yōu)解。
不過(guò)有一說(shuō)一，當(dāng)時(shí)三巨頭們壟斷全球求解器市場(chǎng)，尚且是歷經(jīng)了幾十年的發(fā)展，期間所投入的人力和物力更是無(wú)法想象。
要完全從0開(kāi)始自研高性能求解器，難，是真的難。
不僅是固有的技術(shù)壁壘擺在那里，而且印臥濤所設(shè)定的起點(diǎn)也比較高——他要帶領(lǐng)團(tuán)隊(duì)自研的是通用優(yōu)化求解器。
這就意味著它必須能夠處理廣泛類型的問(wèn)題，不僅要有較高的通用性，在特定問(wèn)題上面也需要有精細(xì)的調(diào)整能力。
如此一來(lái)，如何讓這個(gè)求解器里面要涵蓋大量不同的算法，還要很好地將它們配置在一起，后續(xù)的軟件工程、算法工程，以及多核并發(fā)等等，都成了有待解決的突破口。
為此，印臥濤給團(tuán)隊(duì)制定了“兩條腿走”戰(zhàn)略：
第一條腿：別人已經(jīng)實(shí)現(xiàn)好的模塊，我們必須也要實(shí)現(xiàn)地特別好；第二條腿：研發(fā)下一代的技術(shù)，探索最前沿的算法。一言蔽之，別人能做的達(dá)摩院要做，別人不能做的達(dá)摩院也要做。
目標(biāo)和戰(zhàn)略設(shè)定了，但在實(shí)施的過(guò)程中依舊是困難重重，例如團(tuán)隊(duì)人才的建設(shè)便又成了一個(gè)老大難的問(wèn)題。
畢竟要做求解器所需要的人才是極具交叉性的，不僅要有深厚的數(shù)學(xué)功底和運(yùn)籌學(xué)知識(shí)，還需要有數(shù)值計(jì)算和軟件工程等能力。
更為冰冷的現(xiàn)實(shí)是，在2019年的時(shí)候，眾多高校也幾乎沒(méi)有設(shè)立完全對(duì)口的專業(yè)。
印臥濤面對(duì)如此窘境，所做出的選擇是從內(nèi)部吸納人才、在開(kāi)發(fā)中鍛煉。
較為幸運(yùn)的是，團(tuán)隊(duì)中確實(shí)有好幾位同學(xué)有全球頂尖的數(shù)學(xué)或計(jì)算機(jī)專業(yè)背景；有的同學(xué)在加入團(tuán)隊(duì)之前，便有過(guò)深度使用求解器的相關(guān)經(jīng)驗(yàn)。
更重要的一點(diǎn)是，加入團(tuán)隊(duì)的所有同學(xué)都對(duì)自研通用優(yōu)化求解器有著極大的興趣和熱情，一通電話就“號(hào)召”進(jìn)來(lái)了。
根據(jù)現(xiàn)在實(shí)驗(yàn)室高級(jí)算法專家、通用優(yōu)化求解器研發(fā)主力之一的王孟昌回憶：
而對(duì)于那些未曾公開(kāi)的資料，尤其是較為特殊的算法，團(tuán)隊(duì)所采取的策略就是一步一個(gè)腳印，不停地在“猜測(cè)”與“驗(yàn)證”過(guò)程中提煉規(guī)律，再把得到規(guī)律做數(shù)學(xué)證明，最終“寫”進(jìn)求解器中。
當(dāng)然，這個(gè)過(guò)程并非是一味的閉門造車，對(duì)于目前已有且好用的高性能求解器，團(tuán)隊(duì)也不斷地在使用中學(xué)習(xí)長(zhǎng)處，確保自研優(yōu)化求解器的完整性。
也正是通過(guò)這種不斷鉆研、不斷試錯(cuò)和改良中，達(dá)摩院決策智能實(shí)驗(yàn)室的通用優(yōu)化求解器就像蓋房子一樣，一點(diǎn)一點(diǎn)從地基開(kāi)始逐步建立了起來(lái)。
并且此時(shí)也已經(jīng)將這款求解器取好了名字——MindOpt。
去打榜，卻引來(lái)了“外患”正如當(dāng)紅的大模型技術(shù)會(huì)有諸多權(quán)威榜單來(lái)評(píng)測(cè)性能高低一樣，在求解器這個(gè)圈子里，同樣也有對(duì)應(yīng)的榜單。
在經(jīng)歷了一年之久的自研和測(cè)試，初步的優(yōu)化求解器已經(jīng)成形，印臥濤和團(tuán)隊(duì)認(rèn)為，是時(shí)候出去闖一遭了。
在2020年的8月，他們便將階段性成果，即達(dá)摩院自研求解器MindOpt的單純形法模塊，提交到了國(guó)際權(quán)威第三方測(cè)評(píng)Mittelmann的線性規(guī)劃單純形法榜單。
而這一出場(chǎng)，可謂是真正的一鳴驚人——
打破紀(jì)錄，斬獲第一！
從結(jié)果中可以看到，數(shù)字“1”代表的是達(dá)摩院自研求解器擁有最快的求解速度并作為基準(zhǔn)時(shí)間；數(shù)字“40”表示MindOpt成功求解了全部40個(gè)線性規(guī)劃算例。
并且在速度上已經(jīng)以0.1的差距超越了老牌巨頭廠商Gurobi。
如此成績(jī)之下，整個(gè)團(tuán)隊(duì)定然非常欣慰且愉悅的，畢竟自家的“內(nèi)憂”要被解決了。
然而，誰(shuí)也沒(méi)曾預(yù)料到，就是這么一次打榜，反而卻招來(lái)了一場(chǎng)“外患”。
我們剛才提到，達(dá)摩院在決定自研求解器之前，所采用的是三巨頭之一的技術(shù)和服務(wù)。
而就是這家與達(dá)摩院長(zhǎng)期合作的技術(shù)服務(wù)商，在看到榜單成績(jī)之后突然變卦：
要知道，達(dá)摩院自研求解器當(dāng)時(shí)取得的成績(jī)雖驚艷，但側(cè)重的是線性規(guī)劃的問(wèn)題；然而優(yōu)化求解器在解決現(xiàn)實(shí)問(wèn)題過(guò)程中，還存在難度系數(shù)更高的非線性規(guī)劃、混合整數(shù)規(guī)劃等等。
換言之，達(dá)摩院自研求解器還沒(méi)有研發(fā)到完全獨(dú)當(dāng)一面的程度。
或許很多人會(huì)認(rèn)為這家巨頭突然變卦的行為，會(huì)給達(dá)摩院帶來(lái)不小的沖擊，但事實(shí)上，這反倒成了這群“求解器狂熱者們”心中的一顆定心丸：
一方面，像非線性規(guī)劃這樣更具挑戰(zhàn)難度的研發(fā)，團(tuán)隊(duì)其實(shí)在2020年初便已經(jīng)開(kāi)始著手準(zhǔn)備，在“外患”事件突發(fā)之后，團(tuán)隊(duì)就將這一進(jìn)程提速了起來(lái)。
另一方面，阿里巴巴集團(tuán)內(nèi)部在聽(tīng)說(shuō)達(dá)摩院自研求解器打榜成績(jī)之后，大大小小的業(yè)務(wù)部門也紛紛向達(dá)摩院拋出橄欖枝，想要在自己的場(chǎng)景中嘗鮮。
這就給了MindOpt更多實(shí)操的寶貴機(jī)會(huì)，一定程度上也加速了趨向目標(biāo)的進(jìn)程，而且這一過(guò)程在阿里內(nèi)部還是雙贏的那種。
據(jù)當(dāng)年發(fā)布的公開(kāi)消息顯示，阿里云在集成了達(dá)摩院自研求解器之后，在成本上節(jié)省了數(shù)億元之多！
而這，便是MindOpt“四年磨一劍”故事的第一階段。用印臥濤的話來(lái)總結(jié)就是：
第二階段，則是從2020年8月至2021年年中，可以總結(jié)為將單一方法演變?yōu)閮蓚€(gè)方法：除了支持線性規(guī)劃問(wèn)題之外，MindOpt也可以應(yīng)對(duì)非線性的二次規(guī)劃問(wèn)題。
目前，達(dá)摩院求解器已能求解包括線性規(guī)劃、混合整數(shù)線性規(guī)劃、大規(guī)模網(wǎng)絡(luò)流、凸二次規(guī)劃、半定規(guī)劃、一般非線性規(guī)劃在內(nèi)的主流優(yōu)化問(wèn)題。
至于第三階段，也就是從2021年中期至今，印臥濤團(tuán)隊(duì)不僅在挑戰(zhàn)像混合整數(shù)規(guī)劃這樣更高難度的技術(shù)，更是將深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)，甚至是當(dāng)紅的大語(yǔ)言模型也融入了進(jìn)來(lái)，主打的就是一個(gè)全面開(kāi)發(fā)。
而且在第二和第三階段的這兩年時(shí)間里，從國(guó)際榜單的評(píng)測(cè)結(jié)果來(lái)看，達(dá)摩院自研求解器也是多次奪得榜首。不過(guò)對(duì)于榜單的成績(jī)，印臥濤則是認(rèn)為：
事實(shí)上，達(dá)摩院求解器不僅多次在國(guó)內(nèi)外電力相關(guān)比賽中奪冠，也在電網(wǎng)實(shí)戰(zhàn)中證明了自己。
去年，達(dá)摩院與中國(guó)南方電網(wǎng)電力調(diào)度控制中心合作發(fā)布“電力調(diào)度智能決策平臺(tái)”，幫助南網(wǎng)總調(diào)實(shí)現(xiàn)從15分鐘到秒級(jí)的調(diào)度，準(zhǔn)確率達(dá)到經(jīng)驗(yàn)豐富的調(diào)度員水平。
最終，歷時(shí)四年的時(shí)間，達(dá)摩院自研求解器在經(jīng)歷上百個(gè)環(huán)節(jié)的精心研發(fā)、實(shí)測(cè)、25次更新迭代，最終在今年的10月份，正式發(fā)布了其1.0版本。
這也意味著達(dá)摩院自研求解器已經(jīng)是比肩國(guó)際一流水平、可以放心“上崗”的通用優(yōu)化求解器了。
四年磨一劍，但還未至頂峰現(xiàn)如今，達(dá)摩院自研求解器的最新實(shí)力也已經(jīng)得到了國(guó)內(nèi)高級(jí)別的權(quán)威認(rèn)可。
而且值得一提的是，此次比賽的二等獎(jiǎng)所采用的基礎(chǔ)求解器也使用了達(dá)摩院自研求解器開(kāi)放出來(lái)的技術(shù)，而后基于自身的經(jīng)驗(yàn)在電力場(chǎng)景中做的“微調(diào)”。
那么現(xiàn)在的達(dá)摩院自研求解器，就是已經(jīng)是頂峰了嗎？
對(duì)于這個(gè)問(wèn)題，印臥濤謙虛地回答道：
首先，隨著國(guó)內(nèi)數(shù)字化進(jìn)程的不斷提速，越來(lái)越多的大規(guī)模場(chǎng)景都需要涉及到智能決策以及背后的優(yōu)化求解器。
而在這個(gè)過(guò)程當(dāng)中，正是應(yīng)了那句“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”，唯有不斷地在嘗試、糾錯(cuò)和改良中循環(huán)往復(fù)，才可真正得到能力上的提升。
其次，在談及國(guó)外老牌求解器巨頭的過(guò)程中，印臥濤也坦誠(chéng)地說(shuō)到：
除此之外，王孟昌認(rèn)為還需要像他們學(xué)習(xí)十年如一日在一件事情上專注且堅(jiān)持不懈的精神。
至于達(dá)摩院自研求解器接下來(lái)要突破的技術(shù)難關(guān)，印臥濤表示：
比如，結(jié)合中國(guó)工業(yè)場(chǎng)景的現(xiàn)實(shí)需求，達(dá)摩院自研求解器相繼推出了自研建模語(yǔ)言、調(diào)參器、優(yōu)化平臺(tái)。今年8月，打造決策推理大模型，上線了一位“AI優(yōu)化工程師” MindOpt Copilot。
對(duì)于達(dá)摩院自研求解器現(xiàn)在服務(wù)的能源、云計(jì)算、供應(yīng)鏈、電商、金融等各行業(yè)用戶來(lái)說(shuō)，他們無(wú)需了解復(fù)雜的數(shù)學(xué)或編程知識(shí)，直接使用自然語(yǔ)言提問(wèn)，“AI優(yōu)化工程師”就會(huì)自動(dòng)將問(wèn)題轉(zhuǎn)化為數(shù)學(xué)模型，并計(jì)算出最佳答案。
這就屬于“別人不能做的達(dá)摩院也要做”的那一半故事了。
而更長(zhǎng)遠(yuǎn)的，達(dá)摩院MindOpt從一個(gè)需求做為起點(diǎn)“四年磨一劍”的故事，也讓人不禁想起計(jì)算機(jī)發(fā)展歷史。
最早也是因?yàn)榘拓惼鏋榱撕?jiǎn)化計(jì)算而提出差分機(jī)、分析機(jī)，Ada超前認(rèn)識(shí)到對(duì)數(shù)字的處理能力可以用于任何形式的信息，如此，數(shù)字時(shí)代的種子才得以在百年之后開(kāi)花結(jié)果。
科技的進(jìn)步除了需要無(wú)數(shù)有遠(yuǎn)見(jiàn)的人的創(chuàng)造性思想，也需要無(wú)數(shù)個(gè)細(xì)小的進(jìn)步。
現(xiàn)在達(dá)摩院播下的國(guó)產(chǎn)通用求解器的種子，在未來(lái)能夠開(kāi)出怎樣的令人出乎意料的碩果，是值得期待的了。
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
