新火種
2023-11-10 
從“好玩”到“好用”大模型如何落地生花？
原標(biāo)題：從“好玩”到“好用”，大模型如何落地生花？
在國內(nèi)外科技企業(yè)的密集推動(dòng)下，大模型呈現(xiàn)加速爆發(fā)趨勢。賽迪顧問數(shù)據(jù)顯示，截至2023年7月，中國累計(jì)有130個(gè)大模型問世，拉開了“百模大戰(zhàn)”的帷幕。相比國際企業(yè)更注重通用大模型，國內(nèi)大模型產(chǎn)業(yè)化應(yīng)用呈現(xiàn)出通用類、專業(yè)類并行的發(fā)展態(tài)勢，有望重塑產(chǎn)業(yè)格局，為千行百業(yè)創(chuàng)造經(jīng)濟(jì)價(jià)值。
然而，要推動(dòng)大模型從嘗鮮期走向落地期，從“好玩”走向“好用”，還需要底層軟硬件技術(shù)棧的驅(qū)動(dòng)和賦能。英特爾正在AI的道路上奮力奔跑，并瞄準(zhǔn)大模型這一AI最新趨勢儲(chǔ)備彈藥。
無處不在的AI需要更加堅(jiān)實(shí)的數(shù)字底座
AI正在賦能千行百業(yè)越來越多的流程和環(huán)節(jié)，小到一張票據(jù)的自動(dòng)識別和信息錄入，大到造福全民健康事業(yè)，AI正在引發(fā)生產(chǎn)生活方式的蝶變。
在企業(yè)的財(cái)務(wù)辦公室，光學(xué)字符識別正在將員工從紙堆般的票據(jù)中解放出來。該技術(shù)能夠?qū)Ａ康膯螕?jù)、文檔等圖片進(jìn)行處理，實(shí)現(xiàn)信息的自動(dòng)錄入，在減少人工錄入工作量的同時(shí)，使數(shù)據(jù)更加容易保存，還減少了票據(jù)存檔管理費(fèi)用和紙張占用空間。
在物流園區(qū)，視覺AI技術(shù)讓分揀、裝卸等流程更加順暢，并更好地保障了生產(chǎn)安全。AI技術(shù)的識別和分析能力，不僅降低了快件錯(cuò)分率及錯(cuò)派、人工核對成本等潛在損失，還能有效監(jiān)測園區(qū)內(nèi)是否存在危險(xiǎn)作業(yè)、違規(guī)作業(yè)或安全問題，讓流程更加高效安全。
與此同時(shí)，AI還應(yīng)用于提升疾病檢測和篩查效率、保護(hù)金融大數(shù)據(jù)安全、預(yù)測新能源輸出功率等領(lǐng)域，為產(chǎn)業(yè)的轉(zhuǎn)型升級和提質(zhì)增效注入動(dòng)能。
AI無處不在的同時(shí)，也為算力基礎(chǔ)設(shè)施帶來越來越沉重的負(fù)擔(dān)。比如光學(xué)字符識別會(huì)帶來較大的AI算力開銷，增加了基礎(chǔ)設(shè)施平臺的性能與總體擁有成本壓力；邊緣視覺AI應(yīng)用涉及大量的推理運(yùn)算，會(huì)產(chǎn)生高昂的硬件成本；結(jié)合深度學(xué)習(xí)算法的AI醫(yī)學(xué)影像解決方案會(huì)讓AI平臺執(zhí)行推理等活動(dòng)的計(jì)算量和復(fù)雜度急劇增加等。
英特爾基于軟硬件一體化解決方案，助力企業(yè)更有效地應(yīng)對AI帶來的性能挑戰(zhàn)。在硬件方面，英特爾提供了第四代至強(qiáng)可擴(kuò)展處理器，每個(gè)插槽多達(dá)60個(gè)核心，支持8通道 DDR5內(nèi)存，在內(nèi)存帶寬方面實(shí)現(xiàn)了50%的性能提升，整體實(shí)現(xiàn)了60%的代際性能提升。該處理器還內(nèi)置了英特爾高級矩陣擴(kuò)展AMX，能夠?yàn)锳I工作負(fù)載的訓(xùn)練和推理提供更強(qiáng)性能。在光學(xué)字符識別應(yīng)用中，英特爾AMX支持從FP32到INT8/BF16的量化，從而在可接受的精度損失下，提升系統(tǒng)吞吐量和推理速度。
在軟件方面，英特爾提供了一系列開源的工具套件，讓開發(fā)和運(yùn)維更加簡捷。針對物流園區(qū)可能采用多種算力芯片和深度學(xué)習(xí)框架來實(shí)現(xiàn)視覺AI的場景，英特爾OpenVINO工具套件提供的模型優(yōu)化器，可將基于其他深度學(xué)習(xí)框架的模型轉(zhuǎn)換為統(tǒng)一且性能經(jīng)過優(yōu)化的OpenVINO IR模型，降低了模型優(yōu)化與運(yùn)維的復(fù)雜程度。此工具套件還提供了免費(fèi)且預(yù)訓(xùn)練好的深度學(xué)習(xí)模型及演示應(yīng)用供用戶選用，進(jìn)一步降低了用戶的模型開發(fā)難度并縮短了應(yīng)用開發(fā)時(shí)間。同時(shí)，在英特爾oneAPI和OpenVINO工具套件的支持下，模型還可實(shí)現(xiàn)XPU的無縫切換，且?guī)缀醪粫?huì)對應(yīng)用層造成任何影響。
以上僅僅是已經(jīng)落地的AI應(yīng)用在英特爾平臺上得到的優(yōu)化，此外，英特爾還在將技術(shù)服務(wù)和解決方案上向大模型延伸，以求為互聯(lián)網(wǎng)企業(yè)利用大模型創(chuàng)造商業(yè)價(jià)值、行業(yè)用戶通過大模型提升競爭能力創(chuàng)造更多可能。
工具鏈條加速大模型落地部署
大模型與行業(yè)融合不斷深入的過程中，計(jì)算參數(shù)也水漲船高。賽迪顧問數(shù)據(jù)顯示，在國內(nèi)已發(fā)布的100余個(gè)大模型中，10億參數(shù)規(guī)模以上的大模型占比超過80%以上，投入商用的大模型參數(shù)量基本在千億級。
如此量級的參數(shù)，對大模型的落地部署帶來了挑戰(zhàn)。
一方面，大模型對算力基礎(chǔ)設(shè)施的內(nèi)存、帶寬、系統(tǒng)資源帶來沉重的負(fù)擔(dān)，讓一般的科技公司難以承受，也難以實(shí)現(xiàn)運(yùn)行準(zhǔn)確性與能效的平衡。采用量化等壓縮方式為大語言模型“瘦身”，以降低內(nèi)存空間占用并提升推理效率，成為降低大模型部署難度的常用方式。2022年提出的SmoothQuant量化方案能夠?qū)崿F(xiàn)1.56倍的加速，內(nèi)存需求減少2倍。在英特爾平臺上提升大語言模型的訓(xùn)練后量化表現(xiàn)的增強(qiáng)型SmoothQuant技術(shù)，在OPT-1.3b和BLOOM-1b7模型上的準(zhǔn)確率比默認(rèn)的SmoothQuant分別高5.4%和1.6%。量化后的模型也縮小到FP32模型的四分之一，顯著減少了內(nèi)存占用空間，從而提升了大模型在英特爾平臺的推理性能。
另一方面，大模型的龐大參數(shù)量，使維護(hù)和調(diào)優(yōu)變得更加復(fù)雜。傳統(tǒng)調(diào)優(yōu)方式不僅要求相關(guān)人員熟練掌握微調(diào)技巧，還需要付出高昂的訓(xùn)練成本。在這種趨勢下，參數(shù)高效微調(diào)等成本更低、應(yīng)用簡捷的調(diào)優(yōu)方式正在逐步取代傳統(tǒng)調(diào)優(yōu)方法應(yīng)用在大模型中。英特爾提供了一整套軟硬件支持方案，使“只改一行代碼”就實(shí)現(xiàn)大模型調(diào)優(yōu)成為可能。在硬件層面上，英特爾AMX通過快速處理矩陣乘加運(yùn)算，顯著提升了運(yùn)算速度；至強(qiáng)CPU Max系列提供的最高達(dá)1TB/s的內(nèi)存帶寬支持，滿足大模型微調(diào)所需的大內(nèi)存帶寬，以獲得更好的運(yùn)行性能。在軟件層面，英特爾MPI庫能夠更有效地整合和分配內(nèi)核資源，進(jìn)一步發(fā)揮CPU的整體效率，以創(chuàng)建和維護(hù)更加復(fù)雜的應(yīng)用。
安全或許不是大模型性能指標(biāo)的直觀體現(xiàn)，卻是大模型行穩(wěn)致遠(yuǎn)的底線。如何保證數(shù)據(jù)，尤其是隱私數(shù)據(jù)在推理和訓(xùn)練過程中的保密性，如何保證數(shù)據(jù)在調(diào)用過程中端到端的安全，都是大模型興起與應(yīng)用帶來的安全挑戰(zhàn)。從第三代英特爾至強(qiáng)可擴(kuò)展處理器開始內(nèi)置的SGX（軟件防護(hù)擴(kuò)展）技術(shù)，其可信執(zhí)行環(huán)境的容量最多可達(dá)單顆CPU 512GB，雙路共計(jì)1TB容量，可滿足目前千億大模型的執(zhí)行空間需求。此外，該技術(shù)支持的機(jī)密計(jì)算可實(shí)現(xiàn)應(yīng)用層、虛擬機(jī)、容器和功能層的數(shù)據(jù)隔離，無論在云端、邊緣還是本地環(huán)境，都能更全面地保護(hù)計(jì)算與數(shù)據(jù)的私密性和安全性。
從“好看”到“好用”，從“潮玩”到“普適”，大模型的商用落地是結(jié)合場景定義、訓(xùn)練、調(diào)優(yōu)、運(yùn)維等多個(gè)步驟的螺旋式上升過程。作為AI底座的建設(shè)者，英特爾正結(jié)合軟硬件能力，賦能開發(fā)者和生態(tài)伙伴，進(jìn)一步釋放AI的創(chuàng)新潛能。（張心怡）
(責(zé)編：曹淼、楊迪)關(guān)注公眾號：財(cái)經(jīng)分享讓更多人看到
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
