21世紀經濟報道
2024-12-10 
招行信息技術部副總經理俞吳杰：為大模型應用開“綠色通道”
在“科技立行”的戰略引領下，招商銀行是信息科技投入規模最高的股份行，也是數字化基礎設施建設較快的銀行之一。
2019年，招行提出加快向“金融科技銀行”轉型，并在公司章程里規定“每年金融科技整體預算原則上不得少于本行上一年度營收的3.5%，其中‘招行金融科技創新項目基金’預算額度原則上不低于上一年營收的1.5%”。目前從人員分配來看，信息技術部是招行一級部門中人數最多的部門，截至2024年6月末，公司研發人員數量達到10653人，占集團員工總數的比重達到9.23%。
2022年底，招行實現科技底盤從傳統架構升級換代到云架構，并將所有應用系統全部遷移至云上。
在今年的中期業績發布會上，招行行長王良提到將用三年時間實現從“線上招行”向“智慧招行”的跨越。在智能化變革深刻影響的當下，招行在基礎設施建設、AI等新興技術應用層面有哪些新的思考與應用？
近日，招行信息技術部副總經理俞吳杰接受了21世紀經濟報道記者采訪。他提到，今年年初招行開始建立智算平臺，并通過FinTech基金對大語言模型方面的基礎設施建設與應用開設“綠色通道”，推動AI在錢多、人多、耗時多的場景里發揮更大的價值。
談投入：為大模型應用開“綠色通道”
一直以來，聚集資金與數據優勢的商業銀行都是數智化轉型的領頭羊。從2023年全年科技投入數據來看，12家銀行科技投入超50億元，其中8家銀行投入超百億。
就招行自身來看，其信息科技投入經歷了從2018年到2021年的迅猛增長，從2022年開始已趨于平穩，截至2023年末科技投入金額約141億元。
俞吳杰告訴記者，招行信息技術投入分為兩大方向，一是傳統的軟硬件投入，二是在探索大語言模型落地時，搭建智算平臺、挖掘應用場景的投入。
傳統的軟硬件投入主要是圍繞招行的云基礎設施。2023年3月，招行宣布完成全面上云，目前招行的“兩朵云”分別為“金融交易云”與“原生云平臺”，前者重“穩態”，后者重“敏態”。俞吳杰表示，這是招行面向未來的數字化新基建，投入非常大，就從硬件來說，“兩朵云加起來需要數萬臺服務器?！彼岬?，此外還有軟件投入、維保費、人力等。
面對生成式AI帶來的大模型浪潮，招行第二大科技投入的方向是智算平臺，該平臺從今年年初開始建立。“以前我們的服務器集群叫做通算平臺，現在和大模型相關的我們稱為智算平臺?！睋釁墙芙榻B，智算平臺包括招行的大語言模型訓練平臺與推理平臺兩個方面。他提到，招行探索大模型的目標不是建立通用模型，而是在金融行業建設垂直領域的大模型。
“無論是訓練還是推理，集群投入都是以億為單位的?！庇釁墙芴岬?，每臺GPU的價格上百萬，僅算力配置的成本就相當高昂，同時還需要引進相關人才，這意味著持續的投入。
俞吳杰坦言，應用場景需要業務部門和技術部門一起創新，存在一定試錯成本，招行的解法是用FinTech基金來提供容錯成本，每年招行FinTech基金的預算額度原則上不低于上一年營收的1.5%?！翱傂袑τ诖笳Z言模型的基礎設施建設和應用，都是全力支持，基本上都能通過FinTech基金走綠色通道?！庇釁墙鼙硎?。
招行對智算平臺的全力投入，是因為大語言模型正在銀行各個業務板塊全方位地釋放價值。在俞吳杰看來，雖然大模型在銀行的落地應用還處于探索階段，但已經為業務帶來了非常顯著的變化。
俞吳杰指出，在從“線上招行”向“智慧招行”轉變的過程中，線上化、數據化、智能化、平臺化、生態化的“五化”建設至關重要，目前招行已基本完成線上化和數據化階段。
在智能化階段，俞吳杰提到，AI已經融入到銀行日常的營銷、服務、風控、經營等各個方面。例如在服務質檢方面，過去人工客服接聽電話、記錄內容、整理歸類的流程可能需要五分鐘，但現在可以借助語音識別轉換成文本后交給大模型處理，可以把流程縮短到“秒”級，大幅提升工作效率。
談落地：到“錢多人多耗時多”的場景中去
在探索大模型落地應用的過程中，數據、算力、算法的“三駕馬車”是金融機構和科技廠商的必答題，對招行來說也是如此。
俞吳杰告訴記者，基于傳統AI技術，招行已在語音語言、計算機視覺等方面有廣泛落地應用，但對大語言模型與智算平臺建設的探索還是近兩年才開始的，接下來將聚焦兩個方面。
第一是持續建設推理集群。“未來的大模型應用，對算力提出剛性要求，如果沒有算力服務就很難擴展場景、提升用戶體驗。”俞吳杰提到。
第二是擴大訓練的集群。俞吳杰明確指出，招行不會將精力放在通用大模型訓練上，而是聚焦專業領域。招行選擇了兩條路徑，一是基于效果較好的通用大模型，結合專業領域知識以及招行在日常經營中積累的專業語料，“做深”領域大模型；二是將領域大模型投入到更多場景中，基于場景實現應用創新。
“我們認為銀行有三個重要的‘密集型’特征，分別是數據密集、知識密集、人力密集?！庇釁墙鼙硎?，在“錢投入多”、“人投入多”、“耗時多”的場景下，AI將產生更大的價值。
據俞吳杰介紹，招行的創新應用一般是自上而下、自下而上“兩條腿走路”。
自上而下方面，招行會基于對大模型應用的整體規劃來投入資源。俞吳杰提到，目前該行的規劃是按照業務條線、業務形態的“兩維矩陣”來挖掘前述的“三多”場景，前者對應零售、批發、中后臺等條線，后者對應營銷、服務、運營、風控、合規、辦公等場景。
自下而上方面，招行通過FinTech基金、創新競賽等形式，激勵一線業務人員在實際工作中應用大模型?！霸谏蠈幼鲆巹澋臅r候，可以從全局出發，但往往一線聽得到炮火的員工，對業務的真實需求理解最深?！庇釁墙鼙硎?，招行將加大在培訓、機制、資金等各方面投入，引導一線員工在日常工作中挖掘大模型的實踐場景。
據介紹，截至今年10月末，招行全行已有超過100個場景在應用大語言模型。俞吳杰表示，未來招行還將加大在智算平臺投入，擴大規模、提升性能，并與高校、廠商等共同攻關技術難點。
談未來：加強協同應對AI風險
盡管以大模型為代表的AI技術已經開始釋放應用價值，但不可否認的是，新興技術也帶來了新的風險與挑戰。
俞吳杰指出，大語言模型在銀行的落地應用還存在幻覺問題、資源消耗巨大、數據隱私保護、答案生成可解釋性等方面問題。例如在客服場景中，如果大模型的思考時間過長，可能影響客戶體驗，但性能調優需要更大規模的算力，與更多的資源消耗；又如在貸款審批等涉及決策的場景下，多層神經網絡模型是“黑盒”，可能使得業務“不敢用”。
對此，招行的解法是“協同”，既包括人機協同，也有大模型與小模型的協同。
客戶服務是大模型最先落地應用的場景之一。俞吳杰提到，隨著銀行客戶數量、賬戶數量的增加，對客戶服務的需求快速增長，客服業務的發展也經歷了人工客服、機器客服和人機協同的三個階段。他指出，在第二個階段主要是通過自然語言處理的小模型，來實現客戶交互，但由于機器理解可能的偏差，影響客戶體驗。目前，招行的智能客服來到人機協同的第三階段，機器人可以解決簡單、相似性較高的問題，當出現復雜問題，或AI判斷用戶情緒需要人工干預時，可以無縫銜接到后臺坐席人員處理，最終在實現規模效應的同時提供“有溫度”的服務。
為進一步解決大模型因幻覺導致的準確度不高、可解釋性不強、響應時間過長等問題，招行采用大模型與小模型協同的方式。
俞吳杰表示，小模型的“小”只是相對于大語言模型的量級而言，基于傳統方法建立的模型，一般是針對某一場景開發的專有模型?！按蟮内厔菔谴竽Ｐ偷母采w范圍會越來越廣泛，如果它的準確度和效果能達到使用標準，它的可復用性可以大幅降低銀行的邊際成本?！庇釁墙苤赋?，雖然小模型需要專門的開發、部署、維護，但它有很好的可解釋性，對場景有針對性，特別是在精準的數值處理方面，小模型的表現較好，因此未來大模型和小模型仍將長期并存。
“大部分銀行只要有能力，基本都會布局大語言模型，但這是一項持續的大規模投資，不是所有銀行都適合這種大規模投入的。”俞吳杰表示，不建議大量中小銀行盲目跟風。在產生價值、可復用的場景上，中小銀行機構可以基于大行經驗進行大模型的應用探索。
（文章來源：21世紀經濟報道）
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
