新火種
2023-09-26 
部署AI大模型，為何必須建立向量數據庫和其他知識庫？
生成式人工智能，特別是大語言模型（LLM，large language models），將在軟件開發等方面發揮關鍵作用。
對于在機器學習操作方面打下基礎、對于企業有效部署和擴展語言模型，生成式人工智能的廣泛使用可謂至關重要。在這個未知的領域，不當的管理可能會引發工作流程出現難以處理的復雜性。
為了開發和擴展企業級大語言模型，成功的機器學習操作計劃包含以下核心特征。首先是始終如一地部署機器學習模型，用標準化的流程和控制措施監控模型的變化、數據和特征質量。
企業應該能夠復制和重新訓練機器學習模型，通過質量保證和治理流程進行部署，從而無需大量人工工作或重寫。最后，應該確保機器學習基礎設施是有彈性的，比如保證多區域可用性和故障恢復、持續掃描網絡漏洞、并對其加以妥善管理。
當這些工作就位之后，大語言模型還會面臨更復雜的挑戰，需要細致入微的方法和考慮，包括基礎設施、能力、風險解決方案和人才儲備。
使用傳統機器學習模型進行推理，通常涉及將模型打包為容器，并將其部署在推理服務器上。隨著對模型需求的增加，比如更多的使用請求、更多的客戶和更多的運行決策，擴展模型所需要做的就是添加更多的容器和服務器。
在大多數企業的設置中，CPU 可以很好地進行傳統模型的推理。但是，托管大語言模型是一個復雜得多的過程，其需要額外的考量。
大語言模型由 token 組成，即文本的基本單元，模型用它來生成類似人類的語言。它們通常基于先前生成的標記，預測的方式是以自回歸的方式逐個標記，直到到達一個停止詞。
這個過程很快就會變得很麻煩：生成 token 的過程要根據模型、任務、語言和計算資源而變化。部署大語言模型的工程師不僅需要基礎設施經驗，例如在云上部署容器，還需要了解最新的技術以保持推理成本可控，并能滿足性能服務等級協議。
在企業環境中部署大語言模型，意味著必須建立向量數據庫和其他知識庫，并讓它們與文檔存儲庫和語言模型實時協同工作，以產生合理的、與上下文相關的準確輸出。
例如，零售商可以使用大語言模型通過消息傳遞接口與客戶進行對話。該模型需要訪問存有實時業務數據的數據庫，以調用最近的交互信息、產品目錄、對話歷史、退貨政策、最新促銷和廣告、客戶服務指南和常見問題的解答。
這些知識庫正在越來越多地發展為矢量數據庫，以便通過矢量搜索和索引算法對查詢進行快速檢索。
（來源：AI 生成）
大語言模型還面臨一個額外的挑戰：針對特定的企業任務進行微調以獲得最佳性能。大型企業級語言模型可能有數十億個參數，這需要使用比傳統機器學習模型更加復雜的方法，包括具有高速網絡接口的持久計算集群、用于訓練以及微調的 GPU 等硬件加速器。
一旦訓練完畢，這些大語言模型還需要多 GPU 節點來進行內存優化和分布式計算的推理。為了滿足計算需求，企業需要在專門的 GPU 集群或其他硬件加速器上進行更廣泛的投資。
這些可編程硬件設備可以被定制，以便實現特定的計算能力，比如矩陣向量運算。而公共云基礎設施是這些集群的重要推動者。
風險管控，在模型的整個生命周期中是至關重要的。可觀察性、日志記錄和操作追蹤，是機器學習操作過程的核心。它們有助于監控模型發布后的準確性、性能、數據質量和漂移，但是還需要考慮額外的基礎設施層。
大語言模型可能會產生“幻覺”，它們偶爾會輸出錯誤的內容。企業需要適當的保護措施，比如規定好特定的格式或策略，以確保大語言模型在真實應用中返回可接受的回答。
傳統的機器學習模型依賴于定量的統計方法，來解決模型不準確和使用時的漂移。對于大語言模型來說，這會變得更加主觀。它可能涉及到對模型輸出進行定性評分，然后在帶有預設護欄的 API 上運行它，以確保得到一個可接受的答案。
企業對大語言模型的治理將是一門藝術和科學，許多組織仍在學習如何將它們納入可操作的風險閾值。隨著新進展的迅速出現，嘗試開源和商業解決方案是明智的，這些解決方案可以針對特定用例和治理需求進行定制。
而這就需要一個非常靈活的機器學習平臺，特別是以高度抽象為基礎的控制臺，并與更廣泛的生態系統保持同步，而不會影響其用戶和應用程序。
Capital One 公司認為，構建一個可擴展的、管理良好的、具有高抽象水平和多租戶的平臺控制臺，對于滿足這些需求至關重要。
根據訓練數據規模和生成的 token 的不同，大語言模型的性能可能會有很大差異。訓練或微調非常大的模型，并在真實環境中大規模地為它們服務，是一項重大的科學挑戰和工程挑戰。這要求企業必須招聘和留住大量的人工智能專家、工程師和研究人員。
例如，對于一個向數萬名員工提供服務的虛擬助手來說，當為其部署大語言模型和矢量數據庫時，意味著需要將各種領域的工程師聚集在一起。還需要部署量身定制的提示（prompt），以提供準確的答案，而這需要復雜的專業知識。
此外，人工智能專家的能力儲備也需要跟上最新的發展，以便建立和微調模型。任何人工智能項目的長期成功都涉及到將數據科學、研究、設計、產品、風險、法律和工程專家結合起來，這些人才和經驗會將人類用戶置于中心。
雖然企業大語言模型仍處于早期階段，新的技術能力每天都在發展，但成功的關鍵之一是擁有堅實的機器學習設施和人工智能基礎設施。
人工智能將繼續快速發展，尤其是在語言模型領域。這些進步有望以前所未有的方式進行變革。與任何新興技術一樣，潛在的好處必須與管理良好的操作實踐和風險管理相平衡。
有針對性地、全方面地考慮整個模型的機器學習操作戰略，可以提供一種全面的方法，從而加速實現更廣泛的人工智能功能。
支持：Ren
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
