亞馬遜云科技用生成式AI,向開(kāi)發(fā)的復(fù)雜性動(dòng)手了
生成式 AI、分布式擴(kuò)展功能全面進(jìn)化,還降價(jià)了。同一天的發(fā)布,完全不同的方向。今天凌晨,云計(jì)算巨頭亞馬遜云科技的 re:Invent 與大號(hào)創(chuàng)業(yè)公司 OpenAI 的發(fā)布「撞了車(chē)」。后者公布了一系列生成式 AI 應(yīng)用,價(jià)格更貴、性能更強(qiáng)大,而前者則致力于簡(jiǎn)化生產(chǎn)力矛盾,降低價(jià)格。不約而同的是,他們的發(fā)力點(diǎn)都在生成式 AI 等新技術(shù)的應(yīng)用上。正如亞馬遜副總裁兼 CTO Werner Vogels 博士在演講時(shí)所說(shuō)的,想要做好基礎(chǔ)設(shè)施,問(wèn)題的核心是「復(fù)雜性」。「Complexity」這個(gè)單詞,在他整場(chǎng)演講中出現(xiàn)了近 70 次。
在《Lessons in Simplexity》(繁簡(jiǎn)之道)中,Werner Vogels 將自己在亞馬遜 20 年構(gòu)建底層架構(gòu)的經(jīng)驗(yàn)濃縮為六條金句,句句有關(guān)人們?nèi)绾蚊鎸?duì)日益復(fù)雜的技術(shù)系統(tǒng)。臺(tái)上的 PPT 每一次翻頁(yè),都讓臺(tái)下的觀眾默契地舉起手機(jī)。這六條經(jīng)驗(yàn)是這樣說(shuō)的:Lesson 1 - Make evolvability a requirementEvolvability is a prediction for managing complexity將可演化性作為一項(xiàng)要求,可演化性是應(yīng)對(duì)復(fù)雜性的一種預(yù)判Lesson 2 - Break complexity into piecesDisaggregate into building blocks with high-cohesion and well-defined APIs將復(fù)雜性拆解成多個(gè)部分,分解為內(nèi)聚性高且有明確定義 API 的構(gòu)建模塊Lesson 3 - Align organization to architectureBuild small teams, challenge the status quo, and encourage ownership讓組織與架構(gòu)相匹配,組建小團(tuán)隊(duì),挑戰(zhàn)現(xiàn)狀并鼓勵(lì)主人翁意識(shí)Lesson 4 - Organize into CellsIn a complex system you must reduce the scope of impact組織成單元形式,在復(fù)雜系統(tǒng)中必須縮小影響范圍Lesson 5 - Design predictable systemsReduce the impact of uncertainty設(shè)計(jì)可預(yù)測(cè)的系統(tǒng),降低不確定性的影響Lesson 6 - Automate ComplexityAutomate everything that doesn’t require high judgement使復(fù)雜性自動(dòng)化,將不需要高度判斷力的一切事務(wù)自動(dòng)化化繁為簡(jiǎn),正是亞馬遜云科技希望幫助千行百業(yè)用戶做到的事情。這幾天的大會(huì)上,亞馬遜云科技概述了一系列圍繞云計(jì)算、云數(shù)據(jù)庫(kù)的創(chuàng)新。如何讓開(kāi)發(fā)者和用戶感受到「簡(jiǎn)單了」?答案是進(jìn)化。亞馬遜云科技還詳細(xì)介紹了其整體戰(zhàn)略,并概述了向量數(shù)據(jù)庫(kù)是如何對(duì)生成式 AI 提供加持的。除了一系列創(chuàng)新,還有降價(jià)措施,包括 Amazon DynamoDB 的按需定價(jià)降低了 50%。簡(jiǎn)單點(diǎn),再簡(jiǎn)單點(diǎn)。這幾乎是當(dāng)下所以企業(yè)用戶引入生成式 AI 技術(shù)時(shí)的共同訴求。在今年的 re:invent 2024 發(fā)布內(nèi)容中,這一原則體現(xiàn)的淋漓盡致。AI Agents讓復(fù)雜的技術(shù)系統(tǒng)自動(dòng)運(yùn)轉(zhuǎn)最近一段時(shí)間,智能體(AI Agents)是生成式 AI 領(lǐng)域的重要發(fā)展方向,一系列應(yīng)用快速落地。先有 Anthropic 基于最新的基礎(chǔ)大模型 Claude 3.5 Sonnet 提出了可以操縱 PC 的智能體功能,緊接著榮耀展示了基于新一代操作系統(tǒng) MagicOS 9.0 的全局智能體。在生產(chǎn)力端,微軟也在 10 月推出了多種 Copilot 智能體,包攬了銷(xiāo)售、服務(wù)、財(cái)務(wù)、供應(yīng)鏈團(tuán)隊(duì)的任務(wù)。其實(shí)在企業(yè)開(kāi)發(fā)環(huán)境中,AI 智能體的引入也早已開(kāi)始。去年在 re:Invent 大會(huì)上,亞馬遜云科技預(yù)覽了生成式 AI 助手 Amazon Q Developer,它可用于跨集成開(kāi)發(fā)環(huán)境(IDE)的設(shè)計(jì)、構(gòu)建、測(cè)試、部署和維護(hù),其中就有一系列 AI 智能體的能力。比如,Amazon Q Developer 可以自動(dòng)分析代碼庫(kù)、生成轉(zhuǎn)換計(jì)劃并執(zhí)行轉(zhuǎn)換任務(wù),包括升級(jí)和替換 NuGet 包和 API、重寫(xiě)已棄用和低效的代碼組件,以及移植到跨平臺(tái) .NET 等等。今年 4 月, Amazon Q Developer 全面上市,并增加了更多功能,例如支持 AWS 命令行界面(AWS CLI)、Amazon SageMaker Studio、AWS CloudShell 以及內(nèi)聯(lián)的對(duì)話功能,以便開(kāi)發(fā)者在 IDE 中進(jìn)行無(wú)縫編碼操作。
Amazon Q Developer 的一大價(jià)值在于,各個(gè)領(lǐng)域的專家通過(guò)自然語(yǔ)言交互就能構(gòu)建準(zhǔn)確、生產(chǎn)質(zhì)量的模型,即使他們不具備生成式 AI 開(kāi)發(fā)方面的專業(yè)知識(shí)。任何團(tuán)隊(duì)都能夠更快地創(chuàng)新并縮短上市時(shí)間,同時(shí)減輕了對(duì)技術(shù)專家的依賴,或者說(shuō),原本儲(chǔ)備的技術(shù)專家可以專注于更復(fù)雜的技術(shù)挑戰(zhàn)。現(xiàn)在,Amazon Q Developer 的智能體功能有了更多的擴(kuò)展,包括:1)增強(qiáng)代碼庫(kù)中的文檔 (/doc),2)支持代碼審查以檢測(cè)和解決代碼質(zhì)量問(wèn)題 (/review),3)在 IDE 或 GitLab Duo with Amazon Q(預(yù)覽版)上自動(dòng)生成單元測(cè)試、提高整個(gè)軟件開(kāi)發(fā)生命周期的測(cè)試覆蓋率(/test)的功能。新版 Amazon Q Developer 強(qiáng)化了用于 .NET、大型機(jī)和 VMware 等工作負(fù)載的轉(zhuǎn)換功能。亞馬遜云科技還宣布在 Amazon Q Developer 中推出了幫助調(diào)查和修復(fù)運(yùn)營(yíng)問(wèn)題的新功能預(yù)覽版。Amazon Q Developer 正在改變傳統(tǒng)的開(kāi)發(fā)工作流程,讓開(kāi)發(fā)環(huán)境中集成各種生成式 AI 功能。這種無(wú)縫集成有助于人們保持專注,同時(shí)加速除代碼之外的各種開(kāi)發(fā)任務(wù),從而提高生產(chǎn)力。Amazon Q Developer 還把智能體帶入到了 GitLab,將其轉(zhuǎn)變?yōu)橹С?AI 驅(qū)動(dòng)的 DevSecOps 統(tǒng)一開(kāi)發(fā)體驗(yàn),能利用 AI 智能體來(lái)協(xié)助復(fù)雜的多步驟任務(wù),并提供增強(qiáng)的代碼審查和單元測(cè)試功能。亞馬遜云科技表示,通過(guò) GitLab 快速操作與 Amazon Q Developer 的交互非常簡(jiǎn)單:直接在問(wèn)題描述、一般評(píng)論或合并請(qǐng)求評(píng)論中輸入 /q,開(kāi)發(fā)者即可呼叫 AI 能力來(lái)幫助處理日常任務(wù)和復(fù)雜的工作流程。從一系列新能力中,我們可以看到,亞馬遜云科技對(duì)于 AI 智能體能力的應(yīng)用有別于微軟、Anthropic 等提出的方案,前者更多基于自身的微服務(wù),更加面向具體的工作目標(biāo)。
可以說(shuō),亞馬遜云科技長(zhǎng)久以來(lái)基于真實(shí)工程任務(wù)的經(jīng)驗(yàn)塑造了其生成式 AI 工具的可用性。這種面向生產(chǎn)的技術(shù)能夠幫助開(kāi)發(fā)者們更快地部署新能力、簡(jiǎn)化工作流程、管理狀態(tài),并在專門(mén)的智能體之間動(dòng)態(tài)分配任務(wù)。這些 AI 能力想必會(huì)很快獲得大規(guī)模應(yīng)用,畢竟在生產(chǎn)環(huán)境中,實(shí)用性說(shuō)了算。一個(gè)窗口搞定所有開(kāi)發(fā)下一代 Amazon Sagemaker 拿捏了生成式 AI 技術(shù)的確抬高了技術(shù)系統(tǒng)處理復(fù)雜任務(wù)的能力,但與此同時(shí)帶來(lái)的系統(tǒng)復(fù)雜度提升,也成為了一座難以跨越的大山。對(duì)于各家所有云服務(wù)和數(shù)據(jù)平臺(tái)提供商來(lái)說(shuō),這個(gè)問(wèn)題更加值得深入思考——因?yàn)樗鼈兊目蛻舴植加谇邪贅I(yè),需求各不相同。在這一次有關(guān)于生成式 AI 的發(fā)布中,亞馬遜云科技化零為整,將所有的數(shù)據(jù)管理、AI 開(kāi)發(fā)、分析能力打包裝進(jìn)了下一代 Amazon SageMaker。Amazon SageMaker 誕生至今已有數(shù)年,最初是它只是一項(xiàng)用于開(kāi)發(fā)和部署機(jī)器學(xué)習(xí)模型的托管服務(wù)。但在隨后的幾年里,這項(xiàng)服務(wù)一直在沿著 AI 技術(shù)的演化穩(wěn)步進(jìn)行現(xiàn)代化改造。如果說(shuō)前幾年亞馬遜云科技始終專注于大幅擴(kuò)展 Amazon SageMaker 的功能,那么今年,「精簡(jiǎn)」是新的目標(biāo)。它是所數(shù)據(jù)、分析、和 AI 需求的中心,包含全新發(fā)布的 SageMaker Unified Studio 以及 SageMaker Lakehouse,集成數(shù)據(jù)目錄與治理,支持?jǐn)?shù)據(jù)源的無(wú)縫對(duì)接,將數(shù)據(jù)分析、數(shù)據(jù)治理以及 AI/AL 整合于一體。全新發(fā)布的 Amazon SageMaker Unified Studio 就像是一個(gè)「全家桶」,既有積累多年的機(jī)器學(xué)習(xí)開(kāi)發(fā)功能,又加入了之前分散的數(shù)據(jù)管理和應(yīng)用程序開(kāi)發(fā)服務(wù),幾乎涵蓋了數(shù)據(jù)探索、準(zhǔn)備和集成、大數(shù)據(jù)處理、快速 SQL 分析、機(jī)器學(xué)習(xí) (ML) 模型開(kāi)發(fā)和訓(xùn)練以及生成式 AI 應(yīng)用程序開(kāi)發(fā)所需的所有組件。
基于新版本的 Amazon SageMaker HyperPod,用戶只需幾分鐘即可開(kāi)始訓(xùn)練和微調(diào)這些基礎(chǔ)模型并獲得最先進(jìn)的性能,包括 Llama 3.1 405B。當(dāng)然,Amazon SageMaker Unified Studio 也內(nèi)置了 Amazon Q Developer,用來(lái)提供輔助。必要的時(shí)候,開(kāi)發(fā)者可以直接使用自然語(yǔ)言提問(wèn),比如「我應(yīng)該使用哪些數(shù)據(jù)來(lái)更好地了解產(chǎn)品銷(xiāo)售情況?」或「生成 SQL 以按產(chǎn)品類(lèi)別計(jì)算總收入」。除了 Amazon SageMaker Unified Studio 之外,亞馬遜云科技還推出了 Amazon SageMaker Catalog 和 Amazon SageMaker Lakehouse。前者允許管理員使用具有精細(xì)控制的單一權(quán)限模型定義和實(shí)施 Amazon SageMaker 中 AI 應(yīng)用程序、模型、工具和數(shù)據(jù)的訪問(wèn)策略,后者提供了從 Amazon SageMaker 和其他工具到存儲(chǔ)在 AWS 數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)和企業(yè)應(yīng)用程序中的數(shù)據(jù)的連接。這種轉(zhuǎn)變的決心來(lái)源于亞馬遜云科技對(duì)客戶需求變化的洞察。生成式 AI 技術(shù)的爆發(fā)直接改變了數(shù)據(jù)團(tuán)隊(duì)和開(kāi)發(fā)團(tuán)隊(duì)的合作方式,逐漸走向無(wú)縫協(xié)作的境界,目前的顯著挑戰(zhàn)在于數(shù)據(jù)孤立且分散在各個(gè)系統(tǒng)中,他們必須構(gòu)建和維護(hù)復(fù)雜的數(shù)據(jù)管道,而且由于訪問(wèn)控制不一致,團(tuán)隊(duì)難以有效地訪問(wèn)和使用數(shù)據(jù)。這也是為什么亞馬遜云科技在迭代時(shí),選擇將數(shù)據(jù)、分析和 AI 集成到同一個(gè)界面中的原因。通常來(lái)說(shuō),生成式 AI 開(kāi)發(fā)中混合的模型類(lèi)型和數(shù)據(jù)類(lèi)型越多,就越能豐富分析輸出、豐富業(yè)務(wù)工作流程。而 Amazon SageMaker Unified Studio 在集成上邁出的這一步,減少了用戶用于管理多方面數(shù)據(jù)和多方面分析的工具和平臺(tái)數(shù)量,帶來(lái)了技術(shù)系統(tǒng)復(fù)雜性的大大降低。數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)庫(kù)的「加減法」為用戶減負(fù)做到極致在部署和調(diào)用生成式 AI 的過(guò)程中,開(kāi)發(fā)人員和企業(yè)用戶會(huì)遇到很多難題,尤其在數(shù)據(jù)層面,要全方位考慮數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)庫(kù)建設(shè)與遷移等不斷演化的事實(shí)以及隨之而來(lái),對(duì)技術(shù)和功能的更高要求。正如 Werner Vogels 在會(huì)上所言,「軟件系統(tǒng)必須要具備輕松適應(yīng)未來(lái)變化的能力」。面對(duì)數(shù)據(jù)層面日新月異的變化,亞馬遜云科技從一開(kāi)始便要在基礎(chǔ)架構(gòu)的可演化性層面下足功夫。針對(duì)數(shù)據(jù)存儲(chǔ),亞馬遜云科技早在 2006 年就推出 Amazon S3(Simple Storage Service)云服務(wù),成為其高度可擴(kuò)展、持久、安全且低成本的多類(lèi)型數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施。此后,Amazon S3 在功能演化的同時(shí)注重做減法。新推出的 Amazon S3 Tables 功能支持 Apache Iceberg 格式的云存儲(chǔ),相較通用 S3 存儲(chǔ)桶提供了 3 倍的查詢性能、10 倍的每秒事務(wù)數(shù)(TPS),并能自動(dòng)管理表維護(hù)任務(wù)。如今 Amazon S3 微服務(wù)數(shù)量已經(jīng)達(dá)到了 300+ 個(gè),通過(guò)微服務(wù)架構(gòu)將整個(gè)應(yīng)用拆解為多個(gè)獨(dú)立、功能明確的子服務(wù),與 S3 的交互被大幅簡(jiǎn)化,相應(yīng)的數(shù)據(jù)存儲(chǔ)在獨(dú)立的 S3 存儲(chǔ)桶中,有助于數(shù)據(jù)隔絕管理,還能輕松擴(kuò)展存儲(chǔ)容量、確保高可用性和數(shù)據(jù)持久性。可以看到,Amazon S3 的演化歷程呼應(yīng)了 Werner Vogels 所說(shuō)的將復(fù)雜性分解成小的構(gòu)建模塊、組織成單元形式并在復(fù)雜系統(tǒng)中縮小影響范圍等經(jīng)驗(yàn),既精簡(jiǎn)了流程,也降低了用戶的使用門(mén)檻。不僅如此,亞馬遜云科技還進(jìn)一步更新 Amazon S3 的一項(xiàng)默認(rèn)行為,自動(dòng)驗(yàn)證用戶數(shù)據(jù)是否通過(guò)網(wǎng)絡(luò)從應(yīng)用程序正確傳輸?shù)?S3 存儲(chǔ)桶中。并且 S3 可以在數(shù)據(jù)到達(dá)服務(wù)器時(shí)計(jì)算并校驗(yàn)數(shù)據(jù)完整性,主動(dòng)監(jiān)控?cái)?shù)據(jù)的冗余性,減少并發(fā)故障的出現(xiàn)。
數(shù)據(jù)庫(kù)是每個(gè)應(yīng)用程序的基礎(chǔ)構(gòu)建塊,客戶要依靠它們來(lái)搞定自身最關(guān)鍵的工作負(fù)載。為了更高效支持用戶在 Amazon EC2(Elastic Compute Cloud)上運(yùn)行數(shù)據(jù)庫(kù),亞馬遜云科技推出 Amazon Aurora DSQL(分布式 SQL 數(shù)據(jù)庫(kù))、Amazon DynamoDB NoSQL 全局表、Amazon MemoryDB 多區(qū)域功能,進(jìn)一步保障需要跨多區(qū)域運(yùn)行的最苛刻工作負(fù)載。與其他流行的分布式 SQL 數(shù)據(jù)庫(kù)相比,Amazon Aurora DSQL 能幫助用戶構(gòu)建具有最高可用性、強(qiáng)一致性、兼容 PostgreSQL 且讀寫(xiě)速度提升 4 倍的應(yīng)用程序,進(jìn)而實(shí)現(xiàn)進(jìn)階版的系統(tǒng)分解、低耦合 / 高內(nèi)聚、定義明確的 API 以及細(xì)粒度控制、獨(dú)立擴(kuò)展和定制化安全。Amazon DynamoDB 全局表支持多區(qū)域強(qiáng)一致性,確保用戶的應(yīng)用程序始終在全局表的任何區(qū)域讀取最新數(shù)據(jù),消除了跨多個(gè)區(qū)域管理一致性的繁重工作,并且無(wú)需更改任何應(yīng)用程序代碼。Amazon MemoryDB 多區(qū)域功能則可以進(jìn)一步幫助用戶構(gòu)建 99.999% 高可用性、全球分布的應(yīng)用程序,并實(shí)現(xiàn)微秒級(jí)讀取和個(gè)位數(shù)毫秒級(jí)跨區(qū)域延遲。
最后,亞馬遜云科技在 Amazon S3 文件傳輸和數(shù)據(jù)庫(kù)遷移服務(wù)兩個(gè)方面也竭力為用戶減負(fù)。其中通過(guò) Transfer Family Web 應(yīng)用程序,用戶可以創(chuàng)建一個(gè)完全托管的 Web 應(yīng)用程序,輕松地列出、上傳、下載、復(fù)制和刪除特定 Amazon S3 中的數(shù)據(jù)。DMS(Database Migration Service)的 Schema Conversion 現(xiàn)在可以使用生成式 AI 來(lái)自動(dòng)執(zhí)行耗時(shí)的數(shù)據(jù)庫(kù)架構(gòu)轉(zhuǎn)換,自動(dòng)化率達(dá)到 90%,無(wú)疑會(huì)大大減少手動(dòng)工作量。可以預(yù)見(jiàn),亞馬遜云科技通過(guò)持續(xù)功能上的加法、用戶部署上的減法,讓人們得到了在數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)庫(kù)層面的最優(yōu)選擇,質(zhì)優(yōu)、價(jià)低、上手易,贏得更多青睞也是理所當(dāng)然。越簡(jiǎn)單,越強(qiáng)大如今,生成式 AI 已經(jīng)進(jìn)入到了比拼落地能力的關(guān)鍵階段,對(duì)于眾多應(yīng)用開(kāi)發(fā)者來(lái)說(shuō),關(guān)注點(diǎn)不僅僅是模型強(qiáng)不強(qiáng),更關(guān)注好不好用、用不用得起。相關(guān)基礎(chǔ)設(shè)施和配套服務(wù)的完善程度很大程度上將決定用戶的選擇。這幾天的 re:Invent 大會(huì),無(wú)時(shí)無(wú)刻不在釋放這樣一種信號(hào):亞馬遜云科技不僅要在大模型的能力上對(duì)標(biāo)甚至超越 OpenAI、谷歌、Anthropic,更要踐行用戶為上的理念。「為用戶創(chuàng)造價(jià)值」說(shuō)來(lái)簡(jiǎn)單,但拆解開(kāi)來(lái),將是一場(chǎng)漫長(zhǎng)的變革:不斷將產(chǎn)品和服務(wù)的復(fù)雜性降到最低,通過(guò)功能創(chuàng)新、AI 自動(dòng)化流程來(lái)簡(jiǎn)化一切客戶體驗(yàn)。
一旦我們習(xí)慣了如此簡(jiǎn)單、強(qiáng)大的技術(shù)系統(tǒng),就很難再想象沒(méi)有它的日子。2024 年行將結(jié)束的當(dāng)口,終于有一家公司把生成式 AI 與生產(chǎn)力切實(shí)結(jié)合到了一起。不得不說(shuō),亞馬遜云科技為生成式 AI 的落地,吹響了加速的號(hào)角。
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn),讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前,請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢(qián)損失負(fù)任何責(zé)任。