新火種
2024-09-13 
清華系公司聯(lián)合，單4090讓安全大模型進(jìn)入千億時代｜長亭x趨境
AI大行其道的時代，網(wǎng)絡(luò)安全正面臨前所未有的威脅。
化身黑客的AI學(xué)會了自動化攻擊，還有相當(dāng)高的成功率，伊利諾伊大學(xué)香檳分校研究團(tuán)隊(duì)的最新研究顯示：GPT-4能夠在閱讀CVE漏洞描述后，學(xué)會利用漏洞攻擊，成功率高達(dá)87%。
既然攻擊方都與時俱進(jìn)，用上AI新技術(shù)來搞破壞。
防御方自然也不會坐以待斃，也在積極把AI大模型納入自己的反制招數(shù)里，最近就有這樣一件大事：
今年剛剛完成10億融資的新生代網(wǎng)絡(luò)安全領(lǐng)軍企業(yè)長亭科技，聯(lián)手同為清華系的AI Infra廠商趨境科技，共同發(fā)布新一代安全大模型解決方案，此次合作將長亭問津（ChaitinAI）安全大模型參數(shù)規(guī)模提升至超過千億，安全能力全方位大幅提升。
至此網(wǎng)絡(luò)安全行業(yè)邁入千億大模型時代。
AI攻防戰(zhàn)，千億大模型帶來什么改變從百億到千億，大模型參數(shù)規(guī)模升級，究竟能給網(wǎng)絡(luò)安全帶來什么改變？
網(wǎng)絡(luò)安全領(lǐng)域有兩個核心的指標(biāo)：攻擊識別準(zhǔn)確率、檢測時延。
在一個企業(yè)的網(wǎng)絡(luò)系統(tǒng)里，每天都有各種各樣的訪問/調(diào)用請求，需要識別每一個請求是正常的業(yè)務(wù)還是惡意的攻擊。加入大模型后，能夠協(xié)助系統(tǒng)進(jìn)行更快速、更準(zhǔn)確的攻擊判斷。
舉個栗子。
經(jīng)常會收到的欺詐郵件就是一種惡意攻擊，一旦點(diǎn)擊其中的鏈接或者下載文件之后，電腦就會被攻擊。
加入了大模型之后，在大家收到郵件的同時，大模型就會對郵件進(jìn)行內(nèi)容識別，根據(jù)多條線索來進(jìn)行多個步驟的惡意攻擊研判，在判定為惡意郵件后，秒級自動向用戶告警，并提醒用戶盡量避免點(diǎn)擊鏈接和下載附件。
在長亭科技30萬+自有的多類型攻擊樣本測評中，某國內(nèi)頭部大模型攻擊識別率為48.3%，而通過長亭聯(lián)合趨境科技發(fā)布的千億參數(shù)的安全大模型解決方案，可以把成績提升到92.1%。
在另一個基于真實(shí)攻擊流量構(gòu)建的私有數(shù)據(jù)集的測試中，問津（ChaitinAI）也成功把成績從65.5%提升到95.8%。
再拿對安全要求更高的金融企業(yè)舉例，交易行為和數(shù)據(jù)對安全性要求極高，擁有復(fù)雜的網(wǎng)絡(luò)環(huán)境，同時由于在系統(tǒng)里的各種交易行為活動量大，通常會有海量的日志數(shù)據(jù)，而對應(yīng)的攻擊手段也非常多樣。
某金融企業(yè)在一次網(wǎng)絡(luò)環(huán)境中出現(xiàn)異常行為時，問津（ChaitinAI）安全大模型同樣秒級響應(yīng)。
首先從海量日志數(shù)據(jù)中迅速提取對應(yīng)的數(shù)據(jù)行為并進(jìn)行標(biāo)準(zhǔn)化處理，根據(jù)行為模式研判屬于APT攻擊（Advanced Persistent Threat，高級長期威脅），同時提取攻擊行為相關(guān)的關(guān)鍵資產(chǎn)，掃描其中的安全漏洞，明確威脅行為來源。隨后再對攻擊行為流量、文件等進(jìn)行分析，成功揪出背后偽裝成合法軟件的惡意工具包。
問津（ChaitinAI）在這次攻擊行為中給出了精確的事件研判報(bào)告和處理對策，整個流程僅需3分鐘，MTTD?（平均檢測時間）和MTTR?（平均響應(yīng)時間），從原來的三十分鐘到數(shù)小時，減少到10分鐘以內(nèi)，幫助該企業(yè)安全團(tuán)隊(duì)迅速定位和決策，成功阻斷了APT攻擊的進(jìn)?步滲透和破壞。
像這樣的提升，接下來還有……這么多：
事件研判處理建議采納率提升安全報(bào)告的內(nèi)容生成質(zhì)量評分提升對于代碼的問題發(fā)現(xiàn)和檢測的準(zhǔn)確率提升漏洞修復(fù)建議的采納率提升對于違法、有害、暴力、色情等不良內(nèi)容的識別能力更強(qiáng)。即對不良內(nèi)容的識別準(zhǔn)確率、召回率提升同一目標(biāo)的滲透測試任務(wù)，大模型驅(qū)動的智能滲透測試的漏洞發(fā)現(xiàn)數(shù)量以及可真實(shí)利用數(shù)量提升基于不同場景選擇合適工具/策略的準(zhǔn)確率提升綜合的輸出健壯性和穩(wěn)定性，不同場景下輸出質(zhì)量的波動率降低Scaling Law的威力，在垂直領(lǐng)域大模型上再一次得到驗(yàn)證：
參數(shù)規(guī)模的數(shù)量級提升，會體現(xiàn)在模型的通用性、泛化能力上。再落實(shí)到應(yīng)用場景上，就不只是單點(diǎn)的指標(biāo)突破，而是全方位提升了。
接下來的問題就是，過去安全行業(yè)怎么不用千億大模型，是因?yàn)椴幌矚g嗎？（狗頭）
破解效果、效率和成本的不可能三角其實(shí)主要涉及安全檢測效果、用戶響應(yīng)效率和私有部署成本，三者之間的矛盾。
安全行業(yè)對于檢測效果的追求永無止境，任何一個小小的安全漏洞很可能帶來巨大的損失。安全大模型依然遵循Scaling Law，千億參數(shù)的模型相比于百億參數(shù)，安全效果進(jìn)一步升級。
同時，網(wǎng)絡(luò)安全防護(hù)是24小時一刻也不能松懈的任務(wù)，需要不斷調(diào)用大模型進(jìn)行推理。一旦檢測到攻擊事件，接下來的響應(yīng)速度也非常關(guān)鍵。
此外，對于安全行業(yè)來說，數(shù)據(jù)的隱私性也極其重要，使用大模型需要在本地部署，并用特定數(shù)據(jù)進(jìn)行訓(xùn)練。而訓(xùn)練和維護(hù)一個千億參數(shù)的模型，背后是巨大的計(jì)算資源和投入，成本動輒需要數(shù)百萬。
既要安全效果好、又要落地成本低、還要檢測效率高，安全大模型落地中的看似“不可能三角”，被長亭和趨境聯(lián)手破解了。
AI Infra新秀入局，拉低部署門檻這是一個掌握垂直行業(yè)場景的公司與大模型技術(shù)公司合作的典型案例。
長亭科技是國內(nèi)頂尖的網(wǎng)絡(luò)信息安全公司之一，專注為企業(yè)級用戶提供智能、簡單、省心的安全防護(hù)產(chǎn)品和解決方案。
趨境科技則是一家AI Infra新秀，專注于構(gòu)建和開發(fā)先進(jìn)的大模型推理加速平臺，為企業(yè)和開發(fā)者提供高效、低成本的大語言模型推理服務(wù)。
趨境科技在不久前，聯(lián)合清華KVCache.AI團(tuán)隊(duì)發(fā)布開源項(xiàng)目“KTransformers?（https://github.com/kvcache-ai/ktransformers）”，利用 MoE 模型和長文本注意力算子的稀疏特性，采用異構(gòu)劃分策略，大幅度提升了超大模型和超長文本的推理性能，降低了他們本地部署的門檻。
作為項(xiàng)目的首個展示案例，使用 KTransformers ，只需不到 12GB 的顯存和百余 GB 的內(nèi)存即可在本地運(yùn)行Mixtral 8x22B 和 DeepSeek-Coder-V2 等千億級大模型，達(dá)到數(shù)倍于 Llama.cpp 的性能。
這一技術(shù)使得千億大模型的本地使用成本降低了10倍以上。
另一方面，對于安全場景下同樣非常重要的長文本推理能力 KTransformers 同樣可以實(shí)現(xiàn)大幅度優(yōu)化。
即便是長達(dá) 1M 的超長上下文，KTransformers 也可以在僅配備 24GB 顯存的設(shè)備上即可完成，生成速度達(dá)到 16.91 token/s，比 Llama.cpp 快 10 倍以上的同時維持了接近滿分的“大海撈針”。
項(xiàng)目在GitHub上開源后，馬上被Hugging Face注意到，收獲了開源項(xiàng)目負(fù)責(zé)人 Lysandre Debut 的點(diǎn)贊，同時還在國內(nèi)外社區(qū)里引起很多討論。
推出開源版本的同時，趨境科技也推出了高性能 KTransformers 商業(yè)版引擎和基于此的推理服務(wù)平臺，通過高級內(nèi)核優(yōu)化和放置/并行策略，在開源版的基礎(chǔ)上推理能力更強(qiáng)，速度更快，同時也增加了針對企業(yè)級的高并發(fā)策略，更適合團(tuán)隊(duì)/企業(yè)級用戶。
大模型落地千行百業(yè)必經(jīng)之路在AI Infra日益完善、大模型安全備受關(guān)注的行業(yè)背景下，同為清華系的長亭科技也很快注意到趨境科技。
由于問津（ChaitinAI）安全大模型同樣具備參數(shù)和注意力兩方面的稀疏性，這與趨境科技的技術(shù)優(yōu)勢十分貼切，雙方一拍即合：
采用KTransformers的技術(shù)策略對問津（ChaitinAI）安全大模型進(jìn)行升級。
問津（ChaitinAI）安全千億大模型解決方案應(yīng)運(yùn)而生。
雙方聯(lián)手，不僅是技術(shù)實(shí)力的驗(yàn)證，更是深入場景落地能力、方案交付能力的驗(yàn)證。
大模型在各行業(yè)的快速落地，離不開行業(yè)場景公司和AI Infra公司的聯(lián)合。
大模型的安全性和可靠性一直是持續(xù)關(guān)注和優(yōu)化的重點(diǎn)所在。這次的合作只是一次創(chuàng)新試驗(yàn)，是大模型技術(shù)發(fā)展的一個縮影。
更長遠(yuǎn)來看，未來，隨著AI技術(shù)的不斷發(fā)展和行業(yè)需求的日益旺盛，會有更多這樣的合作出現(xiàn)。
可以預(yù)見，這些合作將不僅局限于技術(shù)層面的創(chuàng)新，更將涉及到安全、倫理、治理等多個維度的探索和實(shí)踐，共同推動大模型一步步落到千行百業(yè)。
問津（ChaitinAI）千億大模型解決方案試用鏈接：https://jsj.top/f/lzjQag
問津官網(wǎng)：https://www.chaitin.cn/zh/chaitinAI
KTransformers 開源鏈接：https://github.com/kvcache-ai/ktransformers
趨境科技官網(wǎng)：https://approaching-ai.com/
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
