新火種
2025-05-29 
百度研發出大模型加持的廣告推薦系統，轉化率提升3.6%
（文/張睿佳 編輯/張廣凱）
上月，百度團隊于arXiv上發表論文，介紹了一種名為COBRA（Cascaded Organized Bi-Represented generAtive Retrieval）的新算法框架，該框架被應用于提升生成式模型在廣告推薦系統中的使用效果。
根據文章介紹，工程師把COBRA投放到真實環境，在 A/B 測試中增加了3.6%的轉化率，ARPU（平均每用戶收入）增加4.15%，目前該框架已經被應用在百度廣告推薦業務上。
利用生成式大模型來提高廣告推薦的準確性，是很多企業都在做的嘗試。早在去年，谷歌就提出了一種生成式檢索推薦系統范式TIGER。
百度團隊的論文提到，谷歌的TIGER是利用 Transformer 編碼器-解碼器架構中的一系列稀疏 ID 作為輸入，直接預測下一個項目的稀疏 ID。而百度這篇論文的標題就是“當稀疏遇到稠密”，相較TIGER做出了進一步改進。
據悉，COBRA是一個融合生成式和密集檢索的框架。
在生成式推薦中，模型需要預測的目標對象（item)是一個個綜合體，并非簡單的token。所以在技術上，需要明確如何表征，并進行序列建模。
百度最先采用的是純文本表征和LLM建模策略。該策略提升了對用戶意圖的理解能力但是運行成本較高，同時在表征和建模中存在不匹配的問題。
為解決該問題，百度團隊又使用了稠密學習和對比學習度量，但這個方案缺少興趣探索過程，建模復雜度較高。
在受到谷歌推出的推薦系統生成檢索的TIGER方法啟發后，團隊又嘗試了稀疏表征和稀疏ID生成。
這個過程中運用到一個名為“殘差量化變分自編碼器（RQ-VAE）”的技術。顧名思義，該技術綜合了殘差學習、量化技術和變分自編碼器三種方法。可以減少信息損失、提高模型的泛化能力，并通過優化模型參數，改善重構效果。
但是稀疏表征帶來的信息缺失，使得該方案在捕捉用戶偏好的精細變化時效果較差。
最后，團隊提出了COBRA框架，稀疏稠密級聯表征和?成度量?體化方案，并達到了SOTA 級別的推薦性能。
在該框架中，稀疏ID負責提供穩定的類別基礎信息，稠密向量確保模型捕獲高級語義和細粒度細節。模型在稀疏ID的指導下動態地細化稠密向量，可以獲得更加全面的目標對象（item) 特征。同時端到端的訓練方法，可以捕獲高級語義和協同信息。
實測效果上，在利用公開數據集（Amazon Product Reviews: Beauty, Sports and Outdoors,Toys and Games) 和工業數據集(Baidu Industrial)，以及離線和在線評估后，證明COBRA 優于目前業內最先進的方法。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
