首頁 > AI資訊 > 行業動態 > 推動智能決策,AutoML技術在騰訊廣告推薦場景的探索與應用

推動智能決策,AutoML技術在騰訊廣告推薦場景的探索與應用

新火種    2024-12-25

廣告推薦系統的表現直接影響用戶體驗和商業收益,如何在海量數據中精準捕捉用戶需求并提供個性化推薦,成為廣告推薦場景面臨的重要挑戰。為了解決該場景中的數據稀疏、冷啟動等問題,騰訊機器學習平臺部對 AutoML 相關技術進行了深入的研究,發表了一系列具有創新性的學術論文。

一、AutoML 技術背景

AutoML 自動化機器學習,是一個旨在簡化和自動化機器學習模型開發過程的領域。它通過提供工具和技術,如特征評估、自動化結構搜索等使得非專業人士也能有效地使用機器學習,降低能力門檻;同時通過自動化流程、超參數搜索調優等幫助算法工程師有效提高工作效率。

在廣告推薦場景中,AutoML 具有重要意義,主要體現在高效性、資源優化和靈活性等方面。它能夠自動化模型選擇、超參數調優和特征工程,顯著減少人工干預和時間成本,使團隊能夠快速響應用戶需求和市場變化。此外,AutoML 幫助團隊有效利用計算資源,避免在不必要的實驗上浪費時間,從而集中精力在最有潛力的模型和特征上。通過自動探索多種模型和算法,AutoML 能夠找到最適合當前數據和業務需求的解決方案,提升推薦的準確性和相關性。同時,它降低了技術門檻,使非專業人員也能參與模型開發,促進跨部門協作和創新。最后,AutoML 支持持續的模型更新和優化,確保推薦系統始終保持高效和準確,并提供可解釋性功能,幫助團隊理解模型決策過程,從而更好地調整廣告策略和優化用戶體驗。

騰訊機器學習平臺致力于通過 AutoML 的研究與探索,為用戶提供通用的 AutoML 能力,以提升用戶的使用效率和體驗,從而更好地賦能廣告推薦系統。我們希望通過 AutoML 能力的引入,簡化模型開發流程,使用戶能夠更快速地構建和優化廣告推薦模型,最終實現更精準的廣告投放和更優質的用戶體驗。

二、AutoML 研究探索

1. BiGNAS(AAAI'25)

Behavior Importance-Aware Graph Neural Architecture Search for Cross-Domain Recommendation

本文提出了一種新的跨域推薦系統框架,稱為行為重要性感知圖神經網絡架構搜索(BiGNAS)。現有的基于圖神經網絡(GNN)的 CNR 方法雖然能夠捕捉復雜的用戶 - 物品交互,但通常依賴于手動設計的架構,BiGNAS 旨在解決推薦系統中的數據稀疏性和冷啟動問題。BiGNAS 通過兩個關鍵組件實現了創新:跨域定制超網絡(Cross-Domain Customized Supernetwork)和基于圖的行為重要性感知器(Graph-Based Behavior Importance Perceptron)。超網絡作為一次性、無需重訓練的模塊,能夠自動搜索每個域的最佳圖神經網絡(GNN)架構,減少了手動設計的復雜性。行為重要性感知器則通過輔助學習動態評估源域行為的重要性,從而提升目標域的推薦效果。

實驗結果表明,BiGNAS 在多個基準數據集和大規模行業廣告數據集上均優于現有的最先進方法。這項研究首次聯合優化 GNN 架構和行為數據重要性,為跨域推薦提供了新的思路和有效的解決方案。

2. One-Shot NAS (WWW'23)

Automatic Feature Selection By One-Shot Neural Architecture Search In Recommendation Systems | Proceedings of the ACM Web Conference 2023

本文提出了一種基于一次性神經架構搜索(One-Shot NAS)的自動特征選擇方法。推薦系統的性能依賴于特征的質量和選擇,而傳統的特征選擇方法依賴人工,耗時且計算資源消耗大。本文設計了一個新框架,通過 NAS 自動識別最優特征。首先構建一個候選特征集合,然后利用一次性架構搜索技術快速評估不同特征組合的性能。通過訓練一個共享的神經網絡,在不同架構之間共享權重,能夠在一次訓練中評估多個架構,即快速評估各種特征組合,無需重新訓練,從而顯著降低計算開銷。在特征選擇過程中,模型會根據預定義的性能指標,如準確率和召回率評估不同特征組合的貢獻。通過實時反饋,搜索算法能夠優化特征選擇,最終識別出最具影響力的特征。這種自動化的特征選擇過程使得推薦系統能夠更好地捕捉用戶偏好,提高推薦的準確性。

本文為推薦系統中的特征選擇提供了一種高效的自動化解決方案,實驗結果顯示,該方法在多個推薦任務中表現優異,能夠有效選擇出對推薦效果影響最大的特征。

3. AutoPooling (WSDM'24)

AutoPooling: Automated Pooling Search for Multi-valued Features in Recommendations | Proceedings of the 17th ACM International Conference on Web Search and Data Mining

本文提出了 AutoPooling 自動化池化搜索方法,旨在優化推薦系統中多值特征的處理。在推薦系統中,如何有效處理多值特征(如用戶的興趣標簽、商品的屬性等)是一個重要的挑戰。傳統的池化方法往往依賴于手動設計,難以適應不同數據集和任務的需求。為了解決這一問題,AutoPooling 通過自動化池化策略的搜索,優化了多值特征的表示。AutoPooling 通過引入一種自動化搜索機制,能夠在多種池化策略中進行選擇和組合,從而找到最適合特定任務的池化方法。該方法利用強化學習、進化算法等技術,自動探索不同的池化配置,評估其在推薦任務中的表現。這種自動化的過程不僅提高了池化策略的選擇效率,還能夠根據數據的特性動態調整池化方式。此外,AutoPooling 還考慮了多值特征之間的關系,通過設計靈活的池化結構,能夠更好地捕捉特征之間的相互作用。這種方法的靈活性使得它能夠適應各種推薦場景,從而提升模型的整體性能。

實驗結果表明,AutoPooling 在多個基準數據集上均取得了顯著的性能提升,超越了傳統的池化方法。AutoPooling 可以與現有的推薦算法無縫集成,作為特征處理的一個模塊,提升整體推薦系統的性能。通過自動化池化搜索,AutoPooling 為推薦系統中的多值特征處理提供了一種高效且實用的解決方案,推動了推薦算法的進一步發展。

4. AdaS&S

[2411.07504] AdaS&S: a One-Shot Supernet Approach for Automatic Embedding Size Search in Deep Recommender System

本文提出了 AdaS&S,一種自動化搜索深度推薦系統中 embedding 層大小的方法。在深度推薦系統中,embedding 層的大小對模型的性能起著關鍵作用。然而,手動選擇合適 embedding 大小通常需要大量的實驗和經驗,既耗時又低效。為了解決這一問題,AdaS&S 采用一次性超網絡(One-Shot Supernet)策略,旨在自動化 embedding 大小的搜索過程。AdaS&S 通過構建一個超網絡,能夠在同一模型中同時訓練多個 embedding 大小的配置。這種共享權重的機制使得不同 embedding 大小的模型可以高效地進行訓練,從而顯著減少了訓練時間和計算資源的消耗。通過快速評估不同 embedding 大小對模型性能的影響,AdaS&S 能夠自動選擇最優的配置,提升推薦系統的效果。此外,AdaS&S 引入了自適應搜索策略,根據模型在驗證集上的表現動態調整嵌入大小的搜索范圍。這種靈活性使得該方法能夠在不同的數據集和任務中表現出色,適應性強。

實驗結果表明,AdaS&S 在多個基準數據集上均取得了優異的性能,顯著提升了推薦系統的效果,同時降低了超參數調優的復雜性。通過自動化嵌入大小的搜索,AdaS&S 為深度推薦系統的優化提供了一種高效且實用的解決方案,推動了相關領域的研究進展。

5. FlexHB

[2402.13641] FlexHB: a More Efficient and Flexible Framework for Hyperparameter Optimization

本文提出了一種名為 FlexHB 的超參數優化框架,旨在顯著提升優化過程的效率和靈活性。傳統的超參數優化方法往往面臨著計算資源消耗過大和搜索空間不夠靈活的問題,這使得在實際應用中難以快速找到最佳的超參數配置。為了解決這些問題,FlexHB 巧妙地結合了貝葉斯優化和超帶寬(Hyperband)策略,通過動態調整資源分配,能夠快速評估不同超參數配置下模型的性能,從而有效縮短優化所需的時間。FlexHB 的靈活性體現在其對多種模型和任務的支持,用戶可以根據具體需求自定義搜索空間和評估策略。這種個性化的設置使得優化過程更加貼合實際應用場景,能夠更好地滿足不同用戶的需求。此外,FlexHB 還通過智能的資源管理,確保在優化過程中能夠高效利用計算資源,降低不必要的浪費。

實驗結果表明,FlexHB 為超參數優化提供了一種高效且靈活的解決方案。在多個基準數據集上的測試中,FlexHB 顯著提高了超參數優化的效率和效果,成功降低了時間和計算成本。這一框架不僅提供了有效的超參數調優工具,也為未來的超參數優化研究開辟了新的方向。

相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。

熱門文章