九九热视频精品在线_国产成人mv视频在线观看_国产精品三级一区二区_亚洲精品国产av成拍色拍婷婷_久久伊人一区二区_国产高清精品网站_九九99热久久精品离线6_国产在线一卡2卡三卡4卡免费_日韩美女乱淫aaa高清视频_亚洲大胆_啪啪一级视频_午夜av免费观看_国产高清精品福利私拍国产写真_亚洲婷婷五月综合狠狠_日韩欧美一区二区三区视频_岛国av免费看_精品国产乱码久久久久久久软件_亚洲国产成人精品无码区99_www日本色_免费黄色看片

今天，Meta 分享了一系列研究和模型，這些研究和模型支撐 Meta 實現(xiàn)高級機器智能（AMI）目標，同時也致力于開放科學和可復現(xiàn)性。
這些工作側(cè)重于 AMI 的構(gòu)建模塊，包括感知、語音和語言、推理、具身智能和對齊。研究工作包括 SAM 2.1、Spirit LM、Layer Skip、自學習評估器等。SAM 2.1
SAM 2 已經(jīng)被應用于跨學科（包括醫(yī)學圖像、氣象學等）研究，并且產(chǎn)生了良好的影響。現(xiàn)在，Meta 宣布推出性能更強的 SAM 2.1。Meta 引入了額外的數(shù)據(jù)增強技術(shù)來模擬 SAM 2 之前遇到的視覺相似物體和小物體的存在，通過在較長的幀序列上訓練模型并對空間和物體指針內(nèi)存的位置編碼進行一些調(diào)整，提高了 SAM 2 的遮擋處理能力。

• 項目鏈接：https://github.com/facebookresearch/sam2

Spirit LM
大型語言模型經(jīng)常被用于構(gòu)建文本到語音 pipeline，其中語音通過自動語音識別 (ASR) 進行轉(zhuǎn)錄，然后由 LLM 生成文本，最終使用文本到語音 (TTS) 轉(zhuǎn)換為語音。然而，這個過程損害了語音表達。
為了解決這一限制，Meta 構(gòu)建了開源多模態(tài)語言模型 Spirit LM，實現(xiàn)了語音和文本的無縫集成。Spirit LM 在語音和文本數(shù)據(jù)集上使用詞級交織方法進行訓練，以實現(xiàn)跨模態(tài)生成。Meta 開發(fā)了兩個版本的 Spirit LM，以展示文本模型的語義生成能力和語音模型的表達能力。

• 論文鏈接：https://arxiv.org/abs/2402.05755
• 代碼鏈接：https://github.com/facebookresearch/spiritlm
• 模型權(quán)重：https://ai.meta.com/resources/models-and-libraries/spirit-lm-downloads/

Layer Skip
大型語言模型已在各個行業(yè)中廣泛采用，但其高計算和內(nèi)存要求會消耗大量能源，并且可能帶來高昂的經(jīng)濟成本。為了應對這些挑戰(zhàn)，Meta 提出了一種端到端解決方案 ——Layer Skip，以加快 LLM 在新數(shù)據(jù)上的生成時間，而無需依賴專門的硬件或軟件。

• 論文鏈接：https://arxiv.org/abs/2404.16710
• 代碼鏈接：https://github.com/facebookresearch/LayerSkip
• 權(quán)重鏈接：https://huggingface.co/collections/facebook/layerskip-666b25c50c8ae90e1965727a

Layer Skip 通過執(zhí)行其層的子集并利用后續(xù)層進行驗證和校正來加速 LLM。現(xiàn)在，Meta 又要發(fā)布 Layer Skip 的推理代碼和微調(diào)檢查點。Llama 3、Llama 2 和 Code Llama 等模型已經(jīng)使用 Layer Skip 進行了優(yōu)化。Layer Skip 可以將模型性能提升高達 1.7 倍。
Lingua
Lingua 是一個輕量級且獨立的代碼庫，旨在助力大規(guī)模訓練語言模型。Lingua 將使人們更容易將概念轉(zhuǎn)化為實際實驗，并優(yōu)先考慮簡單性和可復用性以加速研究。高效且可定制的平臺還允許研究人員以最少的設置快速測試他們的想法。

• 項目鏈接：https://github.com/facebookresearch/linguaMEXMA
  MEXMA 是一種新型預訓練跨語言句子編碼器。在訓練過程中，通過結(jié)合 token 層級和句子層級的目標，MEXMA 的表現(xiàn)優(yōu)于以往的方法。
  研究團隊發(fā)現(xiàn)，之前用于訓練跨語言句子編碼器的方法僅通過句子表征來更新編碼器，而通過引入 token 層級的目標，研究者可以更好地更新編碼器，從而改進性能。MEXMA 覆蓋了 80 種語言，并且在句子分類等下游任務中表現(xiàn)出色。
  • 論文鏈接：https://arxiv.org/abs/2409.12737
  • 模型鏈接：https://huggingface.co/facebook/MEXMA
• 代碼鏈接：https://github.com/facebookresearch/mexma

自學習評估器

Meta 在 8 月發(fā)表了一篇題為《Self-Taught Evaluators》的論文，提出了自學習評估器，用于生成合成偏好數(shù)據(jù)來訓練獎勵模型，無需依賴人工標注。

• 論文鏈接：https://arxiv.org/abs/2408.02666
• 代碼鏈接：https://github.com/facebookresearch/RAM/tree/main/projects/self_taught_evaluator
• 訪問合成數(shù)據(jù)：https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data
• 模型鏈接：https://huggingface.co/facebook/Self-taught-evaluator-llama3.1-70B

同時，Meta 發(fā)布了使用直接偏好優(yōu)化訓練的模型。實驗結(jié)果表明，在 RewardBench 上，雖然在訓練數(shù)據(jù)創(chuàng)建中未使用任何人工標注，但其表現(xiàn)優(yōu)于更大的模型或使用人工標注標記的模型，如 GPT-4、Llama-3.1-405B-Instruct 和 Gemini-Pro。