新火種
2023-11-14 
報告：從研究、產業、政策等角度看2023年人工智能現狀
原文標題：《2023 年人工智能現狀報告》
作者：36氪旗下編譯團隊神譯局 boxi
圖片來源：由無界 AI生成??
明年也許人工智能生成的歌曲將打入Billboard十大金曲排行榜編者按：對于我們這個日益數字化、數據驅動的世界來說，人工智能是技術進步的力量倍增器。因此，了解人工智能的發展現狀對我們的工作就顯得十分重要了。這份《2023年人工智能現狀報告》從研究、產業、政治、安全等方面對人工智能的現狀進行了總結，并對未來12個月的人工智能發展情況做出預測，希望能幫助你了解人工智能的發展動態。文章來自編譯。
研究
2023 年當然是大語言模型（LLM）之年，OpenAI 的 GPT-4 震驚了世界，它成功擊敗了所有其他 LLM——不管是在經典的人工智能基準測試上，還是在針對人類設計的考試上。
GPT-4的能力碾壓其他的大模型：OpenAI不僅用經典自然語言處理基準對其進行過測試，還用了一些評估人類的測驗來測試（如律師資格考試、GRE、力扣等）；GPT-4在幻覺問題上表現也好于之前的模型
出于對安全與競爭的擔憂，我們發現人工智能在開放性上已經有所減弱。 關于GPT-4 ，OpenAI只發布了信息非常有限的技術報告，谷歌對 PaLM2 也沒有透露多少內容，Anthropic更是一點技術資料都不透露，不管是 Claude……還是 Claude 2。
不管是科技巨頭還是初創企業，領先的公司對自己的人工智能技術細節開始遮遮掩掩
不過，Meta AI 以及其他公司卻站了出來，通過開發并發布足以與 GPT-3.5 的眾多功能相媲美的開源 LLM 來讓開源的火焰繼續燃燒。
Meta開源了LLaMa，從而掀起了一場大模型的開源競賽，在開源模型的幫助下，一些人開始對模型進行微調，開發出針對垂直領域的應用
從 Hugging Face 的排行榜來看，開源比以往任何時候都更加活躍，下載量以及模型的提交量軍飆升至歷史新高。值得注意的是，在過去 30 天內，LLaMa 模型在 Hugging Face 上的下載量已超過 3200 萬次。
Hugging Face已經變成開源人工智能的大會堂，與22年相比，23年上面的數據集、空間與模型數量均有了顯著增長
雖然我們有很多不同的基準（主要是學術性的）來評估大語言模型的性能，但這些不同的評估標準似乎最大的的共同點，也是最大的科學與工程基準是這個：（用戶的）“共鳴”
隨著開源與閉源語言大模型的增多，隨著訓練數據的大同小異，LLM之間也愈發的缺乏差異化，導致評測模型困難。目前用來比較模型能力的主流基準是斯坦福的HELM排行榜與Hugging Face的LLM Benchamark，但用戶似乎喜歡用更主觀的評測法：共鳴。
除了LLM的氛圍令人興奮以外，包括微軟在內的研究人員一直在探索小語言模型的可能性，他們發現用高度專業化的數據集訓練過的模型可以與規模大 50 倍的競爭對手相媲美。
微軟發現，如果用非常專業且經過仔細挑選的數據集來訓練的話，小語言模型也能與規模大50倍的模型匹敵。
如果 Epoch AI 的團隊是正確的話，這項工作可能會變得更加緊迫。他們預測，我們將面臨高質量語言數據庫存貨在未來“兩年”內耗盡的風險，這導致實驗室要探索訓練數據的替代來源。
有研究團隊認為，人類生成的數據快要用完了，低質量的語言數據估計在2030年到2050年間用完，而高質量語言數據匯總2026年用完，視覺數據會在2030至2060年間用完。
從更高層面去研究現狀——盡管最近幾年中逐年減弱，但美國的領先地位依舊，且絕大多數高引用論文仍然來自少數的美國機構。
中國站人工智能研究領域排名第二
產業
所有這些工作意味著現在是進入硬件業務的好時機，特別是如果你是 NVIDIA 的話。 GPU 需求把他們推進了市值萬億美元俱樂部，其芯片在人工智能研究當中的使用量是“其他替代方案總和”的 19 倍。
人工智能研究主要使用英偉達的芯片。注意：y軸的刻度是指數變化
雖然 NVIDIA 仍在不斷推出新芯片，但他們舊的 GPU 卻展現出了非凡的生命周期價值。 2017 年發布的 V100 是 2022 年人工智能研究論文當中最受歡迎的 GPU。這款CPU可能會在 5 年內停止使用，這意味著它已經服役了 10 年。
英偉達的V100芯片展現出強大的生命力
我們已經看到對 NVIDIA H100 的需求在快速增長，實驗室急于構建大型的算力集群——可能還會有更多集群正在建設中。不過，我們聽說這些建設項目并不是沒有遇到重大的工程挑戰。
用英偉達最新GPU H100組建的人工智能算力集群，最大的谷歌A3用了26000塊GPU
“芯片大戰”也迫使行業做出調整，NVIDIA、英特爾以及 AMD 都在為自身龐大的中國客戶群打造特殊的、符合制裁規定的芯片。
這張圖里面有些芯片又被美國納入管制清單了
也許是有史以來最不出奇的消息是這個：Chat-GPT 是有史以來增長最快的互聯網產品之一。它在開發者當中特別受歡迎，已經取代了 Stack Overflow——成為開發者在編碼問題遇事不決時尋找解決方案的新去處。
ChatGPT的興起與Stack Overflow的衰落形成了鮮明對比
但根據紅杉資本的數據，目前有理由懷疑生成式人工智能產品的持久力——從圖像生成到人工智能伴侶，各種產品的留存率都不穩定。
普通大眾對人工智能產品似乎是一時興起
除了消費軟件領域以外，有跡象表明生成式人工智能可以加速實體人工智能領域的進步。 Wayve GAIA-1 展現出了令人印象深刻的通用性，可以作為訓練和驗證自動駕駛模型的強大工具。
GAIA-1利用視頻、文本以及行動輸入來生成逼真的駕駛場景，從而訓練人工智能應對一些極端情況
除了生成式人工智能以外，我們還看到了此前一直在努力給人工智能尋找合適應用的行業有了重大舉措。許多傳統制藥公司已經把寶全部押在人工智能上，與 Exscientia 以及 InstaDeep 等公司達成了價值數十億美元的交易。
主流制藥公司開始全力投入到人工智能輔助藥物研發上
隨著軍隊急于實現力量的現代化來應對不對稱戰爭，人工智能優先的國防市場正在蓬勃發展。不過，新技術與老牌企業之間的沖突令新進入者難以立足。
去年美國防務初創企業的融資額為24億美元
除了這些成功之外，風投行業的重心放在了生成式人工智能上面，這個板塊撐起了 Atlas 等科技私募市場的一片天空。如果不是因為生成式人工智能的市場繁榮，人工智能的投資將比去年下降 40%。
全球最人工智能方面的投資相對穩定，而生成式人工智能成為投資新寵
那篇首次介紹 Transformer 神經網絡的論文作者就是活生生的證明——僅 2023 年，Transformer 幫就獲得了數十億美元的融資。
《注意力就是你的全部所需》的作者后來均從谷歌出走創業，并且總共獲得了數十億美元的融資
百度在硅谷的人工智能實驗室DeepSpeech2團隊也是如此。他們在語音識別深度學習方面的工作向我們展示了現在支撐大規模人工智能的擴充定律。這支團隊的大部分成員后來成為了領先的機器學習公司的創始人或高級管理人員。
百度硅谷人工智能實驗室的早期工作證明了規模取勝之道
許多最引人注目的重磅融資根本就不是由傳統風投公司領投的。 2023 年是企業風投年，大型科技公司有效利用了自己手頭的戰爭基金。
風投的主力變成了科技巨頭
政治
毫不奇怪，數十億美元的投資，再加上能力的巨大飛躍，已經讓政策制定者把人工智能放在了議程的首要位置。頻譜的范圍從從寬松到嚴管，全球對待監管有幾種做法。
從寬松到嚴管，從利用已有法律框架到制定針對政策，各國對監管人工智能的態度不一
關于對人工智能的全球治理已經有不少潛在提案，提出者主要是一系列的全球組織。由 Matt Clifford 等人組織的英國人工智能安全峰會可能有助于將其中的一些想法具體化。
人工智能的全球治理仍處在早期階段
隨著我們不斷看到人工智能在戰場上的威力，這些爭論議題可能會變得更加緊迫。烏克蘭沖突已成為人工智能戰爭的實驗室，展示了即便是相對臨時拼湊的系統，如果巧妙地集成起來的話，也可以產生毀滅性的效果。
烏克蘭成為了人工智能戰爭的試驗場
另一個潛在的爆發點是明年的美國總統大選。到目前為止，與過去那種虛假信息相比，深度偽造以及其他人工智能生成內容發揮的作用還相對有限。但低成本、高質量的模型可能會改變這一點，從而促使采取先發制人的行動。
人工智能很有可能被用來干預大選
之前的人工智能現狀報告曾經發出過警告，大型實驗室也許忽視了人工智能的安全性。 2023 年大家都在爭論人類是否會因為人工智能而存在生存風險，研究人員之間就開源與閉源的爭論愈演愈烈，滅絕風險成為頭條新聞。
隨著人工智能展現出驚人的能力，部分專家開始擔心起人類的生存風險
……不用說，雖然不是所有人都同意——但楊立昆（Yann LeCun） 和 馬克·安德（Marc Andreessen）是主要的懷疑論者。
關于滅絕風險，專家分成了兩個陣營
政策制定者現在才對人工智能的潛在風險感到震驚，這一點并不奇怪，雖然他們一直在努力了解相關知識。英國率先成立了一個專門的前沿人工智能工作組（Frontier AI Taskforce），由 Ian Hogarth 領導，美國也啟動了國會調查。
各國政府紛紛開始關注人工智能
盡管仍存在理論爭端，但實驗室已經開始采取行動，就緩和開發部署的極端風險而言，Google DeepMind 與 Anthropic 是最早用更詳細手段闡述了相關做法的公司之一。
大型實驗室已經開始采取行動緩和風險
即使沒有涉及到遙遠的未來，大家也開始對諸如基于人類反饋的強化學習（這是Chat-GPT等技術的基礎）等技術提出了棘手的問題。
基于人類反饋的強化學習面臨一些根本性的挑戰
預測
跟以往一樣，本著透明的精神，我們對去年的預測打理一下分數——我們的得分是5/9。
? LLM 訓練、生成式人工智能/音頻、科技巨頭全力投入通用人工智能的研發、對齊的投資，以及訓練數據。
? 多模態研究、生物安全實驗室監管以及半成品初創企業的厄運。
以下是我們對未來 12 個月的 10 個預測！其中涵括了：
- 生成式人工智能/電影制作
- 人工智能與選舉
- 自我改善代理
- IPO的回歸
- 價值超過 10 億美元的模型
- 競爭調查
- 全球治理
- 銀行 + GPU
- 音樂
- 芯片收購
好萊塢級的制作將運用生成式人工智能制作視覺特效會有一家生成式人工智能媒體公司因為在2024美國大選中濫用生成技術而被調查自我改善的人工智能代理在復雜環境(如AAA游戲、工具使用、科學等)下的表現將碾壓最新技術科技IPO市場將解凍，至少將會有一家聚焦人工智能的公司上市（如Databricks）生成式人工智能的大模型訓練成本可能飆升至10億美元以上美國的FTC或英國的UMA將對微軟/OpenAI的交易發起競爭調查除了志愿行為以外，全球人工智能治理將會取得有限進展金融機構將取代風投股權資本，推出GPT債務基金來為算力融資人工智能生成的歌曲將打入Billboard十大金曲排行榜或者Spotify Hits 2024隨著推理負載與成本飆升，會有一家大型人工智能公司（如OpenAI）收購一家面向推理的人工智能芯片公司 相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
