新火種
2025-03-21 
防范大模型幻覺可能導致的信息安全問題
2025年春節以來，DeepSeek（以下簡稱DS）的發布在全球范圍內掀起一波大模型應用的新熱潮。由于在中文問答方面的優異表現，它受到中文大模型用戶萬眾矚目般的追捧，同時帶動其他中文大模型產品如文小言、豆包、Kimi、騰訊元寶等的下載量。
不用做專業技術測評，用戶可以直觀感受到DS強大的推理能力。在深度思考功能中，首先可以看到為完成用戶的任務，DS是如何“思考”，即很大一段推理過程或方法論的描述，由灰色字體標識出來；然后才是黑色字體標識的正式回答，往往呈現出非常完整的框架性結構和邏輯鏈條。毫不夸張地說，DS的推理能力超過很多忽視邏輯推理能力訓練的普通老百姓。
除此之外，DS令人驚艷的還有中文表述上的文采，令很多人評價“辭藻華麗”“情緒給到位”。作為一名學術用戶，筆者能直觀感受到DS標題取得好，講究大詞、術語的使用，行文工整，透露一股自信和專業的味道。如果特別地要求文本的風格，會發現它對語詞的褒貶義、情緒和細節的選取非常講究，用來做原創性不高的廣告、文案、公文非常好用。
然而，隨著DS用戶爆炸式的增長，對它更高的期望也被越來越多的用戶提出來。普通用戶可以直接感受到的問題主要有兩點：第一，響應率不高，很容易出現“服務器繁忙，請稍后再試”的情況。僅用作日常娛樂搜索問題不大，但如果用在正式的工作場合容易誤事。第二，AI幻覺明顯，事實性的東西胡編亂造的情況不少。據報道，行業權威Vectara HHEM人工智能幻覺測試顯示，DeepSeek-R1顯示出14.3%的幻覺率，遠高于行業平均水平。
從原理上說，AI幻覺根源于統計學上的“隨機鸚鵡”現象，所有的大模型都不可能完全避免，但是可以盡力消除。相比較而言，國產大模型產品各有千秋，但在遏制幻覺問題上，明顯文心一言表現最為優異，無疑與研發團隊一開始就將AI幻覺作為最重要的研究問題來對待有關。
如果說大模型產品只想做為某種娛樂工具，寫寫“小作文”，調節調節情緒，似乎AI幻覺問題不大。但如果想作為高效勞動工具和嚴肅的信息來源，AI幻覺問題處理不好會很危險，甚至很致命。毫不夸張地說，克服AI幻覺問題事涉信息安全問題，是大模型發展的基礎性和前提性問題，任何一種大模型應用都無法繞過去。
筆者嘗試用DS輔助收集學術資料，發現DS將作者與作品張冠李戴、杜撰文獻和作者以及胡亂內容描述的情況不少。如果完全相信DS的回答，不僅無法切實提高工作效率，相反會制造混亂和錯誤。當然，如果僅僅作為框架性的參考和提示，DS還是能發揮一定的輔助收集資料作用。
問題是在AI時代，很多人數字素養不高，容易迷信大模型產品。最近，在學界不少人用DS評價學者、著作、論文和某項研究的水平，以為DS客觀公正，可以杜絕人情、關系和權力等因素的干擾。這是典型的技術迷信行為，相信大模型至上，將之凌駕于人的判斷之上。國際通行的學術評議方式是同行評議（peer review），也就是由專業小同行進行學術評價。大模型根本不理解人類作品的含義，只是通過搜索、學習和上下文概率排序等技術手段生成文本，本質上是網上內容的“鏡子”或“平均值”。顯然，網上內容大部分不專業、不精確、不客觀，如此大模型怎么可以取代同行評議呢？因此，完全以幻覺嚴重的AI產品作為研究根據，在學術上萬萬不行。
在社會傳播方面，AI幻覺嚴重的大模型產品如果接入新聞、自媒體當中，大量假消息、假信息迅速生成。再加上開放和便捷的互聯網傳輸，以及社交媒體的去中心化、反權威性，肯定會大大加劇后真相時代虛假信息泛濫的狀況。使用大模型輔助生成各種文本的學生、文員和策劃，長期使用AI幻覺嚴重的大模型產品，逐漸會喪失區別真實與虛假的判斷力，甚至覺得只要形式精致、表述華麗就可以而真真假假都不重要了。
當事實性輸出有問題時，不管推理能力如何強大，以錯誤事實為基礎做決策肯定非常危險。不能否認可能出現“瞎貓碰到死耗子”的情況，但此類概率微乎其微，因為科學決策以準確而完善的信息收集為前提。有了關于決策對象各個方面的信息，才能提出有針對性的備選方案，決策者再從中挑選適合國情社情的決策方案。因此，大模型產品用于政務活動，首先就要對產品的除幻性能進行認真的評估。
如何防范大模型幻覺可能導致的信息安全問題？現階段首要責任在大模型企業，必須投入人財物力壓縮幻覺率，使之達到安全的閾值。其次，大模型產品的使用人員要提高數字素養，不可迷信AI，牢記以AI輔助勞動的“輔助”為主，讓AI為人所用，嚴防AI反客為主。再次，尤其對于一些專業領域的大模型運用，文本生成精度要有特殊的標準，接入之前要進行嚴格而有針對性的幻覺率評估，切不可操之過急。最后，從長遠來看，大模型信息安全問題值得各方面合作進行跨學科深入而細致的研究，形成系統化的防范方案，有步驟、有預案、有章法地推進大模型產品在各行各業的深度應用。
我們以“請推薦十本國內技術哲學著作”為題，分別在DS、豆包和文心一言進行評測，測試一下這三個平臺的學術信息收集整理能力。
問題選擇理由：筆者并非技術專家，不做專業的技術數據測評，做也是拿別人的工具跑一跑，因此僅做直觀的問答內容測試，選擇筆者非常熟悉的技術哲學領域，測試這三個大模型處理事實性信息的能力。
以下為各個平臺的結果梳理：
——DS——
從形式上看，DS給出的回答讀起來感覺相對豐富。它包含推理提示、推薦文本介紹、延伸推薦、閱讀提示等。
推薦的十本書看得出來并不是簡單地以“技術哲學”“技術”為題目進行檢索，出現有《信息文明的倫理基礎》《可接受的科學：當代科學基礎的反思》《賽博空間的哲學探索》等不以“技術哲學”“技術”為名的作品。
但是，《中國科學技術的西傳及其影響》《可接受的科學：當代科學基礎的反思》并非技術哲學著作，而是科技史、科學哲學的作品。
更嚴重的問題是“幻覺”錯誤不少。比如，《可接受的科學：當代科學基礎的反思》的作者是段偉文而不是劉大椿，劉永謀并沒有一本名為《技術與現代性：中國道路的哲學追問》的書。比如《信息文明的倫理基礎》的“推薦理由”很混亂，“可接受的科技”是《可接受的科學：當代科學基礎的反思》的觀點。
——豆包——
豆包回答簡單明了，響應很快。除了《荷蘭學派技術哲學研究：設計、理論與價值》這本書網上沒有找到，其他書都是有的。但是，這十本書主要是東北大學或“東北學派”的作品，尤其陳昌曙就獨占六本。嚴重懷疑是從不多的幾個東北大學技術哲學發展史為主題的帖子上歸納的。總體上資料顯得很陳舊。
——文心一言——
文心一言的推薦在準確性上沒有問題，每本書給出了出版社、出版年份，還包含了國內出版社的兩本譯著。不過代表性上仍然存在問題，陳昌曙、劉大椿、田鵬穎均有兩本。總體上書單缺乏前沿性。
總體評價：大模型用于學術資料檢索功能差強人意，不可以作為學術研究的唯一依憑，而是作為某種初步的提示。就AI幻覺問題而已，文心一言表現最好，DS幻覺明顯。
本文作者系中國人民大學吳玉章講席教授 劉永謀
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
