新火種
2023-11-08 
一款AI檢測工具被爆出！可輕易識別ChatGPT撰寫的論文
11月7日訊（編輯 周子意）根據周一（11月6日）發表在科學頂刊《細胞》物理子刊《Cell Reports Physical Science》上的一項研究，科學家已研究出一種機器學習工具，可以很容易地識別出使用聊天機器人ChatGPT撰寫的化學論文。
該論文的合著者、美國堪薩斯大學的化學家Heather Desaire指出，“大多數文本分析領域都想要推出一種真正通用的檢測器，可以適用于任何東西”。但她表示她的團隊正通過制作一種專注于特定類型論文的檢測工具，旨在“追求準確性”。
Desaire稱，研究結果表明，開發人工智能（AI）檢測器的努力可以通過定制軟件來促進特定類型的論文寫作，“如果你能快速而輕松地構建一項專門的工具，那么為不同的領域構建不同的工具就不是那么困難了。”
從公布的數據來看，這種專門的檢測器比市面上現有的兩種人工智能檢測器的性能都要好，可以幫助學術出版商識別出那些由人工智能文本生成器生成的論文。
準確率驚人
Desaire和她的同事在6月份首次描述了他們研發的ChatGPT探測器，當時他們將其應用于《科學》雜志上的Perspective文章。該團隊使用人工智能檢測器檢查寫作風格的20個特征，包括句子長度的變化、某些單詞和標點符號的頻率等，來確定文章是有人類科學家所作還是由ChatGPT所生成的。
當時的研究結果表明，“你可以使用一小部分特征來獲得高水平的準確性”。
在最新的研究中，該團隊將美國化學學會（ACS）出版的十本化學期刊的論文引言部分作為人工智能探測器的訓練對象。
研究人員將100篇已發表的人類撰寫的引言作為比對材料，然后要求ChatGPT-3.5以ACS期刊的風格撰寫200篇引言。其中100篇是研究人員向ChatGPT提供了論文標題后生成的，而另外100篇是研究人員向ChatGPT提供了論文摘要后生成的。
研究結果顯示，當把人類撰寫的引言和和人工智能從同一期刊上生成的介紹進行測試時，該人工智能檢測器能夠100%識別出由ChatGPT-3.5編寫的前100篇引言（基于論文標題生成的）；而對于后100篇ChatGPT-3.5生成的引言（基于論文摘要所生成的），檢測的準確率略低，為98%。
此外，該工具同樣適用于ChatGPT-4編寫的文本。
相比之下，市場上的另兩款人工智能檢測器中，德國的ZeroGPT識別人工智能編寫的介紹的準確率僅為35-65%，這取決于使用的ChatGPT版本以及介紹是由論文標題還是摘要生成的。而OpenAI自身的文本分類器工具也表現不佳——它能夠識別人工智能編寫的介紹，準確率約為10-55%。
柏林應用科技大學研究學術剽竊的計算機科學家Debora Weber-Wulff評價道，該篇論文的作者們所做的是一件“令人著迷的事情”。
她表示，許多現有的工具試圖通過搜索人工智能生成的文章的預測文本模式來確定作者的身份，而不是通過觀察寫作風格和文體的特征。Weber-Wulff 稱，“我從來沒有想過在ChatGPT上使用文體計量學。”
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
