新火種
2024-12-05 
ICLR審稿集體搞抽象！評審結果寫半句，還有的求ta也不審，網友：科研人自己的春晚
今天，ICLR 2025的discussion phase的ddl已經截止。回看過去14天的討論過程，可太精彩了！
各大平臺上隨手一翻就是作者們的吐槽大會，都在無語這屆ICLR評審的各種奇葩亂象。
譬如UCSB博士生@JiachenLi11 就在推特上非常之無奈：
△圖源推友@JiachenLi11你還真別說，他這個“tokens用完”的吐槽并不是空穴來風——
ICLR 2025的論文提交數前所未有地高，約有11000篇。
為了提升審稿速度和質量，ICLR今年引入了AI參與審稿工作。
當然了，倒也不是單一AI，是多個AI大模型組成的Agent。
然而，你以為審稿人話不寫完評審內容就點發送，就是ICLR 2025的全部槽點了嗎？
ICLR吐槽大賞要細數今年ICLR 2025的神奇事件，咱們先從最廣為人知的一件說起：
[10,10,10,10]和3個poor得分并存今年的ICLR出現了一篇4個審稿人同時打出了10分的論文。
假如這個分數能保持到中稿通知，這將是近5年來，ICLR的唯一一篇滿分作文。
論文題目如下圖，是一個叫IC-Light（全稱Imposing Consistent Light）項目，是關于控制圖像照明的。
作者張呂敏，也是大名鼎鼎的ControlNet的作者。
他在蘇州大學拿到學士學位后，去往斯坦福讀博。
IC-Light可以隨意控制照片主體的光源和背景，將主體、光源、背景三者迅速地融合在一張圖片里。
半年前，IC-Light就在GitHub上開源，現在共6.5k星。
與此同時，ICLR 2025還出現了幾篇，某一審稿人給某篇論文全打1分的論文。
這里我們打斷一下，了解一下ICLR的評分體系：
1分：太差了3分：拒絕5分：婉拒了哈6分：接……吧8分：接收10分：強接收就拿其中一篇來說吧，看到這個結果給作者氣的，寫了一篇十幾頁的strong rebuttal。
那審稿人為什么給人家Soundness、Presentation、Contributions都給了1分？
審稿人言辭非常犀利，直呼Paper Writing is quite bad，然后還毫不客氣地提問：“Is there a human author on this paper？”
審稿人還表示，（這也是全部最低分的最重要一點），我們是可以判斷一篇論文是人寫的還是AI寫的，“也許您在生成文本時沒有進行基本的連貫性檢查”。
作者繼續輸出長篇大論rebuttal，并回擊“我可真欽佩你識別AI的能力”。
作者5頁回應，審稿人在ddl突然否定領域一位在北大CS讀博的小某書網友@Kevin 對審稿人的神操作大吐苦水。
事情是這樣的，ICLR不是共14天用來discussion phase嘛。
這14天里，有一位審稿人5，一共對他所在團隊提交的paper提出了10個問題。
團隊認真回復了整整五頁，審稿人5已讀不回。
團隊多次希望與其討論，審稿人5已讀不回。
總之就是一整個石沉大海。
到了昨天，也就是discussion phase的最后一天，“審稿人5突然否定這個領域，并將5分改為3分”。
@Kevin非常不理解為什么審稿人這樣做的意圖。
真的就，令人心碎的discussion phase。
“你需要引用另一篇ICLR 2025投稿”推友@PandaAshwinee（普林斯頓博士畢業，現在在Trails.ai從事博后工作）給看熱鬧的網友們畫了個自己接收到的評審內容的亮點：
展開說說，就是審稿人鏈接了ICLR 2025 openreview的另外一篇論文，表示兩個項目高度相關，所以小哥應該引用。
但是哭啊，小哥查過了，要求被引的論文根本不在arXiv上。
而且這不是他第一次感覺“天塌了”——他在評論區補充，之前他的項目在ICML 2024被拒，主要原因也是“與另一篇ICML 2024投稿高度相似”。
不過ICLR很快在小哥推文下面回復了，表達程序主席開始調查這個事兒。
“乞討式”ICLR前面提到的都是審稿人和作者有來有回（哪怕回得慢）的激情battle，更有意思的事是，無論國內還是國外，很多人都把這屆稱為“乞討式”ICLR。
簡而言之，就是審稿人一直不給評審不給分。
有人上個月下旬的時候，就開始給所有AC（區域主席）發了郵件，要求他們提醒審稿人回復作者。
或者至少確認審稿人們知道自己還得干這活。
當時就有網友提醒“最壞的打算”，有的審稿人會拖到最后一刻，因為他們也在為自己措辭……
果不其然，單看國內，昨天開始24h內倒計時了，很多作者還在懇求審稿人快快評審，快快給分。
哎。
對作者的奇怪請求在Google DeepMind工作的Ahmad Beirami（@abeirami）分享了一則訊息：
發到推特上后，有ICLR作者表示出了疑惑：
如果作者們寫了這玩意兒，是否真的對審稿有幫助？
他覺得這“可能是在浪費時間”，因為審稿人完全可能看都不看，直接去看paper原文。一切都是徒勞的。
不過Ahmad很快回復了這位作者：
得到這個答復后，作者小哥很愉快地去添加注釋去了。
ICLR 2025為何這樣以上種種，只是大家或身在其中/或圍觀看熱鬧的ICLR 2025的一點點故事而已。
但，身為權威頂會，為什么會這樣？
有的人認為和今年的稿件數量有關。
官方數據顯示，ICLR 2025的論文提交數量達到了11,000多篇，同比增長61%。
而去年ICLR 2024組委會收到的投稿總數為7,262篇——當然了，對那時候的ICLR來說也是不小的工作量，同比增長了47%。
今年，面對如此龐大的論文數量，審稿人數量高達15,000多名。
這還不夠，官方還引入了多個AI大模型構成的Agent來參與審稿。但它的功用不是完全替代審稿人，它不會撰寫審稿評論或直接編輯評論，而是提供建設性和可操作性的反饋，幫助審稿人提高審稿質量。
這個Agent針對審稿中可能存在的三類問題提供建議：
鼓勵審稿人改寫含糊的評論，使其對作者更具可操作性；突出文章中可能已經回答了審稿人問題的部分；發現并處理不專業、不恰當的言論。但很多作者認為，稿件數量激增確實加大了工作量，Agent的輔助無可厚非，但絕不是ICLR變成被看熱鬧的“科研春晚”的原因。
一方面，Agent提出的建議，審稿人是可以選擇接受或者忽略不管的。
另一方面，極速擴張的審稿人中，是否有人并不是適合評審工作？
再一方面，為了確保審稿質量，每位審稿人平均分配3篇論文，頂天了看4篇，工作量并不是超負荷狀態。
除了有點混亂以外，另一個被網友們激烈討論的點，集中在這屆ICLR的分數上。
一般來說，ICLR的傳統接收率在30%左右，然后今年ICLR的排名前30%的論文，平均評分約為5.6。
前面我們介紹了，6分算是一個勉勉強強的分數，屬于論文被接收的邊緣門檻。
這就意味著“低于‘邊緣接受’門檻的論文將被接收”。
網友談道，“當會議接受變得如此隨意時，我們正在破壞整個科學評估系統——這影響到AI研究整體的完整性。”
在此基礎上，他提出了三點自己的思考，希望ICLR應有更嚴格和公平的程序。
當然，也有另一種聲音：
期待一些超級強大到無懈可擊的大模型出現，讓它們充當審稿人，解決上述所有問題，以此幫助減輕審稿的負擔。
只是不知道這一天什么時候會到來了。
參考鏈接：
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
