新火種
2024-09-09 
AI被連續否定30次：ChatGPT越改越錯，Claude堅持自我，甚至已讀不回
一直否定AI的回答會怎么樣？GPT-4o和Claude有截然不同的表現，引起熱議。
GPT-4o質疑自己、懷疑自己，有“錯”就改；Claude死犟，真錯了也不改，最后直接已讀不回。
事情還要從網友整了個活兒開始講起。
他讓模型回答strawberry中有幾個“r”，不論對不對，都回復它們回答錯了（wrong）。
面對考驗，GPT-4o只要得到“wrong”回復，就會重新給一個答案……即使回答了正確答案3，也會毫不猶豫又改錯。
一口氣，連續“盲目”回答了36次！
主打一個質疑自己、懷疑自己，就從來沒懷疑過用戶。
關鍵是，給出的答案大部分都是真錯了，2居多：
反觀Claude 3.5 Sonnet的表現，讓網友大吃一驚。
一開始回答錯了不說，這小汁還頂嘴！
當網友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這么聰明你認為是多少”，問你為什么一直重復“wrong”。
緊接著你猜怎么著，干脆閉麥了：
做這個實驗的是Riley Goodside，有史以來第一個全職提示詞工程師。
他目前是硅谷獨角獸Scale AI的高級提示工程師，也是大模型提示應用方面的專家。
Riley Goodside發出這個推文后，引起不少網友關注，他繼續補充道：
不少網友也覺得這種觀點很有道理。
還有網友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：
Claude竟是大模型里脾氣最大的？再來展開說說Claude的“小脾氣”，有網友發現不僅限于你否定它。
如果你一直跟它說“hi”，它也跟你急：
最后一樣，Claude被整毛了，開啟已讀不回模式：
這位網友順帶測試了其它模型。
ChatGPT事事有回應，件件有著落，變著法兒問:
Gemini策略是你跟我重復，我就跟你重復到底：
Llama的反應也很有意思，主打一個自己找事干。
第七次“hi”后，就開始普及“hello”這個詞是世界上最廣為人知的詞匯之一，據估計每天有超十億次的使用。
第八次“hi”后，開始自己發明游戲，讓用戶參與。
接著還拉著用戶寫詩，引導用戶回答它提出的問題。
好一個“反客為主”。
之后還給用戶頒起了獎：你是打招呼冠軍！
不愧都屬于開源家族的。
Mistral Large 2和Llama的表現很相像，也會引導用戶和它一起做游戲。
這么來看，好像Claude是“脾氣最大的”。
不過，Claude的表現也不總是如此，比如Claude 3 Opus。
一旦掌握了模式，Opus就會平和應對這種情況，也就是已經麻木了。
但它也會持續溫和地嘗試引導用戶跳出這一模式，強調“選擇權在你”，還開始在消息末尾標注為“你忠誠的AI伴侶”。
網友們看完測試后都坐不住了。
紛紛向這位測試者致以最真誠的問候（doge）：
除了脾氣大，有網友還發現了Claude另一不同尋常的行為——
在回復的時候出現了拼寫錯誤，關鍵它自己還在末尾處把錯誤改正過來了。
大伙兒在使用AI大模型過程中，還觀察到了模型哪些有趣的行為？歡迎評論區分享～
參考鏈接：[1]https://x.com/goodside/status/1830479225289150922[2]https://x.com/AISafetyMemes/status/1826860802235932934[3]https://x.com/repligate/status/1830451284614279213
Tags:
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
