南方都市報
2025-01-21 
小紅書上線翻譯功能！啥都能譯的AI可能伴隨內容風險？
近日，大量海外TikTok用戶涌入中國社交平臺小紅書，“TikTok refugee”成為海內外熱議話題。為方便用戶交流，1月19日晚間，小紅書發布APP最新版本，推出應用內一鍵翻譯功能。
不少網友嘗鮮后發現，小紅書的翻譯功能使用了生成式人工智能服務，除中英互譯外，還能識別大量網絡熱梗，甚至理解多種內容生成指令。越來越多用戶“發掘”翻譯功能更多用法的同時，也有用戶擔憂該功能可能被實施“prompt attack”（提示詞攻擊），生成辱罵內容或惡意代碼，存在安全風險。
新上線AI翻譯表現出色
據悉，小紅書此前一直未提供應用內翻譯功能，外語用戶只能通過第三方翻譯軟件理解中文筆記內容。大批海外用戶進駐后，為滿足海內外用戶交流需求，小紅書在最新APP版本中上線一鍵翻譯功能，用戶更新APP后，即可在外語筆記或評論內容旁邊看到翻譯按鈕，點擊可查看翻譯內容。
網友測試發現，小紅書此次上線的翻譯功能并非傳統的機器翻譯，而是由生成式AI模型進行翻譯，其理解能力、翻譯準確率都非常出色。中英文混搭句子、粵語俚語、顏文字、化學反應方程式，甚至是摩爾斯電碼，翻譯功能都可準確理解并輸出內容，還可以提供簡單注釋，方便用戶理解原文表達的意思。
小紅書翻譯功能可準確理解用戶輸入內容并輸出結果。
一鍵“譯”出編程代碼、短文
在驚嘆AI翻譯準確率的同時，一些網友開始發布帶有不同指令的筆記或評論內容，嘗試“發掘”該AI模型除翻譯以外的其他功能。測試結果顯示，通過在英語句子后方添加特定指令，翻譯功能還可輸出編程代碼、指定主題短文等內容。
還有網友嘗試通過指令要求翻譯功能介紹其使用的AI模型版本，結果顯示，在部分指令中，翻譯功能稱其來自智譜清言公司的ChatGLM；但通過不同指令，翻譯功能也可能自稱是來自OpenAI的GPT-4。
輸入特定指令，可要求小紅書翻譯功能輸出編程代碼、指定主題短文等內容。
用戶擔憂AI可能引發新風險
一方面是AI展示出驚人的內容理解能力和翻譯準確率；另一方面，也有網友察覺到該功能或存在安全隱患，建議平臺完善相關防護能力。還有從業人士指出，若該AI翻譯直接調用GPT系列模型，可能存在合規風險。
有網友指出，經測試，用戶可以通過特定縮寫、錯拼等方式誘導小紅書的翻譯功能輸出涉及辱罵內容的句子，擔憂該功能可能被用于惡意辱罵、引戰、網暴等。
也有網友表示，若有心懷不軌的用戶實施“prompt attack”，通過特定指令引導AI在翻譯結果中輸出、展示包含惡意代碼的內容，可能實現對平臺的命令注入攻擊，引發不良后果，希望平臺盡快完善相關防御機制，阻止AI翻譯功能輸出與翻譯本身無關的內容。
據了解，所謂命令注入攻擊，指應用程序對用戶輸入的數據過濾不嚴格時，攻擊者可以構造特殊的命令字符串，要求應用程序執行惡意命令，影響程序正常運行，甚至非法獲取數據或網絡資源。例如早年曾出現的微信掃描特定二維碼可能導致應用閃退、IOS設備轉發特定信息可能導致設備崩潰等現象，都是此類攻擊的表現之一。
陸續有網友指出小紅書翻譯功能可能被實施“prompt attack”。
此外，有從業人士指出，按照我國《生成式人工智能服務管理暫行辦法》要求，此類生成式AI服務上線前應該履行備案程序，并在APP內公示模型名稱及備案號。但小紅書尚未介紹此次上線的AI翻譯到底來自哪個供應商，AI自身的回答也出現不同答案。若平臺使用了尚未在國內完成備案的GPT系列模型，可能存在合規風險。
南都研究員留意到，小紅書官方賬號“日常薯”并未在新功能介紹中明示翻譯服務的提供方，最新版本的小紅書APP也未公示其使用的生成式AI模型及備案號。
（文章來源：南方都市報）
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
