首頁 > AI資訊 > 行業(yè)動態(tài) > 防止內容被抓取訓練AI:百度百科屏蔽谷歌/必應等搜索引擎

防止內容被抓取訓練AI:百度百科屏蔽谷歌/必應等搜索引擎

新火種    2024-08-24

8月22日消息,據報道,近日百度百科開始屏蔽谷歌和必應等大多數搜索引擎,預計是為了阻止這些搜索引擎和其他爬蟲,未經授權抓取百度百科的內容用于訓練AI。

百度百科的robots.txt文件顯示,目前僅有百度搜索、搜狗搜索、中國搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少數幾個搜索引擎被允許抓取其內容。

谷歌搜索、必應搜索、微軟MSN、UC瀏覽器的Yisouspider以及其他一切搜索引擎爬蟲均被明確禁止抓取百度百科的內容。

雖然360搜索沒有在封禁列表中單獨列出,但百度百科的策略是禁止一切非白名單爬蟲抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不過百度百科這種做法其實也只是防君子不防小人,肯定還有很多爬蟲通過各種方式繼續(xù)抓取內容然后拿去訓練AI。

防止內容被抓取訓練AI:百度百科屏蔽谷歌/必應等搜索引擎

Tags:
相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。

熱門文章