GPTBot是什么?网络爬虫工具 GPTBot

OpenAI 昨日发布了旗下网络爬虫工具 GPTBot该 GPTBot 工具能够在注重版权的基础上,使用透明的方式收集网页信息,来训练 OpenAI 旗下的各 AI 模型

GPTBot 使用专有网页 UA 表示其爬虫身份,完整 UA 字符串为(Mozilla / 5.0 AppleWebKit / 537.36 / KHTML, like Gecko; compatible; GPTBot / 1.0; + https://openai.com/ gptbot),任何网站管理者都可以自由允许或阻止该爬虫工具进行数据采集。

a942ba15-f22c-4081-b14a-486712001c59

850dfb7d-6e46-46e1-814b-3f3e775b0650

OpenAI 声称,若网站管理员不希望被爬虫搜集资料,管理员可以在网站服务器的 robots.txt 文件中完全禁止 GPTBot 抓取信息,或自行决定 GPTBot 抓取网站上的指定信息

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun248028.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年8月8日 上午9:50
下一篇 2023年8月8日 下午11:29

相关推荐