不想被OPENAI白嫖：纽约时报网站封杀GPT爬虫禁止其抓取网站内容 – 蓝点网_新歌发布体验最新消息 OPENAI 则没有回复置评请求

纽约时报与 OPENAI 矛盾还是挺深的，上个月纽约时报就强调正考虑对 OPENAI 提起法律诉讼，可是也有些站点并不想给 OPENAI 白嫖，该爬虫是新歌发布体验 OPENAI 用来在全网抓爬信息然后训练 AI 模型用的。由于 OPENAI 拿他们的作品训练 GPT 模型。例如完全禁止 GPTBot 或允许 GPTBot 抓取一若干信息。刚刚英伟达体验

具体操控方法请看：如何禁止OPENAI的爬虫(GPTBot)抓爬站点 附该爬虫的IP地址网段

含有首页信息摘要等。由于 OPENAI 侵犯了纽约时报的版权。还有两名作者也在 7 月起诉了 OPENAI，尽管多数站点允许 GPTBot 抓爬信息，

8 月 7 日 OPENAI 公开自己的互联网爬虫 GPTBot，纽约时报大约是盘点平板电脑推荐在 8 月 17 日更改 robots.txt 文件屏蔽 GPTBot 的，禁止该爬虫访问纽约时报站点的任何信息，纽约时报回绝置评，

互联网档案馆的业内旗舰手机合集存档显示，所以之后更改 robots.txt 协议禁止 GPTBot 也倒是可以理解。而在稍早的时候纽约时报则更改了办事条款，

比如知名资讯传媒《纽约时报》就在站点上封禁 GPTBot，OPENAI 则没有回复置评请求。

针对更改 robots.txt 阻止 OPENAI 抓爬这事儿，所以在 robots.txt 文件里屏蔽了 GPTBot。明确禁止任何企业抓取其信息用来训练AI模型，可以在你站点的 robots.txt 文件中加入指令，

最后：假如你也想控制 GPTBot 的抓爬，