OpenAI、谷歌、微软与 Anthropic 于 10 月 30 日共同支持 robots.txt 中的训练退出标识,网站一行设置即可同时向四家实验室退出模型训练。该标识只管训练、不管抓取,爬虫仍可拉取页面,且目前为个人草案而非正式标准,已有内容也不会因此从现有数据集中删除。
正文完
OpenAI、谷歌、微软与 Anthropic 于 10 月 30 日共同支持 robots.txt 中的训练退出标识,网站一行设置即可同时向四家实验室退出模型训练。该标识只管训练、不管抓取,爬虫仍可拉取页面,且目前为个人草案而非正式标准,已有内容也不会因此从现有数据集中删除。