随着一家重量级公司Cloudflare宣布从9月15日起,其AI代理爬虫将默认被阻止,科技界将迎来一项新限制。这一变化影响了一部分互联网,并紧随谷歌在近一个月前对其服务实施类似限制的公告。
这一决定是在担心AI代理可能会未经允许抓取网站页面之后作出的,引发了它们在搜索引擎算法和其他在线应用中使用方式的质疑。Cloudflare并非唯一采取这一措施的公司;大多数媒体报道都集中在谷歌自身的努力上,以遏制这些做法。
为了确保您的内容继续如预期那样出现在网上,用户可以通过在其网站添加名为"robots.txt"的元标签来选择允许AI代理爬虫访问。或者,开发者可以采取必要的措施,在一开始就阻止这些机器人访问其站点。