AI代理爬虫长期以来一直是在线搜索的一部分,允许用户在输入时实时获取页面或等待答案。然而,该行业已经注意到了这些机器人,并且Cloudflare现在正在引入将影响其使用的变更。
从9月15日起,默认情况下,AI代理爬虫将在网络的一小部分被阻止。这意味着任何依赖这些机器人的网站需要获得许可才能继续运行。这一决定在7月份宣布,大多数报道都集中在Google努力监管该行业上。然而,这项变革适用于更广泛的情况,并且受影响的网站现在必须向其托管提供商或内容所有者寻求批准。
虽然有些人欢迎这种监管,但另一些人则认为Cloudflare的做法是一种过度干预。“这是一类典型的关于信息不对称问题的经典案例,”一位业内内幕人士说道。“Cloudflare在做出决定时没有考虑到用户和发布者更广泛的潜在影响。”随着这项变更生效,受影响的网站必须导航一个复杂的权限和政策迷宫以继续运行,引发了对于这对在线搜索和电子商务意味着什么的问题。