从9月15日起,云flare宣布将有一部分网络默认阻止AI代理爬虫,这些爬虫会代表等待答案的人实时抓取页面。自本月早些时候宣布这一变更以来,大多数报道都集中在Google上。进行这种改变的原因是为了防止滥用这些爬虫。
Cloudflare解释说,这些代理通常用于垃圾检测和反爬虫措施中,但如果它们被过度使用或未经访问网站的许可,则可能会造成问题。通过默认阻止AI代理爬虫,云flare希望为所有人创造一个更安全的网络环境。
要在您的网站上运行AI代理爬虫,您首先需要获得必要的权限。这通常涉及获取特定许可证或与提供授权抓取解决方案的数据经纪公司签约。根据要进行的抓取类型和涉及的网站,这个过程可能会非常复杂,并可能需要技术专家的咨询。