不能。单次爬网付费允许您为每个爬虫配置不同的操作(阻止、收费或允许),但您只能设置一个适用于所有配置为“收费”选项的爬虫的单一价格。
会。您的 AI 爬虫每次访问受单次爬网付费保护的网站内容时,都将产生由网站所有者设置的费用。您应该在爬虫内部实现一些机制,以跟踪支出并强制执行您想要设置的任何支出限制。
一些路径总是可以免费爬取的。这些路径是:/robots.txt、/sitemap.xml、/security.txt、/.well-known/security.txt、/crawlers.json。
不会。收费事件仅针对成功的 HTTP 响应状态码触发。错误的响应不会被计费,即使您已发送了 crawler-exact-price 或 crawler-max-price 标头。
请使用与您的 AI 爬虫相关联的、已注册至 Cloudflare 并通过 Web Bot Auth 识别的标准 User Agent。