一分钟3.9万次请求！网站被AI爬虫“碾压”，Meta和OpenAI遭点名，开发者接连祭出神级反爬「武器」
遗憾的是，Fastly 的高级安全研究员 Arun Kumar 在报告里说，AI 机器人正在改变人们访问和体验互联网的方式，同时给数字平台带来了新的复杂问题。有个爬虫峰值能达到每分钟 1,000 次请求，虽然听起来不算“过”，但对依赖数据库查询或者像 Gitea 这种提供 Git 仓库浏览的系统来说，短时间的高峰就可能让网站卡顿、超时或者出问题。殊不知，今年年初，这个一直运行良好的网站突然崩了。也就是说，模型在生成回答的时候，不只是凭自己记忆里的内容，还能实时参考外部数据，这个过程就叫做“推理阶段”。
