The Crawler Zoo
实时看看有哪些爬虫和机器人正在访问网站,从 GPTBot 到 Googlebot,顺便学怎么拦。免费。
web toolsnetwork toolsvisualizationseducationsecurity
平台
网页
定价 免费
The Crawler Zoo 是一个把网站访客里的爬虫和机器人做成“动物园”的实时看板。入口处的计数显示今天有多少自动程序来访,并按它们对 robots.txt 的态度分类:遵守的、读过却违反的、没读就违反的。新到的访客会实时滚动出现。
机器人被安置在各个展区,比如搜索引擎草原、AI 鸟舍、SEO 沼泽和链接预览宠物园,每个展区列出 Googlebot、GPTBot、ClaudeBot 这样的物种。站里有排行榜,还有一个“陷阱室”,记录误入禁止路径的机器人;你也可以跟着一个机器人走进没有尽头的迷宫。「Tools」栏目里有 robots.txt 生成器和拦截 AI 爬虫的页面,另附访客指南。
免费访问,无需账号。页面是英文的,由匿名的“饲养员”维护。