Robots.TXT Radar在浏览器中使用的扩展工具,这款工具支持工具栏图标加上 120+ AI、搜索和商业爬虫的每个集群状态等,欢迎下载使用。
介绍
Robots.TXT 雷达实时分析当前网站的 /robots.txt,并在你的 Chrome 工具栏中显示一个动画彩色图标——每次页面加载时自动显示,无需点击。
🟢 绿色 ✓ — 允许抓取该路径
🔴 红色 ✗ — 不允许抓取该路径
🟢 蓝绿色 ✓ — 未找到 robots.txt,所有路径开放
📡 扫描中 — 获取时的动画雷达扫描
工作原理
在每次导航时,Robots 雷达会获取该域的 /robots.txt(每个域缓存 1 小时),使用 Google 的精确规范进行解析,并根据正确的用户代理组评估当前 URL 路径。
BOT 优先级
规则按以下顺序评估,如果没有找到明确的组则回退到下一组:

Googlebot → Bingbot → CCBot → Google-Extended → * 通配符
规范兼容解析
• 最长路径特异性规则(Google/RFC 9309 标准)
• 当路径长度相同,Allow 优先于 Disallow
• 同一代理的多个组会合并
• 代理标准化:Googlebot/2.1 和 googlebot* 能正确匹配
• 放宽空行处理(Googlebot 文档中描述的行为)
• 正确的 * 和 $ 通配符路径匹配
功能
• 扫描时动画雷达扫描——观看效果令人满意
• 深色模式 / 浅色模式切换,记住用户偏好
• 每域缓存——无需重复获取
• 点击工具栏图标查看完整详情:
– 匹配的机器人组
– 单个生效规则及允许/不允许标记
– 显示匹配精确度的特异性条
– 语法高亮的 robots.txt 源代码查看器
插件安装说明
1、在打开的谷歌浏览器的扩展管理器
就是点击最左侧的三个点,在弹出的菜单中选择【更多工具】——【扩展程序】
或者你可以在地址栏中直接输入chrome://extensions/
2、进入扩展程序页面后将开发者模式打勾
3、最后将解压出来的crx文件拖入到浏览器中即可安装添加
4、如果出现无法添加到个人目录中的情况,可以将crx文件右键,然后选择【管理员取得所有权】,再尝试重新安装
5、安装好后即可使用
扫码关注公众号,发【识别码】获取











