Robots.TXT Radar

Robots.TXT Radar在浏览器中使用的扩展工具,这款工具支持工具栏图标加上 120+ AI、搜索和商业爬虫的每个集群状态等,欢迎下载使用。

介绍

Robots.TXT 雷达实时分析当前网站的 /robots.txt,并在你的 Chrome 工具栏中显示一个动画彩色图标——每次页面加载时自动显示,无需点击。

🟢 绿色 ✓ — 允许抓取该路径
🔴 红色 ✗ — 不允许抓取该路径
🟢 蓝绿色 ✓ — 未找到 robots.txt,所有路径开放
📡 扫描中 — 获取时的动画雷达扫描

工作原理

在每次导航时,Robots 雷达会获取该域的 /robots.txt(每个域缓存 1 小时),使用 Google 的精确规范进行解析,并根据正确的用户代理组评估当前 URL 路径。

BOT 优先级
规则按以下顺序评估,如果没有找到明确的组则回退到下一组:
Robots.TXT Radar插图
Googlebot → Bingbot → CCBot → Google-Extended → * 通配符

规范兼容解析
• 最长路径特异性规则(Google/RFC 9309 标准)
• 当路径长度相同,Allow 优先于 Disallow
• 同一代理的多个组会合并
• 代理标准化:Googlebot/2.1 和 googlebot* 能正确匹配
• 放宽空行处理(Googlebot 文档中描述的行为)
• 正确的 * 和 $ 通配符路径匹配

功能

• 扫描时动画雷达扫描——观看效果令人满意
• 深色模式 / 浅色模式切换,记住用户偏好
• 每域缓存——无需重复获取
• 点击工具栏图标查看完整详情:
– 匹配的机器人组
– 单个生效规则及允许/不允许标记
– 显示匹配精确度的特异性条
– 语法高亮的 robots.txt 源代码查看器

插件安装说明

1、在打开的谷歌浏览器的扩展管理器
就是点击最左侧的三个点,在弹出的菜单中选择【更多工具】——【扩展程序】
或者你可以在地址栏中直接输入chrome://extensions/
2、进入扩展程序页面后将开发者模式打勾
3、最后将解压出来的crx文件拖入到浏览器中即可安装添加
4、如果出现无法添加到个人目录中的情况,可以将crx文件右键,然后选择【管理员取得所有权】,再尝试重新安装
5、安装好后即可使用

Robots.TXT Radar下载地址
Robots.TXT Radar插图1
©下载资源版权归作者所有;本站所有资源均来源于网络,仅供学习使用,请支持正版!
0 0 投票数
文章评分
订阅评论
提醒
guest
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x