RoboX在浏览器中使用的扩展工具,这款工具支持即时查看状态码、元机器人、X-Robots、规范网址和robots.txt。进行深入分析并验证robots.txt和网站地图等,欢迎下载使用。
介绍
通过 Wingmen 的 RoboX 简化您的技术 SEO 分析。
RoboX 是开发者和 SEO 专业人士的终极技术 SEO 伴侣。验证任何网站的可抓取性和可索引性(HTTP 状态、Canonical 标签、Meta Robots、X-Robots、Robots.txt 和网站地图)——针对搜索引擎和 AI 爬虫,可单独或批量操作——实时直接在浏览器中查看——快速、安全、注重隐私。在弹出窗口或新侧边栏中一目了然地查看关键 SEO 信号,无缝切换爬虫视角,强化您的技术设置。
🆕 5.0 新增功能:侧边栏模式、按用途分类的 AI 爬虫、AI 指令(内容信号、内容使用、许可)、各平台 AI 可见性、完整 Canonical 链、更智能的链接分析器、在机器人保护和登录后的真实结果、备份与同步、内置手册。
功能
1️⃣ 全局爬虫视角 & 用户代理切换器
• 设置主要爬虫:在设置中定义 RoboX 应使用哪种主要爬虫视角(例如 Googlebot、Bingbot、GPTBot)来查看访问的网址。所有集成功能都将从所选机器人视角动态评估数据。
• 集成用户代理切换器:直接使用您选择的模拟用户代理加载 URL——仅在当前标签页中,其他标签页保持不变。在使用此模拟时,页面的整个技术设置将从该用户代理的确切视角无缝评估。常见机器人已预装,自定义 UA 字符串可以轻松添加。
• 真实模拟:如果机器人保护(如 Cloudflare 等)针对您的模拟机器人显示验证页面,RoboX 会告知您——并解释真实爬虫是通过其 IP 地址识别的,因此模拟被阻挡并不意味着真实爬虫被阻挡。
2️⃣ HTTP 状态检查器 & 高级请求头
• 即时状态:立即查看当前页面的原始 HTTP 状态码——如果未观察到服务器响应(例如前进/后退缓存),则显示清晰的“?”而不是猜测的 200。
• 重定向检查器:追踪当前页面的完整重定向链,记录每一次跳转的状态码。
• Robots.txt 阻止检测:如果重定向链中的任何中间 URL 被您模拟的爬虫的 robots.txt 阻止,会立即提醒您。
• 原始 HTTP 头:可以单独检查每次跳转的原始 HTTP 响应头。
• 智能头警告:自动检测关键 SEO 头,如隐藏的 Refresh 重定向、浪费抓取预算的 Cache-Control 指令、No-Vary-Search 或 Vary: User-Agent。
3️⃣ Meta Robots 和 X-Robots-Tag 检查器
• 双重分析:同时检查 HTML 标签和 HTTP X-Robots-Tag 头。
• 爬虫特定评估:即时检测特定爬虫指令是否覆盖通用规则,并准确计算所选爬虫的最终索引/跟踪状态。
• 智能冲突检测:如果标签冲突或 JavaScript 在初始页面加载后注入/修改 meta 标签(DOM vs. 原始 HTML)会发出警告。
• AI 可见性:显示各平台(Google AI 概览 & AI 模式、Microsoft Copilot、Apple Siri & Spotlight)页面是否能出现在 AI 回答中——基于 nosnippet、max-snippet、data-nosnippet、noindex、noarchive/nocache 以及付费墙标记。
4️⃣ 规范(Canonical)检查器
• 双重分析:分析 HTML 和 HTTP 头中的规范标签,检测不匹配或冲突。

• 规范链深度检查:跟踪规范和重定向直到最后(最多 5 步),并验证每一步的 HTTP 状态、robots.txt 允许性和可索引性。标记循环、错误、noindex 目标、被阻止目标、重定向以及指向其他规范的规范。
5️⃣ Robots.txt 检查器与批量测试
• 即时状态:立即查看当前 URL 是否被所选爬虫允许或禁止。
• RFC 9309 验证:自动根据官方标准检查语法。检测关键错误、拼写错误和已弃用的指令。
• AI 机器人仪表板:一目了然地查看当前 URL 是否被 70 多个 AI 爬虫(如 GPTBot、ClaudeBot、Perplexity 等)阻止或允许——可按供应商分组,或按新分类:训练、AI 搜索、用户抓取和代理。可能会为用户请求忽略 robots.txt 的爬虫会有明确标记。
• AI 指令:读取 Content-Signal(Cloudflare)、Content-Usage(IETF 草案)和 License(RSL),显示哪些 AI 使用偏好适用于你的爬虫——并附有行号。
• Google 测试工具:如果 Google 的 Rich Results Test 或 URL Inspection 被 robots.txt 阻止,而 Googlebot 被允许,将发出警告。
• 批量测试工具:最多同时检查 100 个 URL,支持对实时 robots.txt 或你自己的自定义代码片段直接在扩展中测试。
6️⃣ 被阻止资源分析器与渲染模拟
• 风险评估:自动识别被 robots.txt 阻止的 CSS、JS、API 或字体文件,并评估它们对页面渲染的潜在风险。
• 真正的渲染模拟:在新标签页中打开当前页面,临时将浏览器的 User-Agent 覆盖为所选爬虫的 User-Agent,并严格阻止通过 API 根据 robots.txt 禁止的所有资源(如 CSS 或 JavaScript)。这让你可以直观确认重要布局元素是否对爬虫仍然不可见。
7️⃣ 链接分析器与可视化工具
• 强大提取功能:抓取页面上的所有链接,获取其准确的 HTTP 状态、Canonical 目标和 Robots 指令——从当前爬虫视角动态评估。
• 链接属性与问题目标:检测 nofollow、ugc 和 sponsored,并标记指向 noindex 页面或具有外部 canonical 的内部链接。可按问题、断链、重定向、被阻止 URL 等筛选列表。
• 可视化高亮:直接在网页上标注链接!颜色显示其 HTTP 状态,虚线轮廓即时显示被 robots.txt 阻止的 URL,徽章则在你滚动时显示 rel 属性和问题目标。
8️⃣ 技术 SEO 变更监控
• 保存基准:在浏览器中直接保存任何 URL 的准确技术 SEO 状态(状态码、Canonical、Meta/X-Robots)或完整的 robots.txt 文件。
• 智能提醒:当重新访问已监控的 URL 时,RoboX 会通过扩展图标即时提醒你,如果任何实时指令偏离已保存的基准。robots.txt 的版本会逐行比较。
• 备份与同步:将你的基准和 robots.txt 存档保存为文件,可在另一台电脑加载或与同事共享。你的设置会通过浏览器账户同步。
9️⃣ XML 网站地图验证器
• 深度验证:审核文件大小、XML 结构、HTTP 状态码、逻辑错误、hreflang 属性,并原生解压 GZIP (.gz) 网站地图。
🔟 批量技术 SEO 检查器
• 扩展分析规模:一次评估多达 200 个 URL 的 HTTP 状态、robots.txt 允许情况、Canonical、Meta/X-Robots 标签及重要 HTTP 头信息。
• JS 渲染支持:切换 JavaScript 渲染,使用后台 ghost 标签提取 DOM 注入的 SEO 信号(最多安全处理 20 个 URL)。
• 简单导出:将完整批量分析直接导出为 CSV 文件以便进一步处理。
🛡️ 真实结果——即使在机器人保护和登录状态下
• 机器人保护检测:识别 Cloudflare、Akamai、DataDome 等的校验页面,而不是将其报告为你的页面——没有错误的“robots.txt 缺失”、断链或基准警报。
• 登录与预生产环境:位于 Cloudflare Access 或服务器密码(.htaccess)保护下的网站,一旦你在标签页中打开,便会使用你的登录信息进行检查。
• 正确的字符编码:ISO-8859-1 及其他编码的页面能正确读取,包括带变音符号的 URL。
⚙️ 你的工具,你的规则:高度可定制并可适应工作流程。
• 弹出窗口或侧边栏:将 RoboX 用作弹出窗口或侧边栏,侧边栏会一直打开并跟随每个标签页的切换。
• 按需与实时监控:将扩展设置为在后台持续监控现状,或仅在你主动点击扩展图标时运行检查。
• SPA 支持:智能检测单页应用程序 (SPA) 导航,并提示快速刷新以确保你的数据永不过时。
• 暗黑模式与快照叠加:无缝切换到暗黑模式或将分析脱离为浮动窗口——非常适合屏幕共享。
• 内置手册:📕 按钮打开带有所有图标状态说明的手册。
插件安装说明
1、在打开的谷歌浏览器的扩展管理器
就是点击最左侧的三个点,在弹出的菜单中选择【更多工具】——【扩展程序】
或者你可以在地址栏中直接输入chrome://extensions/
2、进入扩展程序页面后将开发者模式打勾
3、最后将解压出来的crx文件拖入到浏览器中即可安装添加
4、如果出现无法添加到个人目录中的情况,可以将crx文件右键,然后选择【管理员取得所有权】,再尝试重新安装
5、安装好后即可使用
扫码关注公众号,发【识别码】获取











