工作台
robots.txt 规则检查
- 添加材料
- 选择设置
- 开始处理
- 获取结果
正在加载功能…
交互功能未能加载，请重新加载页面；你仍可浏览下方内容和使用说明。
重新加载页面从填写或选择材料开始
完整说明与常见问题
robots.txt 规则检查
robots.txt 规则检查、爬虫允许禁止路径、检查 Googlebot 访问规则。无需 KitNelo 账号，免费使用。最多检查同一来源的 100 个地址，不访问待检查页面，也不代表获得采集授权。
使用方法
- 输入网站地址读取 robots.txt，或加载示例 / 粘贴规则。
- 填写 User-Agent 和最多 100 个同一来源的待检查地址。
- 查看 allowed、匹配行和规则，按需导出检查结果。
操作示例
示例对通用爬虫禁止 /private/report，但允许 /private/public；改为 ResearchBot 后适用其专用规则。
限制与隐私
按 robots 规则判断，不代表采集授权或网页实际可访问。4xx 表示没有可用规则；在线采集遇到规则网络异常或 5xx 时暂停。Crawl-delay 为非标准扩展，显示声明值。
常见问题
会抓取待检查的网页吗？
不会，只读取 robots.txt 或分析你粘贴的内容。
可以检查多个网站吗？
每次同一来源最多 100 个地址，不同网站请分别检查。
探索工具
可以完成的任务
- robots.txt 规则检查
- 爬虫允许禁止路径
- 检查 Googlebot 访问规则
免费使用与条件
此 KitNelo 工具可免费使用，无需账号。在线采集与源码解析通过服务端完成，仍受访问规则和托管限制约束。
最多检查同一来源的 100 个地址，不访问待检查页面，也不代表获得采集授权。
查看 KitNelo 数据与隐私说明