首页
站长导航
站长工具
联盟资讯
选择广告联盟前先在联盟啦上看看广告联盟评测,谨防上当。如果没有您关注的广告联盟,请点这里
--->>添加
联盟啦广告联盟评测网
推荐
联盟啦广告联盟评测网通告:
请注意分辨评论内容、评论者IP及地址,以免被枪手迷惑。
RSS订阅
robots.txt 规则检测分析
robots.txt 内容(粘贴你网站的文件,或直接用下面的示例测试)
User-agent: * Disallow: /admin/ Disallow: /search Allow: /admin/login.php Disallow: /*.pdf$ User-agent: Baiduspider Disallow: /private/ Sitemap: https://www.lianmeng.la/sitemap.xml
要测试的路径(以 / 开头)
User-Agent(蜘蛛名称,* 表示所有)
开始检测
命中的规则(最长路径匹配优先)
文件规范性检查
robots.txt 检测工具说明:
robots.txt是站长控制搜索引擎蜘蛛抓取范围的第一道闸门,写错一行就可能让整站或重要目录不被收录。本工具按主流引擎的最长路径匹配优先、同长度Allow优先原则解析,支持*通配符与行尾$结束符,输入路径即可判定允许还是禁止抓取,并列出全部命中规则。规范性检查覆盖Sitemap声明、路径以/开头、字段小写、重复UA分组等常见失误。判定结果仅供参考,站长上线前建议再用各搜索引擎官方检测工具复核。