robots.txt 在线生成器
常用补充：
<!-- 点击生成查看结果 -->
robots.txt 要点：文件必须放在网站根目录、全部小写命名；User-agent: * 对所有蜘蛛生效，规则自上而下匹配；Disallow 是"禁止抓取"，不等于不让收录（不想收录的页面用 meta noindex）；Sitemap 一行声明全站地图地址。改错 robots 可能导致整站不被抓取，上线前建议用各搜索引擎的 robots 检测工具验证。更多规则解读可看本站《robots.txt生成器》配套的 SEO 系列文章。
