Robots.txt 生成器

通过可视化选项配置 User-agent、Allow、Disallow、Sitemap 等指令，一键生成标准 robots.txt 文件并复制下载，控制搜索引擎爬虫抓取；在线免费，纯浏览器本地运行不上传。

⚡ 快速预设
🎯 选择爬虫
按 Enter 添加自定义爬虫
📜 爬取规则
🗺️ Sitemap
⚙️ 高级选项
建议爬虫两次请求之间的间隔时间
指定主域名 (Yandex 特有)
📄 生成的 robots.txt
robots.txt

💡 robots.txt 说明

  • User-agent : 指定规则适用的爬虫
  • Disallow : 禁止爬取的路径
  • Allow : 允许爬取的路径 (优先级更高)
  • Sitemap : 网站地图位置
  • 文件应放在网站根目录: example.com/robots.txt

⚠️ 注意事项

robots.txt 只是一个建议，恶意爬虫可能会忽略它。对于敏感内容，应使用服务器端的访问控制。