Robots.txt 生成器

通过可视化选项配置 User-agent、Allow、Disallow、Sitemap 等指令,一键生成标准 robots.txt 文件并复制下载,控制搜索引擎爬虫抓取;在线免费,纯浏览器本地运行不上传。

快速预设
选择爬虫
按 Enter 添加自定义爬虫
爬取规则
🗺️ Sitemap
高级选项
建议爬虫两次请求之间的间隔时间
指定主域名 (Yandex 特有)
生成的 robots.txt
robots.txt

robots.txt 说明

  • User-agent : 指定规则适用的爬虫
  • Disallow : 禁止爬取的路径
  • Allow : 允许爬取的路径 (优先级更高)
  • Sitemap : 网站地图位置
  • 文件应放在网站根目录: example.com/robots.txt

注意事项

robots.txt 只是一个建议,恶意爬虫可能会忽略它。对于敏感内容,应使用服务器端的访问控制。

Robots.txt 生成器常见问题

Robots.txt 生成器怎么使用?

先填写或调整「自定义 User-agent」、「Sitemap URL」、「Crawl-delay (秒)」、「Host (主域名)」,再使用「⚛️ SPA 应用」完成操作。可先用「Sitemap URL」中的示例 「https://example.com/sitemap.xml」熟悉输入格式,再替换成自己的数据。

输入数值有哪些范围或单位要求?

「Crawl-delay (秒)」的输入范围为 0~60。请按字段标注的单位输入,先检查超出范围、空值和小数点,再核对结果。

Robots.txt 生成器的结果应怎样理解?

把结果与实际发布页面的 HTML、抓取状态和可见内容对照。标签或结构化数据检查只覆盖部分 SEO 因素,不能保证收录、排名或搜索结果展示形式。

输入内容会保存或发给外部服务吗?

本页的主要处理逻辑在浏览器内执行。页面加载资源、打开外部链接,以及带外部地址的内容预览仍可能产生网络请求;“本地处理”并不表示整个网页完全没有网络活动。

没有结果或操作失败时先检查什么?

先检查「自定义 User-agent」、「Sitemap URL」、「Crawl-delay (秒)」是否完整,以及格式、单位和当前选项是否匹配。重新执行「⚛️ SPA 应用」,查看页面的结果或错误提示;可先用少量数据定位问题。

相关工具

Meta Tags 生成器 · 标题结构分析器 · 图片Alt属性检查器 · 关键词密度分析器 · 全部SEO 工具