← 返回工具列表

robots.txt 生成器与校验

在线 robots.txt 生成与校验工具，按 User-agent 配置 Allow/Disallow 规则、抓取延迟与 Sitemap 地址，实时验证语法并生成可直接部署的 robots.txt 文件，浏览器本地运行，免费无需安装。

快速模板

爬虫规则

其他设置

生成的 robots.txt

robots.txt 生成器与校验常见问题

robots.txt 生成器与校验怎么使用？

先填写或调整「User-Agent」、「Sitemap URL (可选)」、「Crawl-delay (秒, 可选)」；修改输入或使用页面控件后查看结果区域。可先用「Sitemap URL (可选)」中的示例 「https://example.com/sitemap.xml」熟悉输入格式，再替换成自己的数据。

User-Agent有哪些选项？

本页提供「* (所有爬虫)」、「Googlebot」、「Bingbot」、「Baiduspider」、「Yandex」选项。先按实际输入和目标选择「User-Agent」，再执行操作；比较两次结果时，保持其他参数一致，避免把不同模式的结果混在一起。

robots.txt 生成器与校验的结果应怎样理解？

先查看生成结果和当前选项，再复制或导出。随机生成的内容每次可能不同，预设示例需要换成自己的实际信息；生成内容不会自动发布。

输入内容会保存或发给外部服务吗？

本页的主要处理逻辑在浏览器内执行。页面加载资源、打开外部链接，以及带外部地址的内容预览仍可能产生网络请求；“本地处理”并不表示整个网页完全没有网络活动。

没有结果或操作失败时先检查什么？

先检查「User-Agent」、「Sitemap URL (可选)」、「Crawl-delay (秒, 可选)」是否完整，以及格式、单位和当前选项是否匹配。修改输入后，查看页面的结果或错误提示；可先用少量数据定位问题。

相关工具

.htaccess Generator · Robots Generator · Barcode Generator · Credit Card Generator · 全部生成器