通过可视化选项配置 User-agent、Allow、Disallow、Sitemap 等指令,一键生成标准 robots.txt 文件并复制下载,控制搜索引擎爬虫抓取;在线免费,纯浏览器本地运行不上传。
robots.txt 只是一个建议,恶意爬虫可能会忽略它。对于敏感内容,应使用服务器端的访问控制。
先填写或调整「自定义 User-agent」、「Sitemap URL」、「Crawl-delay (秒)」、「Host (主域名)」,再使用「⚛️ SPA 应用」完成操作。可先用「Sitemap URL」中的示例 「https://example.com/sitemap.xml」熟悉输入格式,再替换成自己的数据。
「Crawl-delay (秒)」的输入范围为 0~60。请按字段标注的单位输入,先检查超出范围、空值和小数点,再核对结果。
把结果与实际发布页面的 HTML、抓取状态和可见内容对照。标签或结构化数据检查只覆盖部分 SEO 因素,不能保证收录、排名或搜索结果展示形式。
本页的主要处理逻辑在浏览器内执行。页面加载资源、打开外部链接,以及带外部地址的内容预览仍可能产生网络请求;“本地处理”并不表示整个网页完全没有网络活动。
先检查「自定义 User-agent」、「Sitemap URL」、「Crawl-delay (秒)」是否完整,以及格式、单位和当前选项是否匹配。重新执行「⚛️ SPA 应用」,查看页面的结果或错误提示;可先用少量数据定位问题。
Meta Tags 生成器 · 标题结构分析器 · 图片Alt属性检查器 · 关键词密度分析器 · 全部SEO 工具