返回
robots.txt 生成器
生成带 Allow、Disallow、Host 和 Sitemap 指令的 robots.txt 内容。
规则设置
快速生成可直接部署的 robots.txt 内容。
robots.txt 输出
使用指南 / 为什么使用此工具 / 常见问题
使用指南
设置 user-agent 后，逐行输入 Allow 和 Disallow 规则。可选填写 sitemap 地址和 host，最后复制生成的 robots.txt 内容。
为什么使用此工具
一份有效的 robots.txt 可以帮助搜索引擎理解哪些路径可以或不可以抓取。适合技术 SEO 配置和站点审查。
常见问题
- robots.txt 的作用是什么？
- robots.txt 用于向爬虫提供抓取指令，例如允许或禁止抓取哪些目录，但它本身不等于隐私保护或禁止收录。
- 需要在 robots.txt 里写 sitemap 吗？
- 通常建议写上，这有助于搜索引擎更快发现你的重要页面。