robots.txt生成器
为网站创建robots.txt文件。
robots.txt生成器：控制搜索引擎如何抓取你的网站
robots.txt是放在网站根目录的文本文件，告诉搜索引擎爬虫哪些页面可以抓取、哪些不可以。正确配置robots.txt对SEO至关重要，它可以防止爬虫浪费抓取配额在不重要的页面上，保护敏感目录不被索引。
我们的生成器支持为不同的爬虫（Googlebot、Bingbot、GPTBot等）设置不同的规则。可以允许或阻止特定路径，添加sitemap URL，并生成符合标准的robots.txt文件。一键复制或下载，可直接部署到你的网站。
我们的生成器允许您直观地创建文件，而无需记住语法。包括最常见机器人的预设、要阻止的常见路径（例如管理、API、临时文件）以及包含站点地图 URL 的选项。结果可以复制到剪贴板或下载为 robots.txt 文件，准备上传到 Web 服务器的根目录。
常见问题
robots.txt文件应该放在哪里？
robots.txt文件必须放在你域名的根目录，在URL example.com/robots.txt处可访问。机器人在这个精确位置查找文件。如果使用子域名，每个子域名需要自己的robots.txt。
robots.txt能阻止我的页面出现在Google中吗？
不完全能。robots.txt阻止抓取，但如果Google从其他网站的链接中找到URL，仍可能索引它，尽管无法看到其内容。要阻止索引，在页面中使用noindex meta标签。robots.txt和noindex有不同且互补的目的。
可以阻止ChatGPT等AI机器人吗？
可以。你可以为User-agent: GPTBot和User-agent: ChatGPT-User添加特定规则，使用Disallow: /来阻止OpenAI的爬虫。类似地，ClaudeBot是Anthropic的用户代理。但并非所有AI机器人都遵守robots.txt。
想了解更多？ 阅读我们的完整指南 →