robots文件怎么写？robots文件基础写法与常见误区详解

📍 WDQWDWQD987AAAAA:216.73.216.28
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5d5bca59cb50.html
📄

robots文件是网站根目录下的一个纯文本文件，用来告诉搜索引擎蜘蛛哪些页面可以抓取、哪些页面应当避开。它虽然简单，却是SEO基础配置中不可忽视的一环。正确编写robots文件，既能保护后台和隐私页面，又能引导蜘蛛高效抓取核心内容。

robots文件的基本语法

robots文件由若干条记录组成，每条记录通常包含User-agent和Disallow（或Allow）指令。最基础的写法如下：

• User-agent: * 表示规则适用于所有搜索引擎蜘蛛。
• Disallow: /admin/ 表示禁止抓取admin目录。
• Disallow: 留空表示允许抓取全站。
• Allow: /public/ 用于在禁止目录中开放特定路径。

需要强调，robots文件只控制抓取，不控制收录。被禁止抓取的页面仍可能因外部链接被索引，因此敏感内容应配合密码或noindex使用。

常见误区与注意事项

1. 文件名必须为robots.txt，且放在域名根目录下，子目录中的文件无效。
2. Disallow后必须带斜杠，否则蜘蛛可能误判路径。
3. 规则匹配区分大小写，路径写法要与实际URL一致。
4. 不要在文件中使用通配符随意屏蔽整站，否则可能造成收录骤降。
5. 修改后可用搜索引擎的robots测试工具验证，避免语法错误导致规则失效。

总之，robots文件应以最小必要为原则，只屏蔽确实无需抓取的目录，并定期检查规则是否与网站结构同步。掌握基础写法、避开常见误区，才能让robots文件真正服务于SEO。