robot txt是什么？robots.txt 写法与SEO优化指南

📍 WDQWDWQD987AAAAA:216.73.216.28
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0eda7e3d121f.html
📄

robot txt（通常写作 robots.txt）是网站根目录下的纯文本文件，用于向搜索引擎爬虫说明哪些页面可以抓取、哪些应当避开。它是SEO技术优化的基础项，配置得当能引导爬虫高效收录，配置错误则可能造成页面无法被发现。

robot txt 的基本作用

当搜索引擎蜘蛛访问站点时，会优先请求 robots.txt，并按照其中的规则决定后续抓取行为。它并不是安全工具，不能阻止页面被访问，只能作为爬虫抓取的“建议性约定”。重要页面不应依赖它来隐藏。

robots.txt 的常见写法

• User-agent：指定规则适用的爬虫，如 * 表示所有爬虫。
• Disallow：禁止抓取的路径，例如 Disallow: /admin/。
• Allow：在禁止规则中放行特定路径，常用于放行JS与CSS资源。
• Sitemap：声明站点地图地址，便于爬虫发现链接。

示例：User-agent: * 后接 Disallow: /tmp/ 与 Sitemap: https://example.com/sitemap.xml。规则应尽量简洁，避免互相冲突。

SEO优化注意事项

1. 不要把整站设为 Disallow，否则收录会大幅下降。
2. 确保 robots.txt 可公开访问，返回200状态码。
3. 需要移除已收录页面时，应配合 noindex 标签，而不是仅靠 robots.txt。
4. 上线前用搜索平台的抓取测试工具验证规则。

总之，robot txt 是爬虫与网站沟通的第一道入口。合理使用 Disallow、Allow 与 Sitemap，既能保护后台目录，又能提升优质内容的抓取与收录效率。