robots.txt 和 Sitemap 有什么区别

SEO 基础 · 251 SEO 知识库

robots.txt 告诉爬虫哪些路径允许/禁止访问；Sitemap 提供希望被发现的 URL 列表。二者职责不同，不能互相替代。

• 后台、测试目录：用 robots 禁止
• 正式内容页：放进 sitemap，并确保未被 robots 误伤

可用 robots.txt 生成器 与 Sitemap 生成器 快速产出草稿。