这三个文件几乎不占开发量，却是收录问题的高发区。很多网站一直不被收录的案例，最后都定位到其中某一项配置错误。

robots.txt

• 放在站点根目录，通过 域名/robots.txt 可直接访问。
• 上线前务必去掉 Disallow: / 这类全局屏蔽规则。
• 不要屏蔽 CSS、JS 目录，否则搜索引擎无法正确渲染页面。
• 屏蔽后台、搜索结果页、带参数的重复页即可，不要过度屏蔽。

sitemap.xml

• 只提交希望被收录的规范 URL，包含返回 200 状态码的页面。
• 去掉重定向、404、被 canonical 指向其他页面的地址。
• 标注更新时间，内容更新后同步刷新并在站长平台重新提交。
• 大型站点可按栏目拆分多个 sitemap，用索引文件统一管理。

canonical 规范标签

• 同一内容存在多个 URL（如带参数、带斜杠、移动端独立域名）时，用 canonical 指定唯一规范版本。
• 分页、筛选页不要全部指向第一页，会造成内容无法被单独索引。
• canonical 指向的页面必须真实可访问，且自身内容一致。

上线检查建议

网站正式发布前，用站长平台的抓取诊断工具检查首页与栏目页，确认返回内容与浏览器一致；同时对 robots、sitemap、canonical 做一次集中核对，成本很低但收益明显。