很多内容站的结构问题不是「缺页面」，而是页面太多、且大部分没有独立价值。 典型症状：96 篇文章，却有近 200 个标签页。其中近百个标签下只挂着 1–2 篇文章，页面内容就是「标题 + 摘要 + ...

robots.txt 决定「不许看什么」，sitemap 决定「优先看什么」。两者配合使用，才能把有限的抓取预算导向真正重要的页面。 它们的共同点是：写错一个字符，后果都是全站级别的。所以在改之前，先...