网站PR检测：只看成功页面会产生什么选择偏差
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1595a2f569c6.html
📄
网站PR检测：只看成功页面会产生什么选择偏差
只看成功页面，会把“已经能访问、能返回正常状态码”的页面当成全站代表，从而高估整站质量、低估失败路径的规模。更麻烦的是，这种偏差不会表现为某个数字明显出错，而是让后续判断建立在被筛过的样本上：你看到的分布、比例和趋势，都只属于存活下来的那一部分。
矛盾现象：成功页面的指标看起来更整齐
做网站PR检测时，如果数据源只保留返回200的URL，常会看到一种“整洁”的结果：重复内容少、空页面少、链接关系清楚。这个整洁不是站点真实状态，而是筛选造成的。失败页面、重定向链、软404、被 robots 挡住但仍有入口的页面，恰恰更容易携带异常信号，却被排除在样本之外。
于是会出现矛盾：检测结论说整体健康，但实际用户路径、抓取日志或站内搜索词里不断冒出问题URL。两者并不冲突，只是看的不是同一批页面。
两种解释：是站点真的干净，还是样本被截断
第一种解释是站点确实以成功页面为主，失败页面数量极少，不影响整体判断。第二种解释是失败页面大量存在，只是检测工具或导出规则把它们过滤掉了。两种解释都会得到“成功页面指标良好”的结果，但对应的下一步动作完全不同。
- 若属第一种，重点应放在成功页面内部的优先级排序，比如哪些页面值得继续投入。
- 若属第二种，先要补全失败页面清单，再谈质量评估，否则排序对象本身就是残缺的。
关键区别不在于成功页面好不好，而在于失败页面是否被系统性排除。排除一旦发生，任何基于该样本的比例、均值、排名都会偏向存活页面。
能区分两种解释的证据
要判断属于哪一种，需要把“成功页面样本”与“全量URL样本”对照，而不是只看成功页面内部。可核查的证据链包括：
- 抓取日志中返回非200状态码的URL数量与类型，是否集中在某些目录或模板。
- 站内搜索、导航或外链中指向的URL，有多少最终落到重定向、404或软404。
- 站点地图声明的URL与实际可访问URL的差集，差集里是失效页还是仅被规则过滤。
- 同一批URL在站内统计与第三方估算中的口径差异，确认是否因样本截断造成数量不一致。
这些证据的作用是还原被截断的部分，而不是证明某个指标正确。抓取量或请求量归零，也可能来自抓取预算调整、屏蔽规则变化或统计口径切换，不能单独作为“站点已清理干净”的证据。
一个假设例子：补全失败页面后判断如何变化
假设某站点导出检测数据时只保留状态码200的页面，得到1000个URL，其中重复标题占比很低。若把重定向、404和软404一并纳入，URL总数变为1400个，而新增的400个里有相当比例是空内容或重复模板。此时“重复标题占比低”的结论只对成功页面成立，对全站不成立。
动作与结果的关系在这里很直接：先补全失败页面清单，再重新计算分布，才能决定是优先修失败路径，还是继续优化成功页面。若跳过补全这一步，后续所有排期都建立在被筛过的样本上，投入方向可能正好相反。
选择偏差如何影响下一步决策
只看成功页面时，容易把资源投向“已经不错的页面”，因为它们看起来问题最少、最值得继续打磨。但若失败页面才是流量流失和抓取浪费的主要来源，正确动作应是先处理失败路径，再回到成功页面做增量优化。
判断条件可以简化为：当失败页面数量占比低且不影响主要入口时，优先优化成功页面；当失败页面数量占比高、且集中在主要入口或高价值目录时，先修失败路径。这个条件依赖补全后的全量样本，而不是单看成功页面的整齐程度。
因此，网站PR检测的第一步不是给成功页面打分，而是确认样本是否被截断。只有样本完整，后续的优先级排序才有意义。
