内链外链：入口页面正常但深层链路失效时怎样定位断点
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /65650f231ab2.html
📄
内链外链：入口页面正常但深层链路失效时怎样定位断点
先接受一个前提：入口页正常只能证明入口到第一跳可用，不能证明第二跳以后的链接仍指向正确目标。定位断点的最小动作是抽取一条完整链路，逐跳记录HTTP状态、最终URL和页面内链接，而不是继续扩大抓取范围。缺少日志或权限时，这个动作仍然可在浏览器与命令行中完成；但只能证明该条链路是否断，不能据此推断整站比例。
先区分三种断点，再决定保留还是改写
深层链路失效通常落在三类位置，处理方式完全不同。第一类是链接本身失效，例如目标返回404或410，此时要判断该目标是否还有等价内容；第二类是链接可达但发生重定向，最终落到与锚文本无关的页面；第三类是链接存在但所在页面没有被渲染出来，链接只写在脚本里而输出HTML中没有。
- 保留：目标仍返回200，且内容与锚文本一致，只是中间多了一跳。适合先记录，不动结构。
- 改写：目标已迁移，旧地址重定向到新地址，但锚文本仍描述旧主题。适合把链接直接改到最终地址，减少一跳。
- 退出：目标返回404或410且没有等价替代。适合移除链接或改为指向仍存在的上级页面。
选择哪种做法，取决于目标页是否仍承担承接作用。如果目标页只是被合并，改写是合理取舍；如果目标页是被有意下线，保留链接只会持续把用户送到死路。
用一跳一记录的方式找出断点位置
假设有一条从首页到文章详情页再到相关阅读页的链路。先记下入口页地址，再在入口页HTML中找到指向下一跳的<a href>，请求该地址并记录状态码与最终URL。重复这一动作直到链路末端。若某一跳返回301，就把Location字段抄下来，继续请求新地址，直到不再跳转。
这个动作的结果会直接决定下一步：若断点出现在重定向链中间，说明旧链接仍在被引用，应优先清理引用方；若断点出现在末端404，说明目标已消失，应先确认是否有等价内容再决定改写或移除。若每一跳都返回200，但页面里根本找不到下一跳链接，问题就不在链接可达性，而在渲染或输出层。
缺少日志时，哪些结论不能下
没有服务器日志和抓取统计时，可以确认单条链路的真实状态，但不能推出断链总量、影响页面数或流量损失。请求量或抓取量下降也不能单独证明某次链接调整正确，因为爬虫调度、内容更新频率、站点整体变化都可能造成同样现象。把单条链路的结论放大成整站结论，是这类排查中最常见的误判。
若要扩大样本，应优先选择被多处引用的深层页，而不是随机抽取。被引用次数多的页面一旦失效，影响面通常更集中，也更容易通过页面内链接反查引用方。
渲染层断链的识别与处理顺序
如果请求返回200，但输出HTML中不含目标链接，而浏览器中能看到，说明链接可能由脚本生成。此时先用禁用脚本的方式再请求一次，对比两次输出。若禁用脚本后链接消失，就应把该链接写入静态输出，或至少保证关键导航不依赖脚本执行。这个判断只说明该页面的链接输出方式，不能说明搜索引擎一定不执行脚本。
处理顺序建议是：先修入口到深层的关键路径，再处理被大量引用的中间页，最后清理低频引用。每修完一跳，重新记录状态码和最终URL，确认断点确实前移或消失，再进入下一跳。这样做的代价是速度慢，但能避免把改写过的链接再次指向错误目标。
需要提醒的是，站点地图提交不保证收录，robots.txt中的抓取限制也不等于可靠的索引移除；这些手段不能替代对链路本身的逐跳确认。若站点同时存在多个入口，应分别记录，不要用其中一个入口的正常状态代表全部入口。
