导航站的死链越积越多，怎么清理才不伤收录

导航站跟普通网站有一个很大的不同：它收录的是别人的网站。别人网站关停了、改域名了、换路径了，你这边还挂着旧链接，用户点过去就是404。时间一长，死链越积越多，整站质量都被拖累。

威速导航运营过程中遇到过这个问题。早期收录的一批站点，有些已经打不开了，有些域名都换了主人。这些死链不清理，用户点几次都是打不开的页面，慢慢就不信任这个导航站了。百度那边也一样，蜘蛛顺着链接爬过去全是404，来访频率会降低。

死链不清理，百度会怎么看你

百度对死链的态度比较明确：少量死链正常，大量死链就是问题。

少量死链每个站都有，百度能理解。但如果一个导航站几千个链接，里面有几百个是404，百度会判断这个站缺乏维护，内容质量在下降。表现就是蜘蛛来访频率降低，新页面收录变慢，已有页面的排名也可能往下掉。

更麻烦的是，有些死链指向的域名被别人抢注了，变成了违规内容。用户从你的导航站点过去，看到的是乱七八糟的东西。这种情况百度一旦发现，可能直接给站点降权，就不只是死链的问题了。

先搞清楚哪些链接算死链

不是所有打不开的链接都要立刻处理。死链分几种情况，处理方式不一样。

一种是彻底打不开的，返回404或者域名已经过期。这种要清理。

一种是能打开但内容完全变了，比如原来的工具站变成了赌博站。这种比404更危险，也要清理。

还有一种是暂时打不开，服务器维护或者临时故障。这种可以先观察，别急着删。过几天再测一次，还是打不开再处理。

另外有一种是跳转链，点过去自动跳到别的网站。如果跳转后的内容相关且正常，可以保留但更新链接。如果跳到不相关的页面，也归入清理范围。

怎么批量找出站内的死链

导航站链接多，靠人工一个个点不现实。有几个工具可以用。

百度搜索资源平台有一个死链检测工具，可以提交链接让百度帮你检测，但速度不快，适合小批量。

更常用的是第三方工具，比如Xenu、Screaming Frog这些爬虫软件。设置好爬取深度，让它把整站链接跑一遍，跑完会列出所有返回404的链接。威速导航之前用Screaming Frog跑过一次，跑出来一百多个死链，比自己一个个点效率高多了。

跑完之后别急着全删。先把死链列表导出来，人工过一遍。有些链接可能只是暂时打不开，标注一下过几天再测。确实打不开的，再进入处理流程。

死链处理的几种方式

确认是死链之后，处理方式要看情况。

如果那个网站换了域名，能找到新地址的，直接更新链接就行。这种情况最理想，用户和蜘蛛都能正常访问。

如果网站彻底没了，但你的栏目页还有位置，可以考虑删掉这个链接。删的时候注意，如果这个链接有内链指向它，那些内链也要一并处理，不然内链变成死链。

如果这个链接被其他页面引用过，比如在文章里提到过某个工具站，文章里的链接也要更新或删除。

404页面本身也要做好

死链删掉之后，用户访问旧链接会打到404页面。404页面不能是服务器默认的那个白底黑字“Not Found”，太粗糙了。

威速导航的404页面做了几件事：告诉用户这个页面找不到了，提供几个可能相关的栏目入口，加一个搜索框让用户直接搜。用户虽然没找到原来的内容，但能通过其他路径继续浏览，不会直接关掉走人。

404页面还要返回正确的404状态码。有些站为了留住用户，把404页面返回200状态码，这是错误的做法。百度会认为这个页面是正常页面，但内容又是“找不到”，判断会混乱。

死链提交给百度

清理完死链之后，可以去百度搜索资源平台提交死链。提交的目的是告诉百度：这些链接已经失效了，别再抓了。

提交死链有一个好处：加快百度对死链的处理速度。不提交的话，百度蜘蛛下次来抓才发现是404，再下次才从索引里移除。提交之后，百度能更快地把这些链接从索引库里清掉，减少对整站质量的拖累。

提交的时候注意，死链文件要按照百度要求的格式写，一行一个链接，别加多余的东西。提交之后观察一段时间，看索引量有没有变化。

别把正常页面误判成死链

清理死链的时候要小心，别把正常页面误删了。

有些页面可能因为服务器临时故障返回503，被工具误判成死链。有些页面可能需要登录才能访问，爬虫抓不到就以为是404。有些页面是跳转链，工具没跟着跳转就报了错。

处理之前多测几次，确认是稳定打不开的再动手。删链接比加链接容易，但删错了要恢复就麻烦了。

定期清理，别攒着

死链不是清一次就完事了。外部网站随时可能关停，今天正常的链接明天可能就404了。

威速导航现在的做法是每个月跑一次爬虫，把全站链接过一遍。发现死链就记下来，攒到一定数量统一处理。这样每次工作量不大，也不会让死链积攒到失控的程度。

清理死链这件事，说起来不复杂，但需要持续做。导航站靠链接吃饭，链接的质量就是站点的质量。死链少了，用户体验好，百度也愿意多来抓，收录和排名都会跟着受益。