做导航站的人都有一个共同的焦虑:栏目开了十几个,百度今天来抓了,明天也来抓了,可收录的总是那么几个页面,剩下的像被遗忘了一样。你盯着搜索资源平台的后台,看着抓取频次不低,但索引量就是不动。
这时候很多人会去检查内容质量,怀疑是不是栏目页内容太薄。内容确实是一个因素,但还有一个更直接的原因被忽略了:百度蜘蛛的抓取是有顺序的,它不会平均对待每一个栏目。
蜘蛛进来先看什么
百度蜘蛛每次来访,抓取预算都是有限的。所谓抓取预算,就是它愿意在你站上花的时间和请求次数。新站或者权重不高的站,这个预算很小,可能一次只抓几个页面就走了。
那么它优先抓哪些页面?答案是:离首页越近、被链接越多、更新越频繁的页面,越容易被优先抓取。
导航站的首页通常链向所有一级栏目,所以一级栏目被发现的概率是差不多的。但发现不等于抓取,抓取不等于收录。蜘蛛在决定抓哪个栏目时,会参考几个信号:这个链接在首页的位置靠不靠前,这个栏目最近有没有更新,站内有多少其他页面链向它。
栏目页收录慢,先看这三个信号
第一个信号是首页链接的位置。很多导航站首页的栏目入口是按视觉美观排的,不是按重要性排的。放在首屏的栏目,蜘蛛和用户都更容易看到,抓取优先级自然高。放在页面底部、需要滚动很久才出现的栏目,蜘蛛虽然也能顺着代码找到,但优先级会低一些。
如果你发现某个栏目迟迟不收录,可以先看看它在首页的位置。如果排得很靠后,试着往前调一调,观察一段时间抓取频率有没有变化。
第二个信号是栏目页的更新频率。百度蜘蛛对经常变动的页面更感兴趣。一个栏目页如果三个月没动过,蜘蛛来过几次发现没变化,慢慢就不来了。反过来,如果栏目页定期有新内容加入,蜘蛛会形成习惯,定期来抓。
导航站的栏目页本身内容结构可能变化不大,但收录的站点列表可以定期增补。哪怕一周只加两三个新站,也能给蜘蛛一个"这个页面还活着"的信号。
第三个信号是站内链接的指向。如果站内其他页面很少链向某个栏目,蜘蛛会觉得这个栏目不重要。尤其是一些二级栏目,如果只有父栏目链向它,没有其他页面链过去,抓取优先级会很低。
解决办法是在相关文章里自然地链向这些栏目。比如一篇讲办公技巧的文章,正文里提到某个在线文档工具时,顺手链到效率办公栏目。这种来自内容页的链接,对栏目页的抓取推动比导航链接更有效。
抓取频次不低,为什么还是不收录
还有一种情况更让人困惑:后台显示百度蜘蛛天天来,抓取频次也不低,可索引量就是上不去。这说明蜘蛛在抓,但抓完之后判断页面质量不够,没有放进索引库。
导航站栏目页容易出现的问题是内容重复度高。一个栏目页可能就是一串网站链接加几句分类介绍,跟其他栏目页的结构高度相似。百度抓过去一看,跟之前抓的页面差不多,就没有收录的动力。
要解决这个问题,得让每个栏目页有自己独特的内容。威速导航的做法是在栏目页加一段人工撰写的分类说明,讲清楚这个分类收录的是什么类型的网站、适合什么场景使用。这段文字每个栏目都不一样,蜘蛛抓过去能识别出差异,收录意愿会高一些。
另外,栏目页的标题和描述也要有区分度。如果所有栏目页的标题都是"XX导航 - 威速导航",百度分不清哪个是哪个。每个栏目页的标题都要带上自己独有的分类词,描述也要围绕该分类单独写。
收录顺序其实可以利用
理解了蜘蛛抓取的逻辑,就可以主动引导它。威速导航做过一个实验:把当时最想推的几个栏目,在首页的位置往前调,同时在最近发布的几篇文章里加了指向这些栏目的内链。两周之后,这几个栏目的收录状态明显比之前好。
反过来,如果某个栏目暂时不想让它被收录,比如内容还没填充完整,可以先把首页链接撤掉,等准备好了再放回去。
还有一个技巧是sitemap。把希望优先收录的栏目页放在sitemap靠前的位置,虽然百度不保证按顺序抓,但至少给了它一个明确的优先级参考。
别忽略栏目页本身的体验
最后说一个容易被忽略的点:栏目页不只是给蜘蛛看的,更是给用户看的。如果用户点进栏目页,发现一堆链接杂乱无章,没有分类、没有说明、没有搜索功能,他很快就会离开。用户停留时间短、跳出率高,百度会判断这个页面体验差,收录和排名都会受影响。
威速导航在栏目页加了简单的筛选和说明,用户能快速找到自己需要的网站。这个改动对收录有没有直接帮助不好量化,但栏目页的跳出率确实降了,间接对SEO是正向的。
导航站栏目页的收录,急不来,但也不是完全被动。搞清楚蜘蛛先抓谁、后抓谁、为什么不收录,然后有针对性地调整,比盲目等要有效得多。