网站首页 SEO优化正文

搜索引擎的抓取规律、蜘蛛的时效性分析

SEO优化的关键在于了解搜索引擎蜘蛛的抓取规律和外链的时效性。搜索引擎蜘蛛是我们创建出来的机器,一定有一定的规则。


首先,搜索引擎会给优质网站[文]分配专门的蜘蛛抓取资源,及[章]时抓取、收录并发布供网民搜[来]索。对于普通网站,搜索引擎[自]会分配一定的蜘蛛抓取资源,[e]当抓取数量达到一定量时,就[5]会停止抓取。在抓取过程中,[8]搜索引擎会采用横向抓取和纵[s]向抓取的方法。抓取规律遵循[e]"F"[o]型抓取规则,从左到右、从上[技]到下的顺序。


1598326437406683.jpg


在探讨搜索引擎蜘蛛抓取规律[术]时,我们还要考虑外链是否有[网]时效性。一般来说,新上线的[文]网站需要一些时间来被搜索引[章]擎录入。当搜索引擎开始录入[来]网站时,通常是从主页开始,[自]然后顺着主页继续进入内页。[e]搜索引擎并不会一次性将网站[5]全部抓取完毕,而是在不同的[8]时间段进行抓取,并根据蜘蛛[s]在网站内的活动时间和停留时[e]间进行评估。


新站的页面即使被抓取,也不[o]会立即放出来。搜索引擎会经[技]过重复核算,确认网站的确需[术]要被录入后,才会将页面放出[网]来。一般来说,新站的网站快[文]照和录入页面要晚上线一个星[章]期左右才会被放出来。


需要注意的是,在搜索引擎蜘[来]蛛抓取网站的过程中,不能出[自]现网站打不开或者存在死链的[e]情况。如果出现这种情况,搜[5]索引擎会连续尝试抓取网站,[8]但后续的抓取时间就不确定了[s]。有些人认为,域名的年龄越[e]长,搜索引擎越喜欢它,但事[o]实上并非如此。另外,网站刚[技]完成主页后立即上线,但主页[术]上的链接大多是死链,这会对[网]网站形象产生严重的影响,导[文]致搜索引擎减少对网站的抓取[章]次数甚至抛弃抓取该网站。


成功上线一段时间后,网站才[来]会进入稳定期。百度和Goo[自]gle会给新站一个查核期,[e]一般为3到6个月。处于稳定[5]期的网站会经常受到搜索引擎[8]蜘蛛的光顾,它们和前期没有[s]明显区别,从主页进入网站进[e]行抓取。


百度和Google在处理网[o]站更新内容时有一些差异。如[技]果百度发现网站主页的内容没[术]有改动,会立即停止抓取;而[网]Google则不同,即使主[文]页内容没有变化,仍会继续按[章]照原来的顺序抓取,这也是为[来]什么有些网站在Google[自]中录入页面比百度多的原因之[e]一。



在更新网站内容时,一定要及[5]时在主页上显示出来,否则百[8]度蜘蛛不会录入更新的页面,[s]因为主页没有改动,蜘蛛不会[e]进一步抓取内页,这样就会导[o]致录入量一直没有变化。稳定[技]时期的网站快照和录入页面通[术]常会在近两天内被放出来。


外链是否有时效性是一个重要[网]的话题。根据我对搜索引擎蜘[文]蛛抓取页面的理解,它们会将[章]内容和链接分开,抓取的UR[来]L会加入一个网址索引库。即[自]使外链所在页面不再有快照,[e]外链依然有效。但是,外链的[5]有效性也会随时间的推移而减[8]弱。


外链失效可能有两个原因:外[s]链所在页面被删除或外链被删[e]除。对于页面被删除的情况,[o]搜索引擎会继续抓取这个页面[技]上的外链,直到该页面404[术]一段时间后,会通知搜索引擎[网]的网址索引库删除这个外链。[文]至于页面内容的更改,搜索引[章]擎也会根据抓取规则进行相应[来]的更新。


然而,外链对搜索引擎的影响具有时效性。因此,保持外链的有效性是很重要的。外链所在页面的存在与否对外链依然有效性起着至关重要的影响。

发表评论:

287

文章数

50641

阅读数

4

评论