Google搜索引擎蜘蛛分析
一篇来自SEO论坛的文章,文章深入分析了Google搜索引擎蜘蛛的等级,学习学习。
一、GOOGLE搜索引擎蜘蛛的等级
首先先谈下GOOGLE蜘蛛起源。
当GOOGLE搜索引擎刚建立之初,就拥有这一个非常强大的的服务器,其每天放出大量的蜘蛛,我们称为1号蜘蛛,其抓取量抓取速度是非常的快,对其整个互联网每天进行信息进行的采集,可见服务器的速度是多少快,其实最主要的是后期GOOGLE将服务器延伸到了很多城市,所以现在你能发现GOOGLE的运算速率是超前的快。
服务器将采集的信息分类,整理到庞大的数据库。其中有个数据库都是用来存网站域名的。域名只要被搜索引擎索引到,将自动存入此数据库。此数据库是1号蜘蛛的核心。
其内部分为10个PR各等级的小数据库,虽说小数据库,但也是大的可怕。10个等级的数据库 其周期也不同,基本上以一个PR=4的网站来讲 1号蜘蛛爬行的概率也在7天一次。所以基本你也会发现收录有大的幅度也是在7天内的某一天。