巧用robots合理利用百度蜘蛛爬行力度定值

相信很多人都听说过网站robots文件，也有很多人一直在用robots文件，也有很多人只是听说过但是没有用robots文件。所以仟亿科技小编今天就写一下关于robots文件的个人看法。

曾经觉得robots文件对网站的作用不大，直到我膝盖中了一箭才知道其在网站中的重要性啊。

有一天http://www.billionseo.com收录出了问题，仟亿科技官网全站采用静态页面，但是程序还是会自动保留生成动态页面，所以有时候百度会选择收录动态页面从而放弃收录静态页面。也许有人说只要收录不就好了，管他动态还是静态呢。其实不是这样的，如果网站中同一篇文章出现两个网站，那就属于重复页面，对搜索引擎很不友好。所以在度娘那搜索下什么情况，说法不一，但是有一个说是robots文件没写好。然后我找了写关于robots写法的文章，基本了解下，知道了屏蔽搜索引擎爬行的写法。

我用robots屏蔽收录很多文件夹，只开放文章文件和文章目录文件夹。两天之后终于有了变化，百度不但不收录动态页面改收录静态页面了，而且收录数量立刻翻倍。从这个现象可以看出百度放蜘蛛的时候根据每个网站的不同会给不同网站蜘蛛不同的爬行力度，如果网站权重非常高，百度给蜘蛛的爬行力度就很高，这样就会收录很多。如果网站权重相对低，百度给你网站蜘蛛爬行力度就会偏低一些。但是不管权重高与低，百度给你网站蜘蛛爬行力度是一个大概定值的，这个定值你一定要用在刀刃上。尽量屏蔽掉没有必要让百度蜘蛛爬行的文件夹或者页面，这样能够让百度蜘蛛更好的爬行其他页面。从而可以提高收录数量。

---