0411-39943997
工作时间:周一至周日 8:30-22:00
网站优化
News and information

robots屏蔽网站,解除屏蔽后仍然不抓取网址原因

标签:robots屏蔽浏览次数:   时间:2017-09-13

由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述

www.qianyikeji.com 之前网站在上线添加完善内容的时候设置了robots屏蔽搜索引擎抓取,中间可能持续了有2周左右的时间,现在网站资料已经添加完善,解除了robots屏蔽;但在百度搜索网址,仍然显示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述 - 了解详情”,这边已经向百度提交了网址 sitemap地图等 但是现在一个多月过去了 还是没有解除。

通过以上我百度了好多资料 原来不是马上能解除的一般要在2个月左右才能解除。

如果网友遇到这样的情况一般你解除限制2个月内会恢复正常,原因是:首先要理解的就是robotx.txt是一个搜索引擎抓取协议而非指令,你解除但是在搜索引擎方面是有记录的,所以不可能解除之后立即生效而是有延迟生效的情况。


在大连网站制作公司小编慎重的提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把网站建好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。
 
 


本文地址:http://www.billionseo.com/library/seo/20170913388.html
Copyright© 2011 仟亿科技,All rights reserved.
首页关于我们新闻资讯服务项目软件产品解决方案成功案例网站地图加入我们联系我们