最近大连seo博客一直不断的更换主题,每个主题的设置都不一样，导致很多页面被重复抓取了，为了以后避免这种情况就用robots.txt设置了一下，有关这样的问题也有朋友问过我，我只说了用robots.txt屏蔽，没有具体的说设置，其实至于WORDPRESS的ROBOTS设置在网上搜索一下很多，自己搜索一下就行了。闲话不扯了，为了以后再有朋友问，就在这里说一下设置，有关ROBOTS的解释就不说了，直接上代码：
WORDPRESS官方标准的robots代码如下：
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /author/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # digg mirror User-agent: duggmirror Disallow: /
Copyright@ 2011-2016 版权所有：大连千亿科技有限公司 辽ICP备11013762-3号 google网站地图 百度网站地图 网站地图
公司地址：大连市沙河口区中山路692号辰熙星海国际2317 客服电话：0411-39943997 QQ：2088827823 37482752
法律声明：未经许可，任何模仿本站模板、转载本站内容等行为者，本站保留追究其法律责任的权利！ 隐私权政策声明
