查看: 1134|回复: 2

robots屏蔽网站,解除屏蔽后仍然不抓取网址。求解!

[复制链接]
发表于 2017-2-12 11:16:49 | 显示全部楼层 |阅读模式
5学习币
www.cenzq.com 之前网站在改版的时候设置了robots屏蔽搜索引擎抓取,中间可能持续了有一个月左右时间,现在网站已经改版完成上线,解除了robots屏蔽;但在百度搜索网址,仍然显示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述”,这个应该怎么破?还是 需要等待一段时间?这边我已经向百度提交了网址 sitemap地图等

最佳答案

查看完整内容

是这样的 ,这样的情况一般你解除限制2个月内会恢复正常,首先要理解的就是robotx.txt是一个搜索引擎抓取协议而非指令,你解除但是在搜索引擎方面是有记录的,所以不可能解除之后立即生效而是有延迟生效的情况。 在我们的课程里学员在做测试网站或者网站改版的时候我们是不建议也不允许这样操作的。
发表于 2017-2-12 11:16:50 | 显示全部楼层
是这样的 ,这样的情况一般你解除限制2个月内会恢复正常,首先要理解的就是robotx.txt是一个搜索引擎抓取协议而非指令,你解除但是在搜索引擎方面是有记录的,所以不可能解除之后立即生效而是有延迟生效的情况。
在我们的课程里学员在做测试网站或者网站改版的时候我们是不建议也不允许这样操作的。
回复

使用道具 举报

 楼主| 发表于 2017-2-13 13:39:43 | 显示全部楼层
西风 发表于 2017-2-12 19:44
是这样的 ,这样的情况一般你解除限制2个月内会恢复正常,首先要理解的就是robotx.txt是一个搜索引擎抓取协 ...

好的,谢谢!明白了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

SEO研究中心(moonseo.cn)是互联网最大的搜索引擎优化研究中心,是致力于培养学员用户体验意识和提供专业技术解答的专业培训机构, 成立于2007年,2008年第一家入驻歪歪的培训机构,2014年成为腾讯课堂战略合作机构。
© 2007-2016 SEO研究中心 湘ICP备13004652号-1 Powered by Discuz!X  Template by SEO 
快速回复 返回顶部 返回列表