找回密码
 加入SEO研究中心

QQ登录

只需一步,快速开始

搜索
  • TA的每日心情
    奋斗
    2019-1-27 15:06
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    8

    主题

    70

    帖子

    7

    威望

    VIP会员

    VIP学员爱心达人

    百度资源搜索平台蜘蛛抓取频率突然很高正常吗?

    328 2
    2019-1-9 13:31:03
    显示全部楼层
    5学习币
    我每次更新网站之前都有一个习惯就是看看我网站的数据今天看了一下突然蜘蛛的抓取频率飙升了好几倍,顿时不知道是怎么回事看下图

    蜘蛛抓取频率

    蜘蛛抓取频率

    从几十直接飙到了300,达到顶峰?请问这正常吗?
    还请各位老师,师哥,学长给个答案,谢谢!!!

    最佳答案

    查看完整内容

    首先,我们了解sipder抓取网站频次的原因: 总体来说,百度spider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。 1、spider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取; 2、百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好; 3、已抓取的链接,打分不够好,垃圾过多,导 ...
  • TA的每日心情

    2019-3-8 14:10
  • 签到天数: 46 天

    [LV.5]常住居民I

    1

    主题

    112

    帖子

    90

    威望

    VIP会员

    VIP学员

    2019-1-9 13:31:04
    显示全部楼层
    首先,我们了解sipder抓取网站频次的原因:
    总体来说,百度spider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。
    1、spider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取;
    2、百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好;
    3、已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取;
    4、站点被攻击,有人仿冒百度爬虫(参考:《如何识别Baiduspider》)。
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2019-1-27 15:06
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    8

    主题

    70

    帖子

    7

    威望

    VIP会员

    VIP学员爱心达人

    2019-1-10 14:25:03
    显示全部楼层
    1105196066 发表于 2019-1-9 13:31
    首先,我们了解sipder抓取网站频次的原因:
    总体来说,百度spider会根据站点规模、历史上网站每天新产出的 ...

    感谢回答,站点今天恢复了正常,感觉百度蜘蛛时不时的就会抽风。。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 加入SEO研究中心