找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
  • TA的每日心情
    奋斗
    2019-3-12 18:18
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    12

    主题

    46

    帖子

    3

    威望

    VIP会员

    VIP学员爱心达人论坛元老

    robots.txt这样设置是不是阻止了以下蜘蛛访问。

    196 3
    2019-1-8 22:44:44
    显示全部楼层
    5学习币
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /*?*

    以下蜘蛛阻止了访问,其他的蜘蛛都允许访问,是这样吗?
    User-agent: Teoma
    Disallow: /
    User-agent: ia_archiver
    Disallow: /
    User-agent: twiceler
    Disallow: /
    User-agent: MSNBot
    Disallow: /
    User-agent: Scrubby
    Disallow: /
    User-agent: Robozilla
    Disallow: /
    User-agent: Gigabot
    Disallow: /
    User-agent: googlebot-image
    Disallow: /
    User-agent: googlebot-mobile
    Disallow: /
    User-agent: yahoo-mmcrawler
    Disallow: /
    User-agent: yahoo-blogs/v3.9
    Disallow: /
    User-agent: psbot
    Disallow: /

  • TA的每日心情
    奋斗
    2019-1-27 15:06
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    8

    主题

    71

    帖子

    7

    威望

    VIP会员

    VIP学员帅哥站长爱心达人

    2019-1-9 13:59:11
    显示全部楼层
    是这样的没毛病,阻止了的肯定是不会访问你网站了,其他蜘蛛可以访问。
    不过你为啥要阻止这些蜘蛛访问你网站呢?所有蜘蛛我都不建议你去阻止访问。
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2019-3-12 18:18
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    12

    主题

    46

    帖子

    3

    威望

    VIP会员

    VIP学员爱心达人论坛元老

    2019-1-9 20:53:58
    显示全部楼层
    flyzijin2018 发表于 2019-1-9 13:59
    是这样的没毛病,阻止了的肯定是不会访问你网站了,其他蜘蛛可以访问。
    不过你为啥要阻止这些蜘蛛访问你网 ...

    感觉服务器被蜘蛛撑爆了~~  
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2019-1-27 15:06
  • 签到天数: 15 天

    [LV.4]偶尔看看III

    8

    主题

    71

    帖子

    7

    威望

    VIP会员

    VIP学员帅哥站长爱心达人

    2019-1-10 14:19:18
    显示全部楼层
    买个好点 的服务器或者是虚拟主机就不会出现这个问题了,推荐你买大公司的产品,无忧老师的博客里面有阿里云的活动地址 https://www.ainiseo.com/
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册