10秒后自动关闭
常用蜘蛛填写规则

蜘蛛设置-网站访问控制系统

 

一、蜘蛛限制模块

网站访问控制系统-蜘蛛限制

 

二、蜘蛛填写规则

    1、内容主要是参照服务器变量 HTTP_USER_AGENT 的值来分析,如:Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

    2、设置完后保存,重启IIS后才能立即生效。

    3、其他:

        Baiduspider-image+(+http://www.baidu.com/search/spider.htm)  

        Googlebot-Image/1.0

        Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

        Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

        Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

用户留言