蜘蛛设置-网站访问控制系统
一、蜘蛛限制模块
二、蜘蛛填写规则
1、内容主要是参照服务器变量 HTTP_USER_AGENT 的值来分析,如:Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2、设置完后保存,重启IIS后才能立即生效。
3、其他:
Baiduspider-image+(+http://www.baidu.com/search/spider.htm)
Googlebot-Image/1.0
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)