百度爬虫抓取频次调整
作者:佚名
来源:网络
点击数: 次
发布时间:2020年03月01日
一、登录百度站点管理平台:
二、操作三步骤:1.输入网站地址;2.站点属性一般选择门户网站;3.下载文件放到网站根目录,完成验证即可。
三、点击抓取频次,右侧“当前抓取频次过大如何解决”,然后选择“抓取频次上限调整”,即可鼠标拖动来调整抓取频次。
最后说一下此方法应对于IIS日志中存在大量的百度爬虫的IP请求,由于IP地址较分散,waf设备不会主动拦截,所以只能主动调整百度蜘蛛抓取频次。