百度爬虫抓取频次调整

作者:佚名 来源:网络 点击数: 发布时间:2020年03月01日

一、登录百度站点管理平台:

二、操作三步骤:1.输入网站地址;2.站点属性一般选择门户网站;3.下载文件放到网站根目录,完成验证即可。

三、点击抓取频次,右侧“当前抓取频次过大如何解决”,然后选择“抓取频次上限调整”,即可鼠标拖动来调整抓取频次。

最后说一下此方法应对于IIS日志中存在大量的百度爬虫的IP请求,由于IP地址较分散,waf设备不会主动拦截,所以只能主动调整百度蜘蛛抓取频次。