搜狗搜索蜘蛛的任务调度有问题(图)

今天检查系统日志,发现了搜狗蜘蛛的异常行为,短短20秒内连续13次抓取/robots.txt这个文件。分析可能是它的任务调度算法有点问题,如图

sogou蜘蛛

 评论
  请问,最新版本的ak哪里可以看到蜘蛛日志?
 发表评论
姓   名: