通过 IP 判断爬虫 如果你查看服务器日志,看到密密麻麻的 IP 地址,你一眼可以看出来那些 IP 是爬虫,那些 IP 是正常的爬虫,就像这样: 在这密密麻麻的日志里面,我们不仅要分辨出真正的爬虫 IP ,同时也要分辨出伪造的爬虫 IP,实属不易. 如果查看服务器日志,我们可以先通过 User-agent 大致判断出是爬虫还是正常用户,例如: Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) 这
1.工具说明 写报告的时候为了细致性,要把IP地址对应的地区给整理出来.500多条IP地址找出对应地区复制粘贴到报告里整了一个上午. 为了下次更好的完成这项重复性很高的工作,所以写了这个小的脚本. 某个项目每次改需求都是这么突然. 应 XX 每天要求各种省份域名统计,再加强下Domain to IP to 地区的脚本. Domain2ip2locality.py v2.0 写入到XLS中 Domain2ip2locality.py v3.0 增加域名解析IP.IP解析地区的部分 2.使用方法 把