【Python】批量查询-提取站长之家IP批量查询的结果加强版本v3.0

1、工具说明

写报告的时候为了细致性，要把IP地址对应的地区给整理出来。500多条IP地址找出对应地区复制粘贴到报告里整了一个上午。

为了下次更好的完成这项重复性很高的工作，所以写了这个小的脚本。

某个项目每次改需求都是这么突然。 应 XX 每天要求各种省份域名统计，再加强下Domain to IP to 地区的脚本。

Domain2ip2locality.py v2.0 写入到XLS中

Domain2ip2locality.py v3.0 增加域名解析IP、IP解析地区的部分

2、使用方法

把IP写到.txt文件中就可以了，输出到D:\0utCode_ip_domain\目录内的IP.xls内。代码注释中已经说明!

#-*-coding:utf-8-*-

import sys
import os
import requests
from bs4 import BeautifulSoup
import tablib
import socket
import re

# Domain2ip2locality.py v3.0
# 作者：zzzhhh
# 2017-9-30
# 提取站长之家IP批量查询的结果加强版本-写入到XLS中
# 增加域名解析IP、IP解析地区的部分

## 默认存放路径D:\\0utCode_ip_domain\\ip.xls
path = "D:\\0utCode_ip_domain\\"    # 存放路径
filename = "ip"                       # 文件名称
dataset1 = tablib.Dataset()           # 数据集合

ip_list = []                          # IP列表

# 写XLS
def into_els(old_ip,new_ip,taglocality):
    headers = ('域名','ip', '地区')        # 首行字段
    dataset1.headers = headers
    dataset1.append((old_ip,new_ip,taglocality))

# 判断是否是IP
def DetermineIPorDomain(unknow):
    # IP判断的正则
    reip = r'\d+\.\d+\.\d+\.\d+'
    ip = re.findall(reip, unknow)
    if len(ip)>0:
        return ip
    else:
        ip = www_ip(unknow)
        return ip

# 域名转换IP
def www_ip(name):
    try:
        result = socket.getaddrinfo(name,None)
        return result[0][4][0]
    except:
        return 0

#匹配出IP地址函数
def matchIP (new_ip,old_ip):
    url = "http://ip.chinaz.com/"
    try:
        url = url+str(new_ip)
    except:
        print url

    ## 根据传入的IP地址截取出地区
    wbdata = requests.get(url).text
    soup = BeautifulSoup(wbdata, 'lxml')
    for tag in soup.find_all('span', class_='Whwtdhalf w50-0'):
        tag_extractl = tag.get_text().encode('utf-8')
        if tag_extractl.find("IP的物理位置"):     #过滤掉【IP的物理位置】这个字符
            print "%s||%s||%s" % (old_ip,new_ip,tag.get_text())         #输出域名,IP，地区
            into_els(old_ip,new_ip,tag.get_text())                        #写数据到数据集合中

#读取文件函数
def read_file(file_path):
    # 判断文件路径是否存在，如果不存在直接退出，否则读取文件内容
    if not os.path.exists(file_path):
        print 'Please confirm correct filepath !'
        sys.exit(0)
    else:
        with open(file_path, 'r') as source:
            for line in source:
                ip_list.append(line.rstrip('\r\n').rstrip('\n'))

    # 遍历IP，通过站长之家查询IP对应地区
    for ip in ip_list:
        to_ip = DetermineIPorDomain(ip)   # 转换
        matchIP(to_ip,ip)

    # 写文件到Excel
    hFile = open(path + filename + '.xls', "wb")
    hFile.write(dataset1.xls)
    hFile.close()

if __name__ == '__main__':
    file_str=raw_input('Input file ip.txt filepath eg:D:\\\\test.txt \n')
    #file_str = "D:\\WebUrl.txt"
    read_file(file_str)    #读取文件

3、 代码效果

用Excel自定义排序就可以可以排序某个特定省份了。。。