根据关键字获取高德地图poi信息

根据关键字获取高德地图poi信息

百度地图和高德地图都提供了根据关键字获取相应的poi信息的api，不过它们提供给普通开发者使用的次数有限无法满足要求。其次百度地图返回的poi中位置信息不是经纬度，而高德地图则可以返回poi的经纬度信息。

网页分析

• 目的
  
  以关键字怡景中心城为例，我们需要使用爬虫获取到高德地图返回的所有相关poi信息，本例中主要获取poi的名称和经纬度信息。

• url分析
  
  通过chrome浏览器的监控，最终找到查询结果是通过json的形式返回，请求链接是

http://ditu.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum=1&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&zoom=17&city=440300&geoobj=114.056908%7C22.531457%7C114.062058%7C22.539831&keywords=%E6%80%A1%E6%99%AF%E4%B8%AD%E5%BF%83%E5%9F%8E

url中的keywords就是查询的关键字，pagenum页面数。此外经过分析发现返回结果包含20个poi信息，基本上覆盖了关键字区域，本篇博客仅爬取第一页的poi,如果想获取后续的poi,可以通过设置pagenum取值来得到。

poi信息包含在返回的joson数据中的poi_list字段

• 请求头构建

代码

class CrawlerGaoDe(object):
    main_url = 'http://ditu.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum=1' \
               '&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge' \
               '=true&is_classify=true&zoom=16&city=440300&geoobj=114.044736%7C22.550641%' \
               '7C114.055035%7C22.567386&keywords={0}'
    def __init__(self, zone_name, proxy=None):
        self.__zone_name = zone_name
        if proxy is None:
            self.__proxy = None
        else:
            self.__proxy = {'http': proxy}

    def __init_crawler_args(self):
        '''
        初始化爬虫参数
        :return:
        '''
        #   构造请求头
        User_Agent = 'Mozilla/5.0 (iPad; CPU OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 ' \
                     'Mobile/13B143 Safari/601.1'
        Host = 'ditu.amap.com'
        Accept = '* / *'
        Accept_Encoding = 'gzip, deflate'
        Accept_Language = 'en - US, en;q = 0.8, zh - CN;q = 0.6, zh;q = 0.4'
        amapuuid = 'b51b4430 - 611e-421e - b5f0 - d4c0069ec83a'
        Connection = 'keep - alive'
        cookie = 'guid=62e9-7327-26e6-8630; UM_distinctid=15bf554ac5ce3-07d1fa60bf59d3-24414032-' \
                 'cfcd8-15bf554ac5d163; _uab_collina=149446962066263280256309; passport_log' \
                 'in=ODY0OTIzNTQsYW1hcEF1SUZSNU45MiwyN2ZiY2x4YjJicWN3NGZjb29qYWtuYTY4bjhpdDEzN' \
                 'iwxNTA1Nzg4MDYzLE1XUm1OVE5oTlRRMk5tTmpOVEkwWWpWaU1EZzFNamRqTkdaaU5USmlabVk9; dev' \
                 '_help=A31pORob9CZKI7Sru%2B22%2FGUwNWY0ZTEyMDMwOGZiZWIyMTUyNDg3N2M5NzdiNGY3NzVhNGF' \
                 'iNDg5YzhjNjgzYmM5YjY5OTdmNjkxNjFlY2Y5%2BkDeYKdIYyjlQUymTgzjEbGZZwvhQT7HDehSDAbU71%' \
                 '2BgMgS1RZws1VsgIqQbVPGtHubQVNo3jkPiGQcc4GgNzC%2BXgQLxYhEc7WDMILJBY%2FJWXDmjfTh8Wf8e' \
                 'bkfF3VY%3D; key=bfe31f4e0fb231d29e1d3ce951e2c780; cna=HV1zEVpxFzkCATr4tPxil0OM; isg=At7' \
                 'eZS1TC8m1jV8txoi1zUMNL33gNqN9in7_KohnSiEcq36F8C_yKQRJwY1Y; CNZZDATA1255626299=593' \
                 '918092-1494468489-http%253A%252F%252Fwww.amap.com%252F%7C1505808643'
        header = {}
        header['User-Agent'] = User_Agent
        header['Host'] = Host
        header['Accept'] = Accept
        header['Accept-Encoding'] = Accept_Encoding
        header['Accept-Language'] = Accept_Language
        header['amapuuid'] = amapuuid
        header['Connection'] = Connection
        header['cookie'] = cookie
        self.__header = header
        self.__url = self.main_url.format(self.__zone_name)

    def __get_context_info(self):
        '''
        从高德地图爬取信息
        :return:
        '''
        #   获取爬虫返回信息
        req = requests.get(self.__url, headers=self.__header, proxies=self.__proxy)
        # print req.json()
        self.__context = req.json()

    def __resolve_context(self):
        '''
        解析查询到的文本
        :return:
        '''
        #   信息解析，保存poi名称和经纬度
        pois = self.__context['data']['poi_list']
        records = list()
        for poi in pois:
            tmp = {'zone_name': self.__zone_name, 'disp_name': poi['disp_name'],
                   'lng': float(poi['longitude']), 'lat': float(poi['latitude'])}
            records.append(tmp)
        return records
    def do(self):
        '''
        执行
        :return:
        '''
        self.__init_crawler_args()
        self.__get_context_info()
        return self.__resolve_context()

if __name__ == '__main__':
    #   单个关键字查询
    craw_gaode = CrawlerGaoDe('怡景中心城', None)
    records = craw_gaode.do()
    print records
    pd.DataFrame.from_records(records).to_csv('/home/用户名/Desktop/test.txt', encoding='utf-8', index=False)

上述爬虫中可以添加代理ip，输出结果如下：

disp_name	lat	lng	zone_name
怡景中心城	22.535799	114.05976	怡景中心城
怡景中心城停车场(出入口)	22.536416	114.059332	怡景中心城
怡景中心城广场停车场(出口)	22.536433	114.060231	怡景中心城
怡景中心城小天才专柜	22.535086	114.059913	怡景中心城
藤蔓慕果(怡景中心城店)	22.5358	114.05976	怡景中心城
中心城广场停车场(出入口)	22.536676	114.059312	怡景中心城
Miss南(怡景中心城店)	22.53511	114.059967	怡景中心城
麦当劳(怡景中心城店)	22.535774	114.0591	怡景中心城
汕头外砂乌弟卤鹅(怡景中心城店)	22.535729	114.059093	怡景中心城
家乐福(中心城店)	22.536266	114.059923	怡景中心城
陈钢串串香(怡景中心城店)	22.535411	114.05912	怡景中心城
指典世家(怡景中心城店)	22.5344	114.059681	怡景中心城
AT.PINK.CO(怡景中心城店)	22.536248	114.059305	怡景中心城
特斯拉充电站(ipower15私驾护理中心怡景中心城店)	22.536396	114.059341	怡景中心城
杂咖(怡景中心城)	22.535469	114.060467	怡景中心城
反斗乐园(怡景中心城)	22.535394	114.059777	怡景中心城
卫生间(怡景中心城)	22.536489	114.059134	怡景中心城
卫生间(怡景中心城)	22.535927	114.059091	怡景中心城
卫生间(怡景中心城)	22.536392	114.060427	怡景中心城
卫生间(怡景中心城)	22.535931	114.06033	怡景中心城