python爬虫2

学习任务

获取去哪儿网的出发地列表

获取旅游景点列表

获取景点产品列表

存储数据

1 获取出发地站点

(1)访问touch.qunar.com

(2)按F12，单击自由行，在自由行页面点击搜索框

(3)单击任意一个城市，切换到headers，查看request URL如下所示。但是需要工具还原编码咋们才能知道这是啥(dep参数表示出发地，query表示目的地)。推荐网站http://www.jsons.cn/urlencode/，解码效果下面图2

3 实现

(1)首先获得出发地站点，因为最终需要获得整个自由行的产品列表。

自由行首页中点击左侧的出发点站点，然后获取目标URL如图二

 import requests
 url="https://touch.dujia.qunar.com/depCities.qunar"

 strhtml=requests.get(url)
 print(strhtml)
 dep_dict=strhtml.json()
 print(dep_dict)
 for dep_item in dep_dict['data']:
     for dep in dep_dict['data'][dep_item]:
         print(dep)

(2)获得目的地。根据上面的分析，json工具解码以后通过拼接可得URL。

             url = 'https://m.dujia.qunar.com/golfz/sight/arriveRecommend?dep={}&exclude=&extensionImg=255,175'.format(urllib.request.quote(dep))

(3)总源码

 import requests
 import urllib
 import time
 #import pymongo

 # client=pymongo.MongoClient('localhost',27017)
 # book_qunar=client['qunar']
 # sheet_qunar_zyx=book_qunar['qunar_zyx']

 #获取产品列表
 def get_list(dep,item):
     url = 'https://touch.dujia.qunar.com/list?modules=list,bookingInfo&dep={}&query={}&mtype=all&ddt=false&mobFunction=%E6%89%A9%E5%B1%95%E8%87%AA%E7%94%B1%E8%A1%8C&cfrom=zyx&it=FreetripTouchin&et=FreetripTouch&date=&configDepNew=&needNoResult=true&originalquery={}&limit=0,20&includeAD=true&qsact=search'.format(
         urllib.request.quote(dep), urllib.request.quote(item), urllib.request.quote(item))
     strhtml = get_json(url)
     try:
         routeCount = int(strhtml['data']['limit']['routeCount'])
     except:
         return
     for limit in range(0, routeCount, 20):
         url = 'https://touch.dujia.qunar.com/list?modules=list,bookingInfo&dep={}&query={}&mtype=all&ddt=false&mobFunction=%E6%89%A9%E5%B1%95%E8%87%AA%E7%94%B1%E8%A1%8C&cfrom=zyx&it=FreetripTouchin&et=FreetripTouch&date=&configDepNew=&needNoResult=true&originalquery={}&limit={},20&includeAD=true&qsact=search'.format(
             urllib.request.quote(dep), urllib.request.quote(item),
             urllib.request.quote(item), limit)
         strhtml = get_json(url)
         result = {
             'date': time.strftime('%Y-%m-%d', time.localtime(time.time())),
             'dep': dep,
             'arrive': item,
             'limit': limit,
             'result': strhtml
         }
         #sheet_qunar_zyx.insert_one(result)
         print(result)

 # def connect_mongo():
 #     client=pymongo.MongoClient('localhost',27017)
 #     book_qunar=client['qunar']
 #     return book_qunar['qunar_zyx']

 def get_json(url):
     strhtml=requests.get(url)
     time.sleep(1)
     return strhtml.json()

 if __name__ == "__main__":

     url='https://touch.dujia.qunar.com/depCities.qunar'
     dep_dict=get_json(url)
     #这里是json格式 dep_dict中内嵌勒一层
     for dep_item in dep_dict['data']:
         for dep in dep_dict['data'][dep_item]:
             a = []#目的地去重
             #经过解码工具可以得到dep表示出发地 query和originalquery表示目的地
             url = 'https://m.dujia.qunar.com/golfz/sight/arriveRecommend?dep={}&exclude=&extensionImg=255,175'.format(urllib.request.quote(dep))
             arrive_dict = get_json(url)
             for arr_item in arrive_dict['data']:
                 for arr_item_1 in arr_item['subModules']:
                     for query in arr_item_1['items']:
                         if query['query'] not in a:
                             a.append(query['query'])
             for item in a:
                 get_list(dep,item)