[Python爬虫] 之十：Selenium +phantomjs抓取活动行中会议活动

　　一、介绍

　　　　本例子用Selenium +phantomjs爬取活动树（http://www.huodongshu.com/html/find_search.html?search_keyword=数字）的资讯信息，输入给定关键字抓取资讯信息。

　　　　给定关键字：数字；融合；电视

　　　　抓取信息内如下：

　　　　　　1、资讯标题

　　　　　　2、资讯链接

　　　　　　3、资讯时间

　　　　　　4、资讯来源

　

　　二、网站信息

　　　　

　　　　

　　

　　三、数据抓取

　　　　针对上面的网站信息，来进行抓取

　　　　1、首先抓取信息列表

　　　　　　抓取代码：Elements = doc('div[id="eventList"]').find('div[class="list"]')

　　　　2、抓取标题

　　　　　　抓取代码：title = element('h3').find('a').text().encode('utf8').strip()

　　　　3、抓取链接

　　　　　　抓取代码：url = 'http://www.huodongshu.com' + element('h2').find('a').attr('href')

　　　　4、抓取日期

　　　　　　抓取代码：element('div[class="info time"]').text().encode('utf8').strip()

　　　　5、抓取主办方

　　　　　　抓取代码：orgnizer = element('div[class="info title"]').find('a').text().encode('utf8').strip()

　　　　6、抓取地点

　　　　　　抓取代码：area = element('div[class="info site"]').text().encode('utf8').strip()

　　

　　四、完整代码

# coding=utf-8
import os
import re
from selenium import webdriver
import selenium.webdriver.support.ui as ui
import time
from datetime import datetime
from selenium.webdriver.common.action_chains import ActionChains
import IniFile
# from threading import Thread
from pyquery import PyQuery as pq
import LogFile
import mongoDB
import urllib
class huodongshuSpider(object):
    def __init__(self):
 
        logfile = os.path.join(os.path.dirname(os.getcwd()), time.strftime('%Y-%m-%d') + '.txt')
        self.log = LogFile.LogFile(logfile)
        configfile = os.path.join(os.path.dirname(os.getcwd()), 'setting.conf')
        cf = IniFile.ConfigFile(configfile)
        self.keyword_list = cf.GetValue("section", "meeting_keywords").split(';')
        websearch_url = cf.GetValue("huodongshu", "websearchurl")
        self.db = mongoDB.mongoDbBase()
        self.start_urls = []
 
        for keyword in self.keyword_list:
            url = websearch_url + urllib.quote(keyword)
            self.start_urls.append(url)
 
        self.driver = webdriver.PhantomJS()
        self.wait = ui.WebDriverWait(self.driver, 2)
        self.driver.maximize_window()
 
    def scroll_foot(self):
        '''
                滚动条拉到底部
                :return:
                '''
        js = ""
        # 如何利用chrome驱动或phantomjs抓取
        if self.driver.name == "chrome" or self.driver.name == 'phantomjs':
            js = "var q=document.body.scrollTop=10000"
        # 如何利用IE驱动抓取
        elif self.driver.name == 'internet explorer':
            js = "var q=document.documentElement.scrollTop=10000"
        return self.driver.execute_script(js)
 
    def compareDate(self, dateLeft, dateRight):
        '''
        比较俩个日期的大小
        :param dateLeft: 日期 格式2017-03-04
        :param dateRight:日期 格式2017-03-04
        :return: 1：左大于右，0：相等，-1：左小于右
                '''
        dls = dateLeft.split('-')
        drs = dateRight.split('-')
        if len(dls) > len(drs):
            return 1
        if int(dls[0]) == int(drs[0]) and int(dls[1]) == int(drs[1]) and int(dls[2]) == int(drs[2]):
            return 0
 
        if int(dls[0]) > int(drs[0]):
            return 1
        elif int(dls[0]) == int(drs[0]) and int(dls[1]) > int(drs[1]):
            return 1
        elif int(dls[0]) == int(drs[0]) and int(dls[1]) == int(drs[1]) and int(dls[2]) > int(drs[2]):
            return 1
        return -1
 
    def date_isValid(self, strDateText):
        '''
        判断日期时间字符串是否合法：如果给定时间大于当前时间是合法，或者说当前时间给定的范围内
        :param strDateText: 三种格式 '2017.04.27 ~ 04.28'; '2017.04.20  08:30 ~ 12:30' ; '2015.12.29 ~ 2016.01.03'
        :return: True:合法；False:不合法
                '''
        datePattern = re.compile(r'\d{4}-\d{2}-\d{2}')
        date = strDateText.replace('.', '-')
        strDate = re.findall(datePattern, date)
        currentDate = time.strftime('%Y-%m-%d')
        flag = False
        startdate = ''
        enddate = ''
        if len(strDate) == 2:
            # '2015.12.29 ~ 2016.01.03'
            if self.compareDate(strDate[1], currentDate) > 0:
                flag = True
                startdate = strDate[0]
                enddate = strDate[1]
        elif len(strDate) == 1:
 
            if date.find(':') > 0:
                # 2017.04.20  08:30 ~ 12:30
                if self.compareDate(strDate[0], currentDate) >= 0:
                    flag = True
                    startdate = strDate[0]
                    enddate = strDate[0]
            else:
                # 2017.07.13 ~ 07.15
                startdate = strDate[0]
                enddate = date[0:5] + date[len(date) - 5:]
                if self.compareDate(enddate, currentDate) >= 0:
                    flag = True
        return flag, startdate, enddate
 
    def log_print(self, msg):
        '''
        #         日志函数
        #         :param msg: 日志信息
        #         :return:
        #         '''
        print '%s: %s' % (time.strftime('%Y-%m-%d %H-%M-%S'), msg)
 
    def scrapy_date(self):
        strsplit = '------------------------------------------------------------------------------------'
        for link in self.start_urls:
                # time.sleep(1)
            self.driver.get(link)
            selenium_html = self.driver.execute_script("return document.documentElement.outerHTML")
            doc = pq(selenium_html)
            infoList = []
 
            self.log.WriteLog(strsplit)
            self.log_print(strsplit)
            Elements = doc('div[id="eventList"]').find('div[class="list"]')
 
            for element in Elements.items():
                date = element('div[class="info time"]').text().encode('utf8').strip()
                flag, startdate, enddate = self.date_isValid(date)
                if flag:
                    title = element('h2').find('a').text().encode('utf8').strip()
 
                    for keyword in self.keyword_list:
                        if title.find(keyword) > -1:
                            url = 'http://www.huodongshu.com' + element('h2').find('a').attr('href')
                            orgnizer = element('div[class="info title"]').find('a').text().encode('utf8').strip()
                            area = element('div[class="info site"]').text().encode('utf8').strip()
                            dictM = {'title': title, 'date': date,
                                     'url': url, 'keyword': keyword,
                                     'startdate': startdate, 'enddate': enddate,
                                     'area': area, 'organizer': orgnizer}
                            infoList.append(dictM)
                            # self.log.WriteLog('title:%s'%title)
                            # self.log.WriteLog('url:%s' % url)
                            # self.log.WriteLog('orgnizer:%s' % orgnizer)
                            # self.log.WriteLog('kword:%s' % keyword)
                            # self.log.WriteLog('area:%s' % area)
                            # self.log.WriteLog('-----------------------------------' )
 
                            self.log_print('title:%s' % title)
                            self.log_print('url:%s' % url)
                            self.log_print('date:%s' % date)
                            self.log_print('orgnizer:%s' % orgnizer)
                            self.log_print('kword:%s' % keyword)
                            self.log_print('area:%s' % area)
                            self.log_print('--------------------------' )
                            break
            if len(infoList)>0:
                self.db.SaveMeetings(infoList)
        self.driver.close()
        self.driver.quit()
 
obj = huodongshuSpider()
obj.scrapy_date()