一、介绍

    本例子用Selenium +phantomjs爬取界面(https://a.jiemian.com/index.php?m=search&a=index&type=news&msg=电视)的资讯信息,输入给定关键字抓取资讯信息。

    给定关键字:数字;融合;电视

    抓取信息内如下:

      1、资讯标题

      2、资讯链接

      3、资讯时间

      4、资讯来源

 

  二、网站信息

    

    

  三、数据抓取

    针对上面的网站信息,来进行抓取

    1、首先抓取信息列表

      抓取代码:Elements = doc('div[class^="news-view"]')

    2、抓取标题

      抓取代码:title = element('div[class="news-header"]').find('h3').find('a').text().encode('utf8').replace(' ', '')

    3、抓取链接

      抓取代码:url = element('div[class="news-header"]').find('h3').find('a').attr('href')

    4、抓取日期

      抓取代码:strdate = element('div[class="news-footer"]').find('p').find('span').eq(1).text().encode('utf8')

    5、抓取来源

      抓取代码:source = element('div[class="news-footer"]').find('p').find('span').eq(0).find('a').text().encode('utf8').replace(' ', '')

  

  四、完整代码

  1. # coding=utf-8
  2. import os
  3. import re
  4. from selenium import webdriver
  5. import selenium.webdriver.support.ui as ui
  6. import time
  7. from datetime import datetime
  8. import IniFile
  9. # from threading import Thread
  10. from pyquery import PyQuery as pq
  11. import LogFile
  12. import mongoDB
  13. import urllib
  14. class jiemianSpider(object):
  15. def __init__(self):
  16.  
  17. logfile = os.path.join(os.path.dirname(os.getcwd()), time.strftime('%Y-%m-%d') + '.txt')
  18. self.log = LogFile.LogFile(logfile)
  19. configfile = os.path.join(os.path.dirname(os.getcwd()), 'setting.conf')
  20. cf = IniFile.ConfigFile(configfile)
  21. webSearchUrl_list = cf.GetValue("jiemian", "webSearchUrl")
  22. self.keyword_list = cf.GetValue("section", "information_keywords").split(';')
  23. self.db = mongoDB.mongoDbBase()
  24. self.start_urls = []
  25. for word in self.keyword_list:
  26. self.start_urls.append(webSearchUrl_list + urllib.quote(word))
  27.  
  28. self.driver = webdriver.PhantomJS()
  29. self.wait = ui.WebDriverWait(self.driver, 2)
  30. self.driver.maximize_window()
  31.  
  32. def scroll_foot(self):
  33. '''
  34. 滚动条拉到底部
  35. :return:
  36. '''
  37. js = ""
  38. # 如何利用chrome驱动或phantomjs抓取
  39. if self.driver.name == "chrome" or self.driver.name == 'phantomjs':
  40. js = "var q=document.body.scrollTop=10000"
  41. # 如何利用IE驱动抓取
  42. elif self.driver.name == 'internet explorer':
  43. js = "var q=document.documentElement.scrollTop=10000"
  44. return self.driver.execute_script(js)
  45.  
  46. def Comapre_to_days(self,leftdate, rightdate):
  47. '''
  48. 比较连个字符串日期,左边日期大于右边日期多少天
  49. :param leftdate: 格式:2017-04-15
  50. :param rightdate: 格式:2017-04-15
  51. :return: 天数
  52. '''
  53. l_time = time.mktime(time.strptime(leftdate, '%Y-%m-%d'))
  54. r_time = time.mktime(time.strptime(rightdate, '%Y-%m-%d'))
  55. result = int(l_time - r_time) / 86400
  56. return result
  57.  
  58. def date_isValid(self, strDateText):
  59. '''
  60. 判断日期时间字符串是否合法:如果给定时间大于当前时间是合法,或者说当前时间给定的范围内
  61. :param strDateText: 四种格式 '慧聪网 7小时前'; '新浪游戏 29分钟前' ; '中国行业研究网 2017-6-13'
  62. :return: True:合法;False:不合法
  63. '''
  64. currentDate = time.strftime('%Y-%m-%d')
  65. datePattern = re.compile(r'\d{4}-\d{1,2}-\d{1,2}')
  66. dt = strDateText.replace('/', '-')
  67. strDate = re.findall(datePattern, dt)
  68. if len(strDate) == 1:
  69. if self.Comapre_to_days(currentDate, strDate[0]) == 0:
  70. return True, currentDate
  71. return False, ''
  72.  
  73. def log_print(self, msg):
  74. '''
  75. # 日志函数
  76. # :param msg: 日志信息
  77. # :return:
  78. # '''
  79. print '%s: %s' % (time.strftime('%Y-%m-%d %H-%M-%S'), msg)
  80.  
  81. def scrapy_date(self):
  82. strsplit = '------------------------------------------------------------------------------------'
  83. for link in self.start_urls:
  84. self.driver.get(link)
  85.  
  86. selenium_html = self.driver.execute_script("return document.documentElement.outerHTML")
  87. doc = pq(selenium_html)
  88.  
  89. infoList = []
  90. self.log.WriteLog(strsplit)
  91. self.log_print(strsplit)
  92.  
  93. Elements = doc('div[class^="news-view"]')
  94.  
  95. for element in Elements.items():
  96. strdate = element('div[class="news-footer"]').find('p').find('span').eq(1).text().encode('utf8')
  97. flag, date = self.date_isValid(strdate)
  98. if flag:
  99. title = element('div[class="news-header"]').find('h3').find('a').text().encode('utf8').replace(' ', '')
  100. for keyword in self.keyword_list:
  101. if title.find(keyword) > -1:
  102. url = element('div[class="news-header"]').find('h3').find('a').attr('href')
  103. source = element('div[class="news-footer"]').find('p').find('span').eq(0).find(
  104. 'a').text().encode('utf8').replace(' ', '')
  105.  
  106. dictM = {'title': title, 'date': date,
  107. 'url': url, 'keyword': keyword, 'introduction': title, 'source': source}
  108. infoList.append(dictM)
  109. # self.log.WriteLog('title:%s' % title)
  110. # self.log.WriteLog('url:%s' % url)
  111. # self.log.WriteLog('source:%s' % source)
  112. # self.log.WriteLog('kword:%s' % keyword)
  113. # self.log.WriteLog(strsplit)
  114.  
  115. self.log_print('title:%s' % dictM['title'])
  116. self.log_print('url:%s' % dictM['url'])
  117. self.log_print('date:%s' % dictM['date'])
  118. self.log_print('source:%s' % dictM['source'])
  119. self.log_print('kword:%s' % dictM['keyword'])
  120. self.log_print(strsplit)
  121. break
  122. if len(infoList)>0:
  123. self.db.SaveInformations(infoList)
  124.  
  125. self.driver.close()
  126. self.driver.quit()
  127.  
  128. obj = jiemianSpider()
  129. obj.scrapy_date()

[Python爬虫] 之二十二:Selenium +phantomjs 利用 pyquery抓取界面网站数据的更多相关文章

  1. [Python爬虫] 之二十三:Selenium +phantomjs 利用 pyquery抓取智能电视网数据

    一.介绍 本例子用Selenium +phantomjs爬取智能电视网(http://news.znds.com/article/news/)的资讯信息,输入给定关键字抓取资讯信息. 给定关键字:数字 ...

  2. [Python爬虫] 之二十七:Selenium +phantomjs 利用 pyquery抓取今日头条视频

    一.介绍 本例子用Selenium +phantomjs爬取今天头条视频(http://www.tvhome.com/news/)的信息,输入给定关键字抓取图片信息. 给定关键字:视频:融合:电视 二 ...

  3. [Python爬虫] 之二十一:Selenium +phantomjs 利用 pyquery抓取36氪网站数据

    一.介绍 本例子用Selenium +phantomjs爬取36氪网站(http://36kr.com/search/articles/电视?page=1)的资讯信息,输入给定关键字抓取资讯信息. 给 ...

  4. [Python爬虫] 之三十:Selenium +phantomjs 利用 pyquery抓取栏目

    一.介绍 本例子用Selenium +phantomjs爬取栏目(http://tv.cctv.com/lm/)的信息 二.网站信息 三.数据抓取 首先抓取所有要抓取网页链接,共39页,保存到数据库里 ...

  5. [Python爬虫] 之十六:Selenium +phantomjs 利用 pyquery抓取一点咨询数据

    本篇主要是利用 pyquery来定位抓取数据,而不用xpath,通过和xpath比较,pyquery效率要高. 主要代码: # coding=utf-8 import os import re fro ...

  6. [Python爬虫] 之十七:Selenium +phantomjs 利用 pyquery抓取梅花网数据

    一.介绍 本例子用Selenium +phantomjs爬取梅花网(http://www.meihua.info/a/list/today)的资讯信息,输入给定关键字抓取资讯信息. 给定关键字:数字: ...

  7. [Python爬虫] 之二十:Selenium +phantomjs 利用 pyquery通过搜狗搜索引擎数据

    一.介绍 本例子用Selenium +phantomjs 利用 pyquery通过搜狗搜索引擎数据()的资讯信息,输入给定关键字抓取资讯信息. 给定关键字:数字:融合:电视 抓取信息内如下: 1.资讯 ...

  8. [Python爬虫] 之二十八:Selenium +phantomjs 利用 pyquery抓取网站排名信息

    一.介绍 本例子用Selenium +phantomjs爬取中文网站总排名(http://top.chinaz.com/all/index.html,http://top.chinaz.com/han ...

  9. [Python爬虫] 之二十九:Selenium +phantomjs 利用 pyquery抓取节目信息信息

    一.介绍 本例子用Selenium +phantomjs爬取节目(http://tv.cctv.com/epg/index.shtml?date=2018-03-25)的信息 二.网站信息 三.数据抓 ...

随机推荐

  1. pinctrl框架

    pinctrl框架是linux系统为统一各SOC厂家pin管理,目的是为了减少SOC厂家系统移植工作量. 通常通过设备树初始化pinctrl,并提供调用io接口,以下为全志A64平台的实例: 在dri ...

  2. POJ2186 (强连通分量缩点后出度为0的分量内点个数)

    Popular Cows Time Limit: 2000MS   Memory Limit: 65536K Total Submissions: 27820   Accepted: 11208 De ...

  3. Oracle rman 各种恢复

    --恢复整个数据库run {shutdown immediate;startup mount;restore database;recover database;alter database open ...

  4. background-clip,origin属性

    background-clip是新增属性之一,其作用是确定背景的裁剪区域. background-clip语法: background-clip:margin-box | padding-box | ...

  5. mysql的expain(zz)

    两张表,T1和T2,都只有一个字段,id int.各插入1000条记录,运行如下语句: explain SELECT t1.id,t2.id FROM t1 INNER JOIN t2 ON t1.i ...

  6. Docker Ubuntu容器安装ping(zz)

    更新apt-get的软件包信息,然后再安装 sudo docker run ubuntu apt-get update sudo docker run ubuntu apt-get install i ...

  7. 使用maven进行Javadoc下载

    project -> maven -> Download Sources and Download JavaDocs

  8. 错误 NETSDK1068: 框架依赖型应用程序主机需要一个至少 “netcoreapp2.1” 的目标框架

    错误 NETSDK1068: 框架依赖型应用程序主机需要一个至少 “netcoreapp2.1” 的目标框架 我有一个ASP.NET Core 2网站应用程序,编译运行都没有问题,但是发布时却出了错, ...

  9. 吊销openvpn证书

    #cd /tools/openvpn-2.0.9/easy-rsa/2.0/ #source vars 低版本的openssl需要注销以下几个配置 vim openssl.cnf #[ pkcs11_ ...

  10. 使用Rancher管理Docker

    使用命令: sudo docker run -it -d --restart=always -p : --name docker-rancher rancher/server 为了更快速的下载应用,推 ...