# -*- coding: UTF-8 -*-
'''
Created on 2016年5月13日 @author: csxie
'''
import datetime
from Base import BasePage
import ExcelOperation as excel
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.expected_conditions import text_to_be_present_in_element
import unittest
class JobLog(BasePage):
url=""#目标url
def setUp(self):
BasePage.setUP(self)
def tearDown(self):
BasePage.tearDown(self) def test_querysql(self):
"""
查询到符合条件的信息并写入excel
"""
driver=self.driver
driver.get(self.url)
'''
设置参数
start:起始日期
end:截止日期
user:查询人员
'''
end=datetime.date.today()
start=end+datetime.timedelta(days=-6)
user=None
#起始日期
txtStart=driver.find_element_by_id("ctl01_txtSelectDateFrom")
txtStart.clear()
txtStart.send_keys(start)
#截止日期
txtEnd=driver.find_element_by_id("ctl01_txtSelectDateTo")
txtEnd.clear()
txtEnd.send_keys(end)
#查询人员
if(user!=None):
txtuser=driver.find_element_by_id("ctl01_txtUser")
txtuser.clear()
txtuser.send_keys(user)
#查询按钮
btnQueryInfo=driver.find_element_by_id("ctl01_btnQueryInfo")
btnQueryInfo.click()
#总页数
totalPages=int(driver.find_element_by_id("ctl01_uc_CommonPager_lb_TotalPages").text)
i=1
while(i<=totalPages):
#table的xpath
listTable=self.getTableData(".//*[@id='ctl01__wrLogList_gvlist']",colNO=9,loop=i)
#当前页数
currentPage=int(driver.find_element_by_id("ctl01_uc_CommonPager_lb_PageNum").text)
if(currentPage==1):
excel.save_to_excel_newsheet(listTable,excelPath='joblog.xls')
else:
excel.save_to_excel_oldsheet(listTable,excelPath='joblog.xls')
if(i!=totalPages):
#下一页按钮
driver.find_element_by_id("ctl01_uc_CommonPager_NextPage").click()
WebDriverWait(driver,8).until(text_to_be_present_in_element(('id','ctl01_uc_CommonPager_lb_PageNum'),str(i+1)))
i=i+1 def getTableData(self,value,colTag='td',colNO=None,loop=None):
'''
获取表格数据
colNO:存在合并行时,强制指定表格列数
'''
driver=self.driver
table=driver.find_element(by="xpath",value=value)
rows=table.find_elements(by="tag name",value="tr")#行集合
maxrowCount=len(rows)#表格行数 #如果colNO=None不为空,则用传进来的值作为列数
if(colNO==None):
cols = table.find_elements(by="tag name",value="td");
if(cols!='td'):
cols = table.find_elements(by="tag name",value="th")
maxcolCount=len(cols)/len(rows)#表格列数
else:
maxcolCount=colNO lists = [[] for i in range(maxrowCount)]
#print "列数"+str(maxcolCount)
#print "行数"+str(maxrowCount)
i=1
while i<=maxrowCount:
j=1;#初始化列
while j<=maxcolCount:
try:
if(i==1):
try:
innerText=driver.find_element(by="xpath",value=value+"/tbody/tr["+str(i)+"]/"+colTag+"["+str(j)+"]").text
except:
colTag="th"
innerText=driver.find_element(by="xpath",value=value+"/tbody/tr["+str(i)+"]/"+colTag+"["+str(j)+"]").text
else:
colTag="td"
if(j==3 or j==5):
innerText=driver.find_element(by="xpath",value=value+"/tbody/tr["+str(i)+"]/"+colTag+"["+str(j)+"]/a").get_attribute("title")
elif(j==8):
innerText=driver.find_element(by="xpath",value=value+"/tbody/tr["+str(i)+"]/"+colTag+"["+str(j)+"]").text
innerText=float(innerText.replace("h", ""))
else:
innerText=driver.find_element(by="xpath",value=value+"/tbody/tr["+str(i)+"]/"+colTag+"["+str(j)+"]").text
except:
innerText=""
#print "第"+str(i)+"行,第"+str(j)+"列"+str(innerText)
lists[i-1].append(innerText)
j+=1
i+=1
if(loop!=1):#不是第一次循环,列头不要
return lists[1:]
return lists if __name__ == "__main__":
unittest.main()
# -*- coding: UTF-8 -*-
'''
Created on 2016年5月18日 @author: csxie
'''
import xlwt
from xlrd import open_workbook
from xlutils.copy import copy
import os def save_to_excel_newsheet(listTable,excelPath=r'C:\demo.xls',sheetName='sheet1'):
if(isinstance(listTable,list)):
rowNO=len(listTable);
if(rowNO==0):
raise ValueError,u'传入的是list是空的'
colNO=len(listTable[0]); wkb = xlwt.Workbook()
sheet = wkb.add_sheet(sheetName)
for i in range(rowNO):
for j in range(colNO):
#print listTable[i][j]
#print str(i)+'行'+str(j)+'列'
sheet.write(i,j,listTable[i][j])
if(os.path.exists(excelPath)):
os.remove(excelPath)
wkb.save(excelPath)
return True
else:
raise TypeError,u'传入的类型不是list' def save_to_excel_oldsheet(listTable,excelPath=r'C:\demo.xls',sheetName='sheet1'):
if(isinstance(listTable,list)):
rowNO=len(listTable);
if(rowNO==0):
raise ValueError,u'传入的是list是空的'
colNO=len(listTable[0]);
rb = open_workbook(excelPath)
sheet_index=rb.sheet_names().index(sheetName)
old_rows=rb.sheet_by_name(sheetName).nrows#已存在的excel中数据行数 wkb = copy(rb)
sheet = wkb.get_sheet(sheet_index)
for i in range(rowNO):
for j in range(colNO):
sheet.write(i+old_rows,j,listTable[i][j])
#print str(i)+'行'+str(j)+'列'
wkb.save(excelPath)
return True
else:
raise TypeError,u'传入的类型不是list'
# -*- coding: UTF-8 -*-
from selenium import webdriver
import unittest class BasePage(unittest.TestCase):
def setUP(self):
self.driver= webdriver.PhantomJS(executable_path="phantomjs.exe")
#self.driver.set_window_size(1400, 1000)
#self.driver.implicitly_wait(1)
self.verificationErrors = [] def tearDown(self):
self.driver.quit()
#self.driver.close()
self.assertEqual([], self.verificationErrors)

selenium配合phantomjs实现爬虫功能,并把抓取的数据写入excel的更多相关文章

  1. iOS开发——网络实用技术OC篇&网络爬虫-使用青花瓷抓取网络数据

    网络爬虫-使用青花瓷抓取网络数据 由于最近在研究网络爬虫相关技术,刚好看到一篇的的搬了过来! 望谅解..... 写本文的契机主要是前段时间有次用青花瓷抓包有一步忘了,在网上查了半天也没找到写的完整的教 ...

  2. iOS开发——网络使用技术OC篇&网络爬虫-使用正则表达式抓取网络数据

    网络爬虫-使用正则表达式抓取网络数据 关于网络数据抓取不仅仅在iOS开发中有,其他开发中也有,也叫网络爬虫,大致分为两种方式实现 1:正则表达 2:利用其他语言的工具包:java/Python 先来看 ...

  3. 「拉勾网」薪资调查的小爬虫,并将抓取结果保存到excel中

    学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫. 第一步:分析网站的请求过程 我们在查看拉勾网上的招聘信息的时候 ...

  4. 网络爬虫-使用Python抓取网页数据

    搬自大神boyXiong的干货! 闲来无事,看看了Python,发现这东西挺爽的,废话少说,就是干 准备搭建环境 因为是MAC电脑,所以自动安装了Python 2.7的版本 添加一个 库 Beauti ...

  5. [Python爬虫] 之八:Selenium +phantomjs抓取微博数据

    基本思路:在登录状态下,打开首页,利用高级搜索框输入需要查询的条件,点击搜索链接进行搜索.如果数据有多页,每页数据是20条件,读取页数 然后循环页数,对每页数据进行抓取数据. 在实践过程中发现一个问题 ...

  6. [Python爬虫] 之四:Selenium 抓取微博数据

    抓取代码: # coding=utf-8import osimport refrom selenium import webdriverimport selenium.webdriver.suppor ...

  7. 使用selenium webdriver+beautifulsoup+跳转frame,实现模拟点击网页下一页按钮,抓取网页数据

    记录一次快速实现的python爬虫,想要抓取中财网数据引擎的新三板板块下面所有股票的公司档案,网址为http://data.cfi.cn/data_ndkA0A1934A1935A1986A1995. ...

  8. 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码

    这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. ...

  9. iOS—网络实用技术OC篇&网络爬虫-使用java语言抓取网络数据

    网络爬虫-使用java语言抓取网络数据 前提:熟悉java语法(能看懂就行) 准备阶段:从网页中获取html代码 实战阶段:将对应的html代码使用java语言解析出来,最后保存到plist文件 上一 ...

随机推荐

  1. JavaDay1(下)

    Java learning_Day1(上) 正式开始JavaSE的基础学习 本人学习视频用的是马士兵的,也在这里献上 <链接:https://pan.baidu.com/s/1qKNGJNh0G ...

  2. 创建一个Java Web项目,获取POST数据并显示

    新建一个新的Java Web工程项目 打开IntelliJ IDEA 新建一个工程,选择选择Java Enterprise,设置Tomcat的安装目录,点击下一步. 选中Create project ...

  3. Reverse is Multiplex, You Need PinTools.

    Read this slide: pin_in_CTF.pdf And this link: pin_in_CTF

  4. JS高级---函数作为返回值使用拓展,排序

    函数作为返回值使用拓展,排序 排序, 每个文件都有名字,大小,时间,都可以按照某个属性的值进行排序 函数作为返回值 函数作为参数 //排序,每个文件都有名字,大小,时间,都可以按照某个属性的值进行排序 ...

  5. js -- 日期时间格式化

    /** * js日期时间格式化 * @param date 时间读对象 * @param format 格式化字符串 例如:yyyy年MM月dd日 hh时mm分ss秒 * @returns {stri ...

  6. 在虚拟机中使用Git

    自己如何从安装虚拟机到使用git进行项目代码版本管理的部分教程因为是自学所以没有好的教程只能自己进行百度,网上的教程太多了但都是只是一个模块没有从头到尾详细的教程,我们如果有个详细的教程本来只需花很少 ...

  7. Go操作influxDB

      influxDB 安装 下载 https://portal.influxdata.com/downloads/ 这里需要注意因为这个网站引用了google的api所以国内点页面的按钮是没反应的,怎 ...

  8. 拦截导弹类问题 (Codevs4888零件分组POJ1065Wooden Sticks)(LIS及其覆盖问题)

    拦截导弹 题意:求最长不上升子序列长度:求一个序列最少分成几个非增子序. 第一问易求,已知序列a,令f[i]为a前i个元素的最长非增子序的长度,则有 f[i]=max{f[i],f[j]+1} (1& ...

  9. MySQL学习(六)change-buffer

    文章部分总结描述来自参考文章,属于半原创. 概述     文章将会介绍 change buffer 相关的知识点 查看 MySQL InnoDB 状态的命令 SHOW ENGINE INNODB ST ...

  10. 初篇——目录(JavaMail)

    结构图 目录 邮件的知识体系由三部分组成,邮箱服务器,邮件程序,邮件协议. 邮箱服务器一般都是由公司的网络工程师搭建完成,基本上与程序员没有关系.但是笔者还是亲自尝试,使用Apache James搭建 ...