import json from time import sleep from selenium import webdriver import chardet from selenium.webdriver import ActionChains #初始化浏览器 # driver = webdriver.Chrome(executable_path = "e:\\chromedriver") driver = webdriver.Firefox(executable_path = &

验证码是爬虫需要解决的问题,因为很多网站的数据是需要登录成功后才可以获取的. 验证码识别,即图片识别,很多人都有误区,觉得这是爬虫方面的知识,其实是不对的. 验证码识别涉及到的知识:人工智能,模式识别,机器视觉,图像处理. 主要流程: 1 图像采集:就直接通过HTTP抓HTML,然后分析出图片的url,然后下载保存就可以了 2 预处理:   检测是正确的图像格式,转换到合适的格式,压缩,剪切出ROI,去除噪音,灰度化,转换色彩空间这些 3 检测:       验证码识别呢,主要是找出文字所在的主

验证码是爬虫需要解决的问题,因为很多网站的数据是需要登录成功后才可以获取的. 验证码识别,即图片识别,很多人都有误区,觉得这是爬虫方面的知识,其实是不对的. 验证码识别涉及到的知识:人工智能,模式识别,机器视觉,图像处理. 主要流程: 1 图像采集:就直接通过HTTP抓HTML,然后分析出图片的url,然后下载保存就可以了 2 预处理:   检测是正确的图像格式,转换到合适的格式,压缩,剪切出ROI,去除噪音,灰度化,转换色彩空间这些 3 检测:       验证码识别呢,主要是找出文字所在的主

Python+Selenium自动化-模拟键盘操作   0.导入键盘类Keys() selenium中的Keys()类提供了大部分的键盘操作方法:通过send_keys()方法来模拟键盘上的按键. # 导入键盘类 Keys() from selenium.webdriver.common.keys import Keys 1.常用的键盘操作: send_keys(Keys.BACK_SPACE):删除键(BackSpace) send_keys(Keys.SPACE):空格键(Space) se

Python+Selenium自动化 模拟鼠标操作   在webdriver中,鼠标的一些操作如:双击.右击.悬停.拖动等都被封装在ActionChains类中,我们只用在需要使用的时候,导入这个类就可以了. 0.ActionChains类提供的鼠标常用方法: perform():执行所有 ActionChains 中存储的行为. context_click():右击 double_click():双击 drag_and_drop():拖到 move_to_element():鼠标悬停 注意:

selenium是进行web自动化测试的一个工具,支持C,C++,Python,Java等语言,他能够实现模拟手工操作浏览器,进行自动化,通过webdriver驱动浏览器操作,我使用的是chrome浏览器,下载chrome  webdriver 放到python的安装目录. 参考连接: https://pypi.python.org/pypi/selenium http://selenium-python.readthedocs.io/api.html http://www.cnblogs.co

Selenium 也是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE(7.8.9).Mozilla Firefox.Mozilla Suite.Google Chrome等.这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上.测试系统功能——创建回归测试检验软件功能和用户需求.支持自动录制动作和自动生成 .Net.Java.Perl等不同语言的测试脚本.Selen

在做移动端页面测试时可以利用Chrome mobile emulation 辅助完成页面的适配问题,但是目前手机市场上的型号居多我们也没有办法通过人工的模式一一的去适配,所以这里考虑到通过自动化的模式来模拟,下面介绍两种方式通过selenium调用Chrome mobile emulation来完成自动化测试. 1.通过device name模拟的手机型号,示例代码如下 # -*- coding: utf-8 -*- # @Time : 2017/11/30 15:42 # @Author :

最近做移动端H5页面的自动化测试时候,需要模拟一些上拉,下滑的操作,最初考虑使用使用selenium ActionChains来模拟操作,但是ActionChains 只是针对PC端程序鼠标模拟的一系列操作对H5页面操作时无效的,后来阅读了下selenium的文档发现TouchAction可以对移动端页面自动化操作: 首先使用TouchAction的时候首先需要在头上引入该模块 from selenium.webdriver.common.touch_actions import TouchAc

在做移动端页面测试时可以利用Chrome mobile emulation 辅助完成页面的适配问题,但是目前手机市场上的型号居多我们也没有办法通过人工的模式一一的去适配,所以这里考虑到通过自动化的模式来模拟,下面介绍两种方式通过selenium调用Chrome mobile emulation来完成自动化测试. 1.通过device name模拟的手机型号,示例代码如下 # -*- coding: utf-8 -*- # @Time : 2017/11/30 15:42 # @Author :

前言 在web页面中,可以使用selenium的定位方式来识别元素,从而来实现页面中的自动化,但对于页面中弹出的文件选择框,selenium就实现不了了,所以就需引用AutoIt工具来实现. AutoIt介绍 AutoIt简单介绍下,AutoIt 目前最新是v3版本,这是一个使用类似BASIC脚本语言的免费软件,它设计用于Windows GUI(图形用户界面)中进行自动化操作.它利用模拟键盘按键,鼠标移动和窗口/控件的组合来实现自动化任务.而这是其它语言不可能做到或无可靠方法实现的(例如VBSc

在测试使用Selenium webdriver测试WEB系统的时候,用到了模拟鼠标.键盘的一些输入操作. 1.鼠标的左键点击.双击.拖拽.右键点击等: 2.键盘的回车.回退.空格.ctrl.alt.shift等: 在webdriver中,有专门的一个类,是用来进行鼠标.键盘的模拟操作的,那就是Actions类,该类使用时,又会涉及到Keyboard.Mouse.CompositeAction(复合动作),先对Mouse的方法做简单罗列,然后再用代码说明: 1.鼠标左键点击: Actions ac

在测试使用Selenium webdriver测试WEB系统的时候,用到了模拟鼠标.键盘的一些输入操作. 1.鼠标的左键点击.双击.拖拽.右键点击等: 2.键盘的回车.回退.空格.ctrl.alt.shift等: 在webdriver中,有专门的一个类,是用来进行鼠标.键盘的模拟操作的,那就是Actions类,该类使用时,又会涉及到Keyboard.Mouse.CompositeAction(复合动作),先对Mouse的方法做简单罗列,然后再用代码说明: 1.鼠标左键点击: Actions ac

#encoding=utf-8 import unittest import time import chardet from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.common.keys import Keys class VisitSogouByIE(unittest.TestCase): def setUp(self): #启动IE浏览器 #

近年来,12306的反爬越来越来严重,从一年前的 获取tk参数后到现在增加了 JS.CSS等加密方式! 目前大部分人利用的登陆方式都是利用selenium ,此文也不例外. 环境:        Windows python 3.6.5 模块:      selenium pyautogui      time 第一步: 实例化一款浏览器,并进入到12306官网 driver = webdriver.Chrome() driver.get('https://kyfw.12306.cn/otn/r

代码应用场景 :基于第三方打码网站模拟登陆12306 验证码识别 基于第三方平台超级鹰识别 超级鹰官网:http://www.chaojiying.com/user/ 超级鹰使用流程: 注册 登陆(用户中心)充值 创建一个软件:软件ID->生成一个软件ID(901977) 下载实例代码->开发文档->python 1. 重新封装在打码平台下载到的python代码 #!/usr/bin/env python # coding:utf-8 import requests from hashl

导入  from selenium.webdriver.common.keys import Keys  格式:Keys.XXX 一般这么用:send_keys(Keys.XXX) # coding=UTF-8 #18.模拟键盘单个按键操作 import sys reload(sys) sys.setdefaultencoding('utf8') from selenium import webdriver import unittest import time from selenium.we

from selenium import webdriver import csv def get_pages_numger(browser): res = browser.find_elements_by_xpath('//div[@class="page-component"]/a[7]') return int(res.text) def get_next_page_buttun(browser): button = browser.find_elements_by_xpath(

# _*_coding:utf-8_*_ from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import os,urllib.request,sys,importlib,time,winreg def Login_in(username,password): #教务管理系统网址 PostUrl = "" #验证码网址 SecretCodeUrl

在爬虫中,有时会遇到这种情况,数据的展示是不是一页一页的,而是通过不断的下拉滚动条来加载数据.例如一点咨询(http://www.yidianzixun.com/)和微博(在未登录的状态下:http://weibo.com/?category=2) 那么这种情况,在抓取数据的时候,如果要抓取更多的数据,就需要模拟人工来下拉滚动条,来加载更多的数据进行抓取.通过运行js 脚本来达到目的 具体方法如下: def scroll_foot(self): ''' 滚动条拉到底部 :return: '''

#encoding=utf-8 import unittest import time from selenium import webdriver from selenium.webdriver import ActionChains class VisitSogouByIE(unittest.TestCase): def setUp(self): #启动IE浏览器 #self.driver = webdriver.Firefox(executable_path = "e:\\geckodri