嗯,昨天呢,我们已经实现了自动输入百度然后搜索Cgrain,然后点击按钮,进入我的页面,在这里呢,有个问题 ActionChains(seleniumGoo).move_by_offset(-480, 126).click().perform() # 鼠标左键点击, 200为x坐标, 100为y坐标 这个X,Y,坐标,需要用点手段.我这里都是了(我是想不到用什么方法确定这个位置,所以觉得麻烦,昨天本来的思路是这样的确定a标签的位置,然后获取,最后点击,结果发现一直报错,然后就一直在解决这个问题,…

记录一次快速实现的python爬虫,想要抓取中财网数据引擎的新三板板块下面所有股票的公司档案,网址为http://data.cfi.cn/data_ndkA0A1934A1935A1986A1995.html. 比较简单的网站不同的页码的链接也不同,可以通过观察链接的变化找出规律,然后生成全部页码对应的链接再分别抓取,但是这个网站在换页的时候链接是没有变化的,因此打算去观察一下点击第二页时的请求 发现使用的是get的请求方法,并且请求里有curpage这个参数,貌似控制着不同页数,于是改动了请求…

本文适合有点Python基础阅读,(没基础的话,相对的比较蒙蔽,争取能让小白能一步一步跟上来) 2019-03-05 14:53:05 前几天由于需要到一个网站进行签到~~听说Python能够模拟请求,模仿点击,模仿浏览,于是突发奇想Python,能不能用Python模拟我点击呢?说干就干: 了解完毕,需要 的模块有 selenium 的 webdriver 嗯,我们先来了解一下这个模块 参考文章 https://www.cnblogs.com/zhuPython/p/8317784.html…

本篇文章是接着第一篇文章讲的 具体可看第一篇:https://www.cnblogs.com/whatarey/p/10477754.html 要实现功能>搜索完毕,自动点击 这个功能做的停操蛋的,(忍不住想骂人) 按照我的做好,F12看看第一个a标签class  或者id,然后使用 find_element_by_id找到,点击就可以了可是,他没有id,没有class 也没有name没办法了,假如遇到这种情况, find_element_by_xpath 使用这个然后 ("div[@id…

selenium 最开始我碰到SE,是上学期期末,我们那个商务小组做田野调查时发的问卷的事情.当时在问卷星上发了个问卷,但是当时我对另外几个组员的做法颇有微词,又恰好开始学一些软件知识了,就想恶作剧(一方面是小小地报复下他们,另一方面也是为了让做数据分析的自己分析起来更方便).当时就是用了SE操作浏览器刷了一波问卷,知道页面出现了验证码不让我再刷.虽然最终没想到问卷星还会统计每张问卷的完成时间导致最终的报表有一堆问卷两三秒就完成了,不知道被组员看出破绽没有,不过就刷问卷而言是顺利结束了.之后再深…

使用浏览器渲染引擎.直接用浏览器在显示网页时解析HTML,应用CSS样式并执行JavaScript的语句. 这方法在爬虫过程中会打开一个浏览器,加载该网页,自动操作浏览器浏览各个网页,顺便把数据抓下来.用一句简单而通俗的话说,使用浏览器渲染方法,爬取动态网页变成了爬取静态网页. 我们可以用Python的selenium库模拟浏览器完成抓取.Selenium是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,浏览器自动按照脚本代码做出点击,输入,打开,验证等操作,就像真正的…

在利用爬虫爬取页面HTML信息得时候有的当你运用request方法爬取时爬下来得HTML信息和网站信息不相符,这也导致以后得爬去无法进行,这也是反扒机制之一,解决办法时利用代码进行模拟网页点击,来爬去相应得信息. 注:以下代码以今日头条网站为例! 具体代码如下: import requests from lxml import etree import os #模拟浏览器行为 from selenium import webdriver from mysqldb import ConnectMy…

滑动解锁一直做UI自动化的难点之一,我补一篇滑动解锁的例子,希望能给初做Web UI自动化测试的同学一些思路. 首先先看个例子. https://www.helloweba.com/demo/2017/unlock/ 当我手动点击滑块时,改变的只是样式: 1.slide-to-unlock-handle 表示滑块,滑块的左边距在变大(因为它在向右移动嘛!) 2.Slide-tounlock-progress 表示滑过之后的背景黄色,黄色的宽度在增加,因为滑动经过的地方都变黄了. 除此之外,没其它…

#在程序前加上这段代码 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches",["ignore-certificate-errors"]) driver = webdriver.Chrome(chrome_options=options)…

# -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time #定义一个taobao类 class…

from selenium import webdriver import csv def get_pages_numger(browser): res = browser.find_elements_by_xpath('//div[@class="page-component"]/a[7]') return int(res.text) def get_next_page_buttun(browser): button = browser.find_elements_by_xpath(…

代码: # -*- coding: utf-8 -*- """ Created on Fri Jul 13 16:13:52 2018 @author: a """ from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC fr…

在测试页面中,引入jquery源文件,并添加一个div标签,一个a标签,为了演示效果a标签暂时不添加地址 通过jquery为div标签绑定一个点击事件,这个事件是被动执行的.意思是要点击才会触发的 在浏览器中运行测试页面,点击这个div内容,就可以看到弹出内容了 在页面中继续添加js,模拟点击这个div元素,此时,不需要手动点击,程序会自动点击. 使用jquery的trigger("click")就可以模拟点击元素了 为页面的a标签,绑定一个点击事件,这个事件也是被动的,需要点击才会有…

页面翻页,下一页可能是一个新的url 也有可能是用js进行页面跳转,url不变,解决方法是实现浏览器模拟人工翻页 目标:爬取同一个url下不同页的数据(上述第二种情况) url:http://www.gx211.com/collegemanage/search.aspx?id=1&xxcity=1 中国高校之窗,我要爬取北京市所有的学校列表,共有四页数据,四页都是同一个url. 部分页面如图: 找到“下一页”按钮的源码,确认是用js进行的跳转. 工具: selenium pyquery 火狐浏览…

1.安装及下载 selenium安装: pip install selenium  即可自动安装selenium geckodriver下载:https://github.com/mozilla/geckodriver/releases Chromedriver下载:http://npm.taobao.org/mirrors/chromedriver/ 2.保存路径 将下载好的geckodriver以及Chromedriver解压到桌面,打开我的电脑,找到Python文件夹中anancode文件…

登陆之模拟点击 工具:python/java + selenium + firefox/chrome/phantomjs (1)windows开发环境搭建 默认已经安装好了firefox 安装pip pip是一个python的软件包管理工具,用于自动下载并安装.更新python 包,python3之后的某些版本已经自带pip,在python 2.7之前的话,需要自己安装,现在的安装方法已经非常简单,直接查看官方doc:http://pip.readthedocs.org/en /stable/i…

前几天有位微信读者问我一个爬虫的问题,就是在爬去百度贴吧首页的热门动态下面的图片的时候,爬取的图片总是爬取不完整,比首页看到的少.原因他也大概分析了下,就是后面的图片是动态加载的.他的问题就是这部分动态加载的图片该怎么爬取到. 分析 他的代码比较简单,主要有以下的步骤:使用BeautifulSoup库,打开百度贴吧的首页地址,再解析得到id为new_list标签底下的img标签,最后将img标签的图片保存下来. headers = { 'User-Agent':'Mozilla/5.0 (Win…

每天一个小实例1(动态页面模拟点击,并爬取你想搜索的职位信息) from selenium import webdriver from bs4 import BeautifulSoup # 调用环境变量指定的PhantomJS浏览器创建浏览器对象 driver = webdriver.PhantomJS() #访问的网址,我这里是登录的boss直聘 driver.get('https://www.zhipin.com/') #模拟在搜索框输入你想搜索的内容 search_content = in…

爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争... 小莫想要某站上所有的电影,写了标准的爬虫(基于HttpClient库),不断地遍历某站的电影列表页面,根据 Html 分析电影名字存进自己的数据库. 这个站点的运维小黎发现某个时间段请求量陡增,分析日志发现都是 IP(xxx.xxx.xxx.xxx)这个用户,并且 user-agent 还是 Python-urllib/2.7 ,基于这两点判断非人类后直接在服务器上封杀…

区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器加载该网页,自动操作浏览器浏览各个网页,顺便把数据抓下来.用一句简单而通俗的话说,就是使用浏览器渲染方法将爬取动态网页变成爬取静态网页. 我们可以用 Python 的 Selenium 库模拟浏览器完成抓取.Selenium 是一个用于Web 应用程序测试的工具.Selenium 测试直接运行在浏览…

动态页面模拟点击 #!/usr/bin/env python # -*- coding:utf-8 -*- # python的测试模块 import unittest from selenium import webdriver from bs4 import BeautifulSoup class douyuSelenium(unittest.TestCase): # 初始化方法 def setUp(self): self.driver = webdriver.PhantomJS() #具体的…

(我是在windows下进行实验的) 准备工作: 1.安装python环境. 2.python安装selenium插件(执行以下命令就行).   pip install selenium 3.Windows下配置webdriver chrome. 如果以上准备工作都做好了. 那么我们就来编写python脚本. 脚本代码如下: # coding = utf-8 #模拟浏览器自动登录yahoo邮箱 from selenium import webdriver from time import sle…

  遇到一个非常郁闷的问题,终于解决了, 问题是这样的,NN网站的价格计划,每一个价格计划需要三连击才能全部点开,第一个房型的价格计划是可以正确三连击打开的,可是第二个房弄就不行了,报错说不是可点击的元素,具体错误如下:WebDriverException: Message: Element is not clickable at point (1372.5, 9.5). Other element would receive the click: <li style="display:…

python selenium自动化点击页面链接测试 需求:现在有一个网站的页面,我希望用python自动化的测试点击这个页面上所有的在本窗口跳转,并且是本站内的链接,前往到链接页面之后在通过后退返回到原始页面. 要完成这个需求就必须实现3点: 1. 找到原始页面上面所有的在本窗口内跳转的链接 2. 跳转到目标页面之后,“后退”到原始页面 3. 在原始页面上继续点击后续的链接 首先,要找到页面上的所有链接并不困难.selenium为我们提供了find_elements_by_tag_name方法…

近年来,12306的反爬越来越来严重,从一年前的 获取tk参数后到现在增加了 JS.CSS等加密方式! 目前大部分人利用的登陆方式都是利用selenium ,此文也不例外. 环境:        Windows python 3.6.5 模块:      selenium pyautogui      time 第一步: 实例化一款浏览器,并进入到12306官网 driver = webdriver.Chrome() driver.get('https://kyfw.12306.cn/otn/r…

使用Python+Selenium模拟登录QQ空间爬QQ空间之类的页面时大多需要进行登录,研究QQ登录规则的话,得分析大量Javascript的加密解密,这绝对能掉好几斤头发.而现在有了selenium工具,麻麻再也不用担心你的QQ登录! Selenium是一个WEB自动化测试工具,它运行时会直接实例化出一个浏览器,完全模拟用户的操作,比如点击链接.输入表单,点击按钮提交等.所以我们使用它可以很方便的来登录QQ空间. #导入selenium2中的webdriver库from selenium i…

python+selenium模拟京东登录后台 import json from time import sleep from selenium import webdriver #from selenium.webdriver.common.keys import keys #初始化浏览器 driver = webdriver.Chrome(executable_path = "e:\\chromedriver") #定义全局遍变量url url = "https://ww…

目标 以腾讯滚动新闻为例,利用nightmare模拟点击下一页,爬取所有页面的信息.首先得感谢node社区godghdai的帮助,开始接触不太熟悉nightmare,感觉很高大上,自己写代码的时候问题也很多,多亏大神的指点. 一.选择模拟的原因 腾讯滚动新闻,是每六十秒更新一次,而且有下一页.要是直接获取页面的话得一页一页的获取,不太方便,又想到了找数据接口,然后通过请求得到数据,结果腾讯新闻的数据接口是加密的,这种想法又泡汤了.因而想到笔记(四)中模拟加载更多的模块,看利用nightmare这…

目标:模拟人工搜索百度百科词条,爬取相关信息,自动删除上一个关键词,输入新关键词,继续搜索,直到循环结束. 代码: from selenium import webdriver from selenium.webdriver.common.keys import Keys import time from bs4 import BeautifulSoup univs = ['清华大学', '不知道大学', '北京大学'] AllUnivInfolist = [] browser = webdri…

一.安装Python 1. 下载python包,最新版本的上一个版本:https://www.python.org/downloads/windows/ 2. 安装 可选择默认安装或自定义安装,自定义安装指定到要安装的路径下,一直next,直至安装成功. 3. 测试python是否安装成功: 任意路径下,进入cmd,输入python,如下显示出python版本号即安装成功. 二.搭建selenium框架 1. 下载selenium: https://pypi.org/project/seleni…