selenium iframe 定位  qq空间说说…

使用Python+Selenium模拟登录QQ空间爬QQ空间之类的页面时大多需要进行登录,研究QQ登录规则的话,得分析大量Javascript的加密解密,这绝对能掉好几斤头发.而现在有了selenium工具,麻麻再也不用担心你的QQ登录! Selenium是一个WEB自动化测试工具,它运行时会直接实例化出一个浏览器,完全模拟用户的操作,比如点击链接.输入表单,点击按钮提交等.所以我们使用它可以很方便的来登录QQ空间. #导入selenium2中的webdriver库from selenium i…

一.爬取qq空间好友动态数据 # 爬取qq空间好友状态信息(说说,好友名称),并屏蔽广告 from selenium import webdriver from time import sleep from lxml import etree # 自动操作浏览器 bro = webdriver.Chrome(executable_path=r'D:\爬虫+数据分析\tools\chromedriver.exe') bro.get('https://qzone.qq.com/') sleep(3)…

前面我们接触到的,都是使用requests+BeautifulSoup组合对静态网页进行请求和数据解析,若是JS生成的内容,也介绍了通过寻找API借口来获取数据. 但是有的时候,网页数据由JS生成,API借口又死活找不着或者是API借口地址随机变换,时间不等人.那就只能使用Selenium了. 一.Selenium简介 Selenium是一个用于Web应用的功能自动化测试工具,Selenium 直接运行在浏览器中,就像真正的用户在操作一样.由于这个性质,Selenium也是一个强大的网络数据采集…

环境: selenium-java 3.9.1 firefox 57.0 geckodriver 0.19.1 1.大概的思路就是模拟用户点击行为,关于滚动条的问题,我是模拟下拉箭头,否则只能每个相册只能爬到30个链接 2.多开标签页的原因是因为爬取多个相册时,当你爬完第一个相册无论采取什么方式总会导致当前原来的相册列表刷新,从而导致selenium的元素附着失败的异常,所以我的思路是一个相册一个标签页,全部爬取完成后再统一关闭,最开始打开的页面并没有直接用于爬取第一个相册,如果你额外新打开了标…

from selenium import webdriver import time # 打开浏览器 dr = webdriver.Chrome() # 打开某个网址 dr.get('https://user.qzone.qq.com/2330331400/main') # 切换框架 dr.switch_to_frame('login_frame') time.sleep(1) dr.find_element_by_link_text('帐号密码登录').click() # 输入账号 dr.fi…

不多说.直接上代码 from selenium import webdriver driver = webdriver.Chrome() driver.get('http://qzone.qq.com')#打开网页 print driver.title driver.switch_to_frame('login_frame')#切换frame driver.find_element_by_id('switcher_plogin').click()#切换账号密码登陆 driver.find_ele…

# -*- coding: utf-8 -*- from selenium import webdriver import time driver =webdriver.PhantomJS() driver.maximize_window() def get_shuoshuo(): driver.get('https://user.qzone.qq.com/177472465') try: driver.find_element_by_id('login_div') a = True excep…

元素在iframe中.在html当中,内嵌了另一个html (iframe) 分辨元素是否在iframe当中 在代码当中,从当前的html切换到iframe当中的html,然后在元素定位 切换方式:driver.switch_to.frame(iframe的标识) 如下图,有三种切换iframe的方式: driver.switch_to.frame("private-msgs-iframe") # name属性driver.switch_to.frame(1) #下表driver.sw…

最近在看python网络爬虫,于是我想自己写一个邮箱和QQ空间的自动登录的小程序, 下面以登录163邮箱和QQ空间和为例: 了解到在Web应用中经常会遇到frame/iframe 表单嵌套页面的应用,WebDriver 只能在一个页面上对元素识别与定位,对于frame/iframe 表单内嵌页面上的元素无法直接定位.这时就需要通过switch_to.frame()方法将当前定位的主体切换为frame/iframe 表单的内嵌页面中 # -*- coding: utf-8 -*-""&q…

selenium模拟登录豆瓣和qq空间今天又重新学习了下selenium,模拟登录豆瓣,发现设置等待时间真的是很重要的一步,不然一直报错:selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element另外,豆瓣的主页(https://www.douban.com/)使用了iframe嵌套了登录页面:<iframe style="height: 300p…

Set<String> windows = driver.getWindowHandles();        int count = 0;        for(String handle:windows){            if(count == windows.size() - 1){                driver.switchTo().window(handle);            }else{                count++;         …

最近研究了下用python爬取qq空间相册的问题,遇到的问题及解决思路如下: 1.qq空间相册的访问需要qq登录并且需是好友,requests模块模拟qq登录略显麻烦,所以采用selenium的driver登录,登录成功之后获取其cookie即可,代码如下 from selenium import webdriverimport requests driver = webdriver.Chrome()url = 'https://user.qzone.qq.com/'driver.get(url…

对于QQ空间的数据一直来是垂涎不已,老早就想偷过来研究研究,这几天闲下来便开始动手... 整个程序的流程为:登录-->获取cookie-->获取所有的好友qq_number-->根据所有的好友qq遍历他们的说说-->get所有好友的说说数据 程序跑了20多分钟就跑完了,,共282好友,,跑了60000+说说 有些个人隐私我抹掉了..甭介意.嘿嘿 1.登录-->获取cookie 打开http://i.qq.com/,如下图 但大多数时候是这样的 我们这里使用账号密码登录,为了方…

http://182.254.8.83/vwecam.gtimg.com/1006_d81d60f3c83844a5ad6a184149d4ccbb.f0.mp4?sha=78A27CF4908AB546C4ED08708B57168D62190991&ptype=http&amp%3bvkey=F164A3A5C6358B4A5B0EDAEE4A9F2BFD7D12A99F8D0B632A1F50E6DA9634DDCA7E8D97D47F674CD161E1C14190324B27AC…

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址为:http://bugly.qq.com/bbs/forum.php?mod=viewthread&tid=1204&extra=page%3D1 2016年应该是直播元年,直播应用百团大战,QQ 空间也在6.5版本上线了直播功能,从无到有.快速搭建了直播间.“先扛住再优化”,第一个版本和竞品相比,我们进入直播间的速度比较慢.根据外网统计在6.5版本的用户端看到画面需要4.4s,因此在6.5发布之后,着手启动了优化工作,…

目的:1.通过模仿QQ空间,全自主写代码,熟悉网页设计的流程 2.熟练的掌握HTML.CSS.JS的应用 3.将在此过程中遇到的问题及其解决方法记录在此,以便取用. 开始: 一.登陆界面(index.aspx + login.aspx) 1.背景填充整个浏览器界面: width,height: 使div充满整个浏览器界面: position:定位图片从左上角开始: background-size:  cover:   在锁定图片纵横比的情况下,将图片放大到最小大小,并且能覆盖背景区域: back…

最近想做一个QQ空间点赞的小工具,于是晚上下班回来就开始分析PC版的QQ空间,打开Chrome,切换到Network,然后输入账号密码,然后点击登录... 然后,我曹....一堆请求就开始了....搞了半天,还要去分析登录的加密方法....太麻烦了... 然而我们写代码的懂不起那些... 于是就果断掏出的大杀器Selenium+PhantomJS 说了这么多要不要直接上代码啊??? 好吧,直接上代码 PhantomJSDriverService services = PhantomJSDrive…

一.安装基础的软件包: 1.准备好火狐浏览器,并下载geckodriver,将geckodriver加入到环境变量:下载geckodriver的地址:https://pan.baidu.com/s/1NDo04Zj8NxmlRe90_CDRow 2.下载selenium:python pip install selenium 二.脚本说明: from selenium import webdriver from time import sleep username='xxxxxxxxx' pas…

主要实现的功能就是:监控女神的 QQ空间,一旦女神发布新的说说,你的邮箱马上就会收到说说内容,是不是想了解一下 先看看代码运行效果图: PS:只有你有一台云服务器你就可以把程序24h运行起来 直接上代码: # -*- coding:utf-8 -*- from bs4 import BeautifulSoup from selenium import webdriver import time import random import os # by 留歌36 from email.mime.t…

这个文章主要是在前一篇文章上新增了说说秒赞的功能 前一篇文章可以了解一下 那么,这次主要功能就是 监控女神的 QQ空间,一旦女神发布新的说说,马上点赞,你的邮箱马上就会收到说说内容,是不是想了解一下 直接上代码吧: # -*- coding:utf-8 -*- from selenium import webdriver import time import os from email.mime.text import MIMEText import smtplib # by 留歌36 #注意配…

为什么selenium可以在各个浏览器上运行?因为selenium在与各个浏览器驱动执行前,会先把脚本转化成webdriver, webdriver wire协议(一种json格式的协议),这样就与脚本无关,其实都变成了同一个协议与浏览器driver执行.由此,selenium在UI自动化中占有举足轻重的地位.那么我们就有必要就其中最基础的UI定位做一些探讨和学习了. 一.selenium的简介 Selenium是基于Web的自动化测试技术,我们操作的对象是web页面.能够用来测试应用程序在不同…

http://mp.weixin.qq.com/s?__biz=MzAxMjUyNDQ5OA==&mid=2653552228&idx=1&sn=e476bf23556406cbce7de65508d79843&chksm=806dd0d9b71a59cf2b062a19309c849a62ba15790898e5e619205f0f5ec84a90025a8cea05e9&mpshare=1&scene=23&srcid=11252MeE6Qu1D…

好久没写博文了,最近捣鼓了一下python,好像有点上瘾了,感觉python比js厉害好多,但是接触不久,只看了<[大家网]Python基础教程(第2版)[www.TopSage.com]>的前7章,好多东西还不会,能做的也比较少.我想做的是爬QQ空间,然后把空间里的留言,说说拷下来,已经成功做到了,只是,拷下来是word文档,看着没有在线看那么有感触,有些话,觉得不像自己会说的. 我花了好多时间,幸好最近清闲,有时间给我慢慢学.一开始,我使用urllib去登陆QQ空间: def getCoo…

前言 此篇文章估计不会太长,有移除首页的风险,但是老夫(称老夫是因为我们真正的叶小钗其实都100多岁啦)是不会怕滴.所以,我来了哟! 题外话:今天我们一起还看了一道前端的面试题,而后我本来还想多找几道来做做,但是没找到什么合适的,各位有什么好的前端面试题请给我留言哦,我们一起来分析面试题进步哟! 前端时间,我与我们的产品有一次讨论,是针对图片压缩的,因为我对图片或者说PS这块是个小白,所以当时做了一个广告图片有100来k也直接给传上去了,结果被我们的同事搞起来一压缩,便只有50多k了,此次交流对…

1. 拥有5.5亿的活跃用户 2. 过万台的设备 3. 数千万级别的同时在线 4. 数十亿级别的全站PV 5. P级的UGC存储量 6. 每天千亿级别的服务请求 图1--QQ空间海量服务数据规模 接下来,徐晓把QQ空间成长和发展的历程分成三个阶段:石器时代.冷兵器时代和现代战争时代,分享了QQ空间从开始甚至难以生存,到逐步发展成国内最大的SNS社区产品背后的酸甜苦辣. 石器时代–从十万在线到百万在线 石器时代是QQ空间1.0到3.0稳健上线的过程. 徐晓说:"QQ空间在石器时代遇到的最大难题就是…

今天公司原来的分享代码,在IE下有问题.网上找了下网上的分享代码. 给网页加上分享代码,借助网友的力量推广网站,目前已经很流行了 以下是网页代码 QQ空间分享代码如下: <a href="javascript:void(0);" onclick="window.open('http://sns.qzone.qq.com/cgi-bin/qzshare/cgi_qzshare_onekey?url='+encodeURIComponent(document.locatio…

其实这个话题由来已久,已经有很多大神做到QQ空间日访问量破万,甚至更多了,卖产品卖到抽筋儿. 怎么说QQ空间SEO,其实不如说QQ空间引流更合适,因为QQ空间与QQ的特殊关系,SEO貌似不是很重要,其实从最近百度的大面积算法调整,来看开始重视自媒体了,算法中对QQ空间收录进行了调整,之前百度排行上QQ空间已经显现出效果了,很多人在闷头做优化,引流量. 其实这种第三方平台权重高,很容易做SEO,比如新浪博客.网易博客.豆瓣等等,不只是QQ空间一家效果好,因为百度蜘蛛会将这些权重高的网站作为新闻源来…

QQ空间分享代码如下:    <a href="javascript:void(0);" onclick="window.open('http://sns.qzone.qq.com/cgi-bin/qzshare/cgi_qzshare_onekey?url='+encodeURIComponent(document.location.href));return false;" title="分享到QQ空间"><img src=…

给网页加上分享代码,借助网友的力量推广网站,目前已经很流行了 以下是网页代码 QQ空间分享代码如下: <a href="javascript:void(0);" onclick="window.open('http://sns.qzone.qq.com/cgi-bin/qzshare/cgi_qzshare_onekey?url='+encodeURIComponent(document.location.href));return false;" title…