本文目的:介绍如何抓取微博内容,利用requests包+cookies实现登陆微博,lxml包的xpath语法解析网页,抓取目标内容. 所需python包:requests.lxml 皆使用pip安装即可 XPath即为XML路径语言,它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言.XPath基于XML的树状结构,提供在数据结构树中找寻节点的能力. xPath 同样也支持HTML. XPath 是一门小型的查询语言,这里我们将它与 python 爬虫相结合来介绍. xpa

前言 如何高效管理定位元素,这个是很有学问的问题,也是面试必问的[以下纯属个人观点,勿喷!]. 有的人用xml管理页面定位元素,这种逼格略高,但是小编认为学习成本大,贼麻烦. 有的人提到用excel管理页面定位元素,这种略显逼格,至少做到了数据分离,但是读取excel太慢,不够高效,还得在excel里面维护,忒麻烦. 有的人说把定位元素放数据库管理,这种除了装逼,没觉得有多高效,当然有小伙伴提到接口测试数据量比较大的时候,这种方法还可以. 有的人用pageobject模式,直接在page类写定位

浏览器,作为一神器,帮我们打开了缤纷万千的网络世界窗口.而她发展到今天,也诞生了一个又一个的怀神版本,可能有人钟情于她的花哨,有人痴迷于她的速度……我们,作为重构工程师,必然要更关注他背后的技术革新,那就是css3的支持了!上次,加菲猫已经给我们演示了夸张的css3动画.而这次,我们从细节入手,看看css3遇到weibo,会给人什么期待 . 当然在这之前,得先了解下拜访weibo.com的各位大侠的神器占比: PS:(数据来自新浪微博“产品数据分析后台”的2012年1月份浏览器占比) 图标中可以

  两 年前的社交产品泛滥犹在眼前,场景之胜几乎到了言必谈社交的地步.时任阿里新CEO陆兆禧举全集团之力,力推新社交产品“来往”,动作之大震惊整个互联 网.如今,陆兆禧早早退场,只留下一个硬汉的孤独背影.但是,阿里系关于社交的争夺战依然不遗余力,即使把支付宝社交化也在所不惜…… 犹如百团大战之后诞生了诸如美团这样的巨头,主打异性社交的陌陌也在腾讯的虎口下突围,成功上市.如今,微博.微信取得的成功早已改变了中国整个SNS领域的格局. 我们看到,不管是传统的门户.还是巨头阿里,面对“人的争夺”的时候

上学期参加了一个大数据比赛,需要抓取大量数据,于是我从新浪微博下手,本来准备使用新浪的API的,无奈新浪并没有开放关键字搜索的API,所以只能用爬虫来获取了.幸运的是,新浪提供了一个高级搜索功能,为我们爬取数据提供了一个很好的切入点. 在查阅了一些资料,参考了一些爬虫的例子后,得到大体思路:构造URL,爬取网页,然后解析网页 具体往下看~ 登陆新浪微博,进入高级搜索,如图输入,之后发送请求会发现地址栏变为如下:    http://s.weibo.com/weibo/%25E4%25B8%25A

我们开发出来的APP通常要通过第三方分享到其他社交平台,如qq.微博微信 等.通过分享可以提高APP的传播效率,增加APP的曝光率,因此也算是APP功能 里的标配了吧.目前常用的第三方分享途径有qq.微信.微博.人人等.这些平台 大多都有自己的官方第三方分享组件可用,官方文档也比较丰富.使用起来比较方便. 这里我将已我的APP demo 两万番茄为例,展示如何实现这四个平台的第三方分享功 能. 虽然不同平台提供的模块和接口各异,但总体上,都有着相同的套路,搞通了一 套平台,其他的也就可以依样画葫

前言 做一个微博客户端的第三方是自学的第一个实践的项目,自从从事iOS工作之后,就把这个项目给搁置了.趁现在过年回来有些空闲时间,再次修改(总觉得项目就是不停地修改).并且记录一点东西,以后可再回头看看从前走过的路,挖过的坑.这是一条微博的展示,不是整个项目. 废话不多说,先上效果图: 拆分控件 在开始动手写代码之前,我们得先确定怎么去实现这样子的布局,也就是分析需要用到哪些控件. 观察微博客户端,整体是可滑动的,而且界面展示比较规律的,所以应该是使用UITableView实现的.那么一条微博应

本文以延参法师的腾讯微博为例进行爬取并分析 ,话不多说 直接附上源代码.其中有比较详细的注释. 需要用到的包有 BeautifulSoup WordCloud jieba # coding:utf-8 import requests from bs4 import BeautifulSoup import matplotlib.pyplot as plt from wordcloud import WordCloud import jieba def myDearWeiboCrawler(url

Python模拟登陆让不少人伤透脑筋,今天奉上一种万能登陆方法.你无须精通HTML,甚至也无须精通Python,但却能让你成功的进行模拟登陆.本文讲的是登陆所有网站的一种方法,并不局限于微博与知乎,仅用其作为例子来讲解. 用到的库有"selenium"和"requests".通过selenium进行模拟登陆,然后将Cookies传入requests,最终用requests进行网站的抓取.优点就是不但规避了"selenium"其本身抓取速度慢的问题

此次爬虫要实现的是爬取某个微博用户的关注和粉丝的用户公开基本信息,包括用户昵称.id.性别.所在地和其粉丝数量,然后将爬取下来的数据保存在MongoDB数据库中,最后再生成几个图表来简单分析一下我们得到的数据. 一.具体步骤: 这里我们选取的爬取站点是https://m.weibo.cn,此站点是微博移动端的站点,我们可以直接查看某个用户的微博,比如https://m.weibo.cn/profile/5720474518. 然后查看其关注的用户,打开开发者工具,切换到XHR过滤器,一直下拉列表

平常遇到大多数的带有列表的应用都会遇到这个场景:在列表顶端有一个Header,当向上滑动列表时,压缩header,向下滑动列表到头时,展开header.这种样式在例如微博,twitter这些展示动态的界面里很常见.这种效果怎么实现呢?下面介绍我用的方法. 新博客:wossoneri.com 先看一下效果图 首先看一下BiliBili客户端的视频浏览界面.默认界面Header完全展开,并且Header显示AV号(别乱想,就是视频编号了)以及播放按钮.滑动之后Header被压缩,按钮移到AV号左边.

一:XPath介绍 XPath全称XML路径语言,用于确定XML文档中某部分位置.XPath基于XML树状结构,在树中寻找结点. 现在,一般使用XPath在XML中查找.提取信息,同时,它也支持HTML.所以,我们可以用XPath取代正则表达式来提取信息. XPath通过元素以及属性进行导航. 二:XPath使用大概步骤 1:安装lxml模块 2:导入树形结构 from lxml import etree 3:把requests抓取的网页转化为树形结构 selector=etree.HTML(网

以前我们获取数据的方式都是使用 AFN 来 Get JSON 数据,比如 点我查看 JSON 数据.http://news-at.zhihu.com/api/4/news/latest 但例如下面的百度贴吧,和豆瓣读书等网站..并不提供我们获取数据的 API 百度贴吧: 豆瓣读书: 这时我们可以解析他们的 HTML 来获取我们想要的数据. 工具准备 这时我们需要2个工具,Firefox 和FireBug. 你可以在 http://www.firefox.com.cn/download/下载 Fi

为了学习机器学习深度学习和文本挖掘方面的知识,需要获取一定的数据,新浪微博的大量数据可以作为此次研究历程的对象 一.环境准备   python 2.7  scrapy框架的部署(可以查看上一篇博客的简要操作,传送门:点击打开链接) mysql的部署(需要的资源百度网盘链接:点击打开链接) heidiSQL数据库可视化   本人的系统环境是 win 64位的 所以以上环境都是需要兼容64位的     二.scrapy组件和数据流介绍 1.Scrapy architecture 组件Scrapy E

前言 如果从来不了解React先看前篇React入门 (1)-使用指南(包括ES5和ES6对比). 本文为了能将前篇学到的react知识学以致用,做了一个类似微博展示列表的demo.使用的是ES6+React+JSX+Webpack+Babel+NPM 设计思路 图为截取的微博展示列表,我这么来划分组件: 花括号括起来的是我要写的几个组件: ContentImg组件:带图片的微博里的图片部分 CommentForm组件:点击评论后,弹出来的评论下拉框 OneWB组件:一条微博,这条微博可能是纯文

[TechTarget中国原创] XML是存储结构化数据的一个很好的途径,但是想要让数据在其中发挥作用又会有些困难.每一种语言都有其特定方式来查询XML文件中的命名空间.元素及属性.PowerShell也不例外.PowerShell在查询XML文件时会略有不同,而该技巧主要依赖于Select-Xml命令和XPath语法上. XPath是定义XML文件组成的语言.XPath早在1999年就已经存在,一直被用于查询XML文件最标准的方法. XPath将XML文件定义为树.XML文件中的每个节点都节点

这种情况原因是html界面关联的js文件可能会动态修改DOM结构,这样浏览器完成了动态修改DOM,在 浏览器上看到的DOM结构,就和后台抓到的DOM结构不通 举例:新浪微博发的微博,在浏览器通过firebug的插件FirePath可以很容易计算出xpath 通过Firefinder可以查看xpath的匹配情况 但是查看页面的源代码,可以发现,微博的内容都是包含在js里的FM.view里的,这些会被js动态生成DOM,但是抓取返回的内容都是下面这些内容,是还没有生成DOM的

UITableViewCell的展开与收缩的实现思路 现在项目中很多地方都会用到,所以我这里介绍一种可以复用的思路,这与文章后面的Swift的实现思路不同,具体大家可自行对比. Demo项目地址 开始 先说一下UITableView的两个代理:cellForRowAtIndexPath和heightForRowAtIndexPath -(UITableViewCell *)tableView:(UITableView *)tableView cellForRowAtIndexPath:(NSIn

Redis作为一款性能优异的内存数据库,支撑着微博亿级社交平台,也成为很多互联网公司的标配.这里将以Redis Cluster集群为核心,基于最新的Redis5版本,从原理再到实战,玩转Redis集群 常见Redis集群方案 在介绍Redis Cluster集群方案之前,为了方便对比,先简单了解一下业界常见的Redis集群方案: 1 基于客户端分片 Redis Sharding是Redis Cluster出来之前,业界普遍使用的多Redis实例集群方法.其主要思想是基于哈希算法,根据Redis数

上篇文章<支撑微博亿级社交平台,小白也能玩转Redis集群(原理篇)>介绍了Redis集群相关原理,这篇文章将介绍Redis Cluster集群的搭建.配置,运维.扩容等具体操作 集群搭建 2018年10月 Redis 发布了稳定版本的 5.0 版本,推出了各种新特性,其中一点是集群管理工具从基于Ruby的redis-trib.rb移植到基于C语言redis-cli中,方便集群的构建和管理 Redis Cluster集群运行至少需要包含3个主节点,实现高可用最少需要3主3从6个节点 以下步骤基