python自动化之爬虫原理及简单案例
【爬虫案例】动态地图里的数据如何抓取:以全国PPP综合信息平台网站为例 http://mp.weixin.qq.com/s/BXWTf5hmq8vp91ZvgaphEw
【爬虫案例】动态页面的抓取!以东方财富网基金行情数据为例 http://mp.weixin.qq.com/s/bbw5caz4EfJn5mwbDMVfuQ
【爬虫案例】获取历史天气数据 http://mp.weixin.qq.com/s/MlqJUuH0JjTujMzGJp_7kw
【爬虫案例】电影票房数据抓取 https://mp.weixin.qq.com/s/UgH53P86Y0nfY-67EDQ8wA
#####http://www.lishi.tianqi.com/yangzhong/201407.html
#####http://lishi.tianqi.com/yangzhong/201407.html
#####www.cbooo.cn/year?year=2016
#####www.cpppc.org:8082/efmisweb/ppp/projectLibrary/toPPPMap.do
#####fundact.eastmoney.com/banner/gp.html?from=groupmessage&isappinstalled=0
#
#http://lishi.tianqi.com/yangzhong/201407.html
##################################################################
##############爬取票房纪要
#####www.cbooo.cn/year?year=2016
1、确认搜的票房数据在代码里(Ctrl+F搜索出来)搜索关键字:如"美人鱼",是否在页面上
2、模板(对于数据在页面上适用):获取页面/解析网页
3、找到数据在哪?定位数据首选用id定位
4、返回列表的话找对应的项
#########采用解析器:'lxml',解析页面;也可以用html.parse解析器
分析数据在哪个框里面,这是一个table,定位方式首选用id定位
soup.find_all 找到所有table,限制条件为id=tbContent
里面每一个tr代表一行,一个电影即为一行,找到所有tr标签
td表示当中的每一个单元,找出当中第一个中的a标签中的title属性即为需要的电影名称
dd与dl是现在很少用的标签,表示为定义式,有点类似于字典
import requests ############获取页面
from bs4 import BeautifulSoup ############解析网页
year=2017
url='http://www.cbooo.cn/year?year='+str(year)
rawhtml=requests.get(url).content
print(type(rawhtml))
soup=BeautifulSoup(rawhtml,'lxml') #########采用解析器:'lxml',解析页面;也可以用html.parse解析器
###soup.select('dl.dltext dd')
###有快捷的方式:能把所有标签去掉,soup.select('dl.dltext dd')[0].get_text()
def getYear(year):
#year=2017
url='http://www.cbooo.cn/year?year='+str(year)
rawhtml=requests.get(url).content
#print(type(rawhtml))
soup=BeautifulSoup(rawhtml,'lxml') #########采用解析器:'lxml',解析页面;也可以用html.parse解析器
#print(type(soup))
return soup
def getInfo(url):
rawhtml=requests.get(url).content
soup=BeautifulSoup(rawhtml,'lxml')
return soup
print(type(soup))
movies_table=soup.find_all('table',{'id':"tbContent"})[0] ####用find_all()方法,通过table标签,加上字典参数,属性为id=tbContent
movies=movies_table.find_all('tr')
moviename=[movie.find_all('td')[0].a.get('title') for movie in movies[1:]]
movielink=[movie.find_all('td')[0].a.get('href') for movie in movies[1:]]
movietype=[movie.find_all('td')[1].string for movie in movies[1:]]
movieboxoffice =[int(movie.find_all('td')[2].string) for movie in movies[1:]]
#moviedirector=[getInfo(url).find_all('dl',{'class':'dltext'})[0].find_all('dd')[0].a.get('title') for url in movielink]
moviedirector=[getInfo(url).select('dl.dltext dd')[0].get_text() for url in movielink]
############转成数据框&统计分析
import pandas as pd
df=pd.DataFrame({'names':moviename,'types':movietype,'boxoffice':movieboxoffice,'link':movielink,'directors':moviedirector})
import numpy as np
df.groupby('types').agg({'boxoffice':["count","mean"]})
#############写到文件中
df.to_csv(r'C:\Users\Administrator\Desktop\电影.csv')
标签是div,div在html中意思为一个块集
确认html页面真的存在代码中
确认数据在代码中,即好爬,如果不在代码中,用js进行渲染,即不好爬
再看有没有翻页,没有翻页,即OK
这里以一个电影评分的网站为例,介绍数据抓取的基本流程和方法。
标准配置:
--requests:抓取网址的HTML内容
--BeautifulSoup:解析HTML源码,提供方便的查询接口
--re:正则表达式,通过描述规则从字符中提取需要的数据
(这里不作介绍)
import requests ########获取页面
from bs4 import BeautifulSoup #######解析网页
url='http://www.cbooo.cn/year?year=2016'
rawhtml=requests.get(url).content #######获取内容
##################################################################
##############爬取天气纪要
###############http://www.tianqihoubao.com/weather/top/shenzhen.html
##############数据抓取:
##############某些情况下需要从网络抓取数据,比如舆情监控需要抓取相关的新闻内容;
##############判断天气原因是否对超市的销量有影响时,除了已有的销量数据外还需要从
##############网络抓取每日的天气数据
1、下载的url数据
2、在谷歌浏览器右键:检查,找到每一行数据在不在网页代码中,找到整个下载数据是个table,tblite_go
3、一页一页加载时,发现问题:网址未发生变化,没有刷新
1)打开network,点击每一页时发现Request URL不一致,此时表明为异步加载;
2)将不同页的链接复制出来,查看区别;
3)找到规律,将链接查看,即对应数据;
4)由于r.content为乱码,r.text为中文格式;
5)解析;
6)每一页写入;
import requests ############获取页面
from bs4 import BeautifulSoup ############解析网页
url='http://www.tianqihoubao.com/weather/top/shenzhen.html'
rawhtml=requests.get(url).content
weatherhtml=BeautifulSoup(rawhtml,'lxml')
dateset=[weather.find_all('td')[1].b.a.string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
dayweatherset=[weather.find_all('td')[2].string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
daywindset=[weather.find_all('td')[3].string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
daytempset=[weather.find_all('td')[4].string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
nightweatherset=[weather.find_all('td')[5].string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
nightwindset=[weather.find_all('td')[6].string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
nighttempset=[weather.find_all('td')[7].string for weather in weatherhtml.find_all('table')[0].find_all('tr')[2:]]
import pandas as pd
df=pd.DataFrame({'日期':dateset,'白天天气':dayweatherset,'白天风向':daywindset,'白天温度':daytempset,'晚上天气':nightweatherset,'晚上风向':nightwindset,'晚上温度':nighttempset})
import numpy as np
df.to_csv(r'C:\Users\Administrator\Desktop\天气.csv')
python自动化之爬虫原理及简单案例的更多相关文章
- python——flask常见接口开发(简单案例)
python——flask常见接口开发(简单案例)原创 大蛇王 发布于2019-01-24 11:34:06 阅读数 5208 收藏展开 版本:python3.5+ 模块:flask 目标:开发一个只 ...
- 爬虫之scrapy简单案例之猫眼
在爬虫py文件下 class TopSpider(scrapy.Spider): name = 'top' allowed_domains = ['maoyan.com'] start_urls = ...
- 使用python开发ansible自定义模块的简单案例
安装的版本ansible版本<=2.7,<=2.8是不行的哦 安装模块 pip install ansible==2.7 先导出环境变量 我们自定义模块的目录. 我存放的目录 export ...
- python自动化之爬虫模拟登录
http://selenium-python.readthedocs.io/locating-elements.html ####################################### ...
- python静态网页爬虫之xpath(简单的博客更新提醒功能)
直接上代码: #!/usr/bin/env python3 #antuor:Alan #-*- coding: utf-8 -*- import requests from lxml import e ...
- 爬虫之CrawlSpider简单案例之读书网
项目名py文件下 class DsSpider(CrawlSpider): name = 'ds' allowed_domains = ['dushu.com'] start_urls = ['htt ...
- 微软最强 Python 自动化工具开源了!不用写一行代码!
1. 前言 最近,微软开源了一款非常强大的 Python 自动化依赖库:playwright-python 它支持主流的浏览器,包含:Chrome.Firefox.Safari.Microsoft E ...
- 阿里最强 Python 自动化工具开源了!
1. 前言 大家好,我是安果! 最近,阿里内部开源了一个 iOS 端由 Python 编写的自动化工具,即:tidevice 它是一款跨平台的自动化开源工具,不依赖 Xcode 就可以启动 WebDr ...
- Python分布式爬虫原理
转载 permike 原文 Python分布式爬虫原理 首先,我们先来看看,如果是人正常的行为,是如何获取网页内容的. (1)打开浏览器,输入URL,打开源网页 (2)选取我们想要的内容,包括标题,作 ...
随机推荐
- JAVA 第三周学习总结
20175308 2018-2019-2 <Java程序设计>第三周学习总结 教材学习内容总结 本周的学习内容为整个第四章的内容,学习中感觉知识点既多又杂,故在总结时尽量选用重要的或高度概 ...
- P1821 [USACO07FEB]银牛派对Silver Cow Party
题目描述 One cow from each of N farms (1 ≤ N ≤ 1000) conveniently numbered 1..N is going to attend the b ...
- handsontable合并项mergeCells应用及扩展
由于我这个项目主要是配置多表头信息,主要使用了handsontabel合并项功能. 但是,在该功能使用过程中发现了一些问题和一些自己根据需要做的一些扩展 $("#topFieldDiv&qu ...
- C# 匿名类型var
格式: var 名字=new {字段赋值}:c#中只是作为推断,根据赋值推断出类型,隐式类型 var. 隐式类型的本地变量是强类型变量(就好像您已经声明该类型一样),但由编译器确定类型. 1)var类 ...
- centos发送邮件
这里使用mailx发送. #yum -y install mailx 安装成功后,进入家目录编写配置文件.配置发送方的邮箱.密码.发送的服务器 #vi ~/.mailrc set from=hello ...
- 如何一步一步建立CAN通讯
如何一步一步建立CAN通讯 2016-04-12 20:38:14来源: eefocus 关键字:CAN通讯 硬件环境 收藏 评论(0) 分享到 微博 QQ 微信 LinkedIn CAN通讯的 ...
- 剖析管理所有大数据组件的可视化利器:Hue
日常的大数据使用都是在服务器命令行中进行的,可视化功能仅仅依靠各个组件自带的web界面来实现,不同组件对应不同的端口号,如:HDFS(50070),Yarn(8088),Hbase(16010)等等, ...
- Spark SQL -- Hive
使用Saprk SQL 操作Hive的数据 前提准备: 1.启动Hdfs,hive的数据存储在hdfs中; 2.启动hive -service metastore,元数据存储在远端,可以远程访问; 3 ...
- C++面试题:list和vector有什么区别
C++面试题:list和vector有什么区别?考点:理解list和vector的区别出现频率:★★★★解析:vector和数组类似,它拥有一段连续的内存空间,并且起始地址不变,因此它能非常好的支持随 ...
- 利用git将项目上传到github
本文主要介绍如果用git将项目上传到githup. 一.准备工作 (1)欲将项目上传到githup,先在githup上新建一个仓库.这里就不介绍. (2 ...