Python爬虫学习 - day1 - 爬取图片
利用Python完成简单的图片爬取
最近学习到了爬虫,瞬时觉得很高大上,想取什么就取什么,感觉要上天。这里分享一个简单的爬取汽车之家文章列表的图片教程,供大家学习。
需要的知识点储备
本次爬虫脚本依赖两个模块:requests模块,BeautifulSoup模块。其中requests模块完成url的请求,而BeautifulSoup模块负责解析Html标签。
requests模块
requests.get(url) 向URL发起GET请求
requests.post(url) 向URL发起POST请求
>>> import requests
>>> response = requests.get('https://www.baidu.com')
>>> print(response.text)
<!DOCTYPE html> <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=styleshee
......
......
</body> </html> # 上面为页面信息 >>>
可以看到response是服务端返回的信息:在requests内部也被封装成了一个对象,它具有很多属性,主要如下:
- response.text:以字符串的形式显示返回的信息
- response.content:以字节的形式显示返回的信息(bytes对象)
- response.encode:告诉requests 已什么编码格式进行解析
- response.url:请求的url(当使用get方式发送数据时,可以显示具体的url)
- response.encoding:查看requests自动识别的网页编码
- response.json():对于返回值是json格式的,那么可以直接使用json(),提取成字典
- response.headers:获取响应头信息(响应头是一个字典,支持字典操作)
- response.cookies:获取服务端响应的cookies
数据提交
访问站点时进行数据提交根据请求的方式不同,主要分两种,即GET提交,POST提交。
当使用GET方式提交时,数据是拼接到URL进行提交的,那么这个时候需要使用params参数来定制提交的数据(提交的数据为字典类型)
import requests data = {'wd': '词典'}
response = requests.get('http://www.baidu.com/s', params=data)
print(response.url) # http://www.baidu.com/s?wd=%E8%AF%8D%E5%85%B8 --> 中文会被编码
print(response.text) # 返回的内容
当使用POST方式提交时,数据是放在请求体中提交的,那么这个时候就需要使用data参数了(提交的数据为字典类型)
import requests data = {'wd': '词典'}
response = requests.post('http://www.baidu.com/s', data=data) # 注意
PS:requests的data参数使用application/x-www-form-urlencoded
对POST数据编码。如果要传递JSON数据,可以使用json参数来让requests对数据使用json编码。
文件上传
上传文件需要更复杂的编码格式,但是requests把它简化成files
参数:
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)
在读取文件时,注意务必使用'rb'
即二进制模式读取,这样获取的bytes
长度才是文件的长度。
把post()
方法替换为put()
,delete()
等,就可以以PUT或DELETE方式请求资源。
BeautifulSoup模块
soup = BeautifulSoup(html页面,features='html.parser') 把返回的页面交给BeautifulSoup进行处理,生成soup对象,其中features表示使用的解析方式,这里使用html.parser,因为内置,其他的也可以使用lxml,速度要快于html.parser但是需要额外安装。
soup 是BeautifulSoup对象,它具有查找修改获取等等众多功能。
- soup.find() 用于对HTML标签进行查找,找到一个就返回
- soup.find_all() 用户对HTML标签进行遍历,查到所有的标签后,以列表的形式返回
- soup.get() 获取标签的单个属性的值
- soup.attrs 获取标签的所有属性,返回字典
- soup.text 获取标签的内容
利用Python完成汽车直接文章列表的图片爬取
想要爬取什么信息,那么首先需要我们查看一下相关网页的源码信息,确定要爬取的标签以及属性。
确认爬取信息
打开http://www.autohome.com.cn/all/ 文章评测页面。打开调试模式,查看网页源码
<div id="auto-channel-lazyload-article" class="article-wrapper"> <ul class="article"> <li data-artidanchor="908300">
<a href="//www.autohome.com.cn/news/201710/908300.html#pvareaid=102624">
<div class="article-pic"><img
src="//www2.autoimg.cn/newsdfs/g21/M06/8A/59/120x90_0_autohomecar__wKgFVVnpmymAYrwNAAFqGWS9P0k275.jpg">
</div>
<h3>全新外观设计 全新Vanquish谍照曝光</h3>
<div class="article-bar">
<span class="fn-left">56分钟前</span>
<span class="fn-right">
<em><i class="icon12 icon12-eye"></i>4130</em>
<em data-class="icon12 icon12-infor" data-articleid="908300"><i
class="icon12 icon12-infor"></i>19</em>
</span>
</div>
<p>[汽车之家 海外谍照] 日前,有海外媒体曝光了一组阿斯顿·马丁全新一代Vanquish车型路试谍照,新车在外观部分进行了全面的革新,此外,...</p>
</a>
</li> <li data-artidanchor="908294">
<a href="//www.autohome.com.cn/culture/201710/908294.html#pvareaid=102624">
<div class="article-pic"><img
src="//www3.autoimg.cn/newsdfs/g15/M10/B6/51/120x90_0_autohomecar__wKjByFnpd-uAVVwWAAFlp02ujCY900.jpg">
</div>
<h3>买游戏送汽车 《GT赛车》发布最强同捆</h3>
<div class="article-bar">
<span class="fn-left">3小时前</span>
<span class="fn-right">
<em><i class="icon12 icon12-eye"></i>8318</em>
<em data-class="icon12 icon12-infor" data-articleid="908294"><i
class="icon12 icon12-infor"></i>49</em>
</span>
</div>
<p>[汽车之家 车坛勐料] 先来做个名字解释,“同捆”是指游戏主机外加一款或多款游戏的套装,很多时候“同捆包”中还会包含一些该游戏的周边产品,比如模型。...</p>
</a>
</li> ...
...
... </ul> </div>
观察源码发现,得出的结论:
- 要获取的信息都被一个div标签包裹,并且该标签具有id属性,由于id属性页面唯一,可以通过该属性确定查找范围
- li标签是一条一条的文章信息
- 每个文章信息中的img标签的src属性即为图片的地址
完整的代码
import requests
from bs4 import BeautifulSoup response = requests.get(url='http://www.autohome.com.cn/all/')
response.encoding = 'gbk'
soup = BeautifulSoup(response.text,features='html.parser')
tag = soup.find(id='auto-channel-lazyload-article')
title = tag.find_all('li')
for tag in title:
if tag.find('h3'):
print(tag.find('h3').text)
if tag.find('a'):
print('http:'+tag.find('a').get('href'))
if tag.find('img'):
img_url = tag.find('img').get('src')
imgname = img_url.split('/')[-1]
img_obj = requests.get('http:'+img_url)
with open('imgs/%s' % imgname,mode='wb') as f:
f.write(img_obj.content)
注意:
- 由于汽车之家页面使用gbk编码,所以这里指定编码格式为gbk,否则会出现乱码。
- 获取图片的url然后下载,把图片保存在本地
Python爬虫学习 - day1 - 爬取图片的更多相关文章
- python爬虫学习(7) —— 爬取你的AC代码
上一篇文章中,我们介绍了python爬虫利器--requests,并且拿HDU做了小测试. 这篇文章,我们来爬取一下自己AC的代码. 1 确定ac代码对应的页面 如下图所示,我们一般情况可以通过该顺序 ...
- Python爬虫学习之爬美女图片
最近看机器学习挺火的,然后,想要借助业余时间,来学习Python,希望能为来年找一份比较好的工作. 首先,学习得要有动力,动力,从哪里来呢?肯定是从日常需求之中来.我学Python看网上介绍.能通过P ...
- Python爬虫学习(二) ——————爬取前程无忧招聘信息并写入excel
作为一名Pythoner,相信大家对Python的就业前景或多或少会有一些关注.索性我们就写一个爬虫去获取一些我们需要的信息,今天我们要爬取的是前程无忧!说干就干!进入到前程无忧的官网,输入关键字&q ...
- python爬虫学习(2) —— 爬一下ZOL壁纸
我喜欢去ZOL找一些动漫壁纸当作桌面,而一张一张保存显然是太慢了. 那怎么办呢,我们尝试使用简单的爬虫来解决这个问题. 0. 本爬虫目标 抓取给定分类「或子分类」网址的内容 分析并得到每个分类下的所有 ...
- python爬虫学习之爬取全国各省市县级城市邮政编码
实例需求:运用python语言在http://www.ip138.com/post/网站爬取全国各个省市县级城市的邮政编码,并且保存在excel文件中 实例环境:python3.7 requests库 ...
- python爬虫---scrapy框架爬取图片,scrapy手动发送请求,发送post请求,提升爬取效率,请求传参(meta),五大核心组件,中间件
# settings 配置 UA USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, l ...
- python爬虫学习05-爬取图片
python爬虫学习05-爬取图片 确定要爬取的网址:https://shenan.tuchong.com/20903415/#image309854686 要爬取的内容:使用浏览器插件xpath对图 ...
- python爬虫学习01--电子书爬取
python爬虫学习01--电子书爬取 1.获取网页信息 import requests #导入requests库 ''' 获取网页信息 ''' if __name__ == '__main__': ...
- [python爬虫] Selenium定向爬取海量精美图片及搜索引擎杂谈
我自认为这是自己写过博客中一篇比较优秀的文章,同时也是在深夜凌晨2点满怀着激情和愉悦之心完成的.首先通过这篇文章,你能学到以下几点: 1.可以了解Python简单爬取图片的一些思路和方法 ...
随机推荐
- 「日常训练」Common Subexpression Elimination(UVa-12219)
今天做的题目就是抱佛脚2333 懂的都懂. 这条题目干了好几天,最后还是参考别人的代码敲出来了,但是自己独立思考了两天多,还是有收获的. 思路分析 做这条题我是先按照之前的那条题目(The SetSt ...
- 不得不服!Python速度虽然慢,但是它工作效率很高!
写在前面 让我们来讨论一个我最近一直在思考的问题:Python 的性能.顺便说一下,我是 Python 的忠实拥趸,我在各种情况下都会积极尝试使用 Python 来解决问题.大家对 Python 最大 ...
- python终极篇 --- django 初识
1. 下载: 命令行: pip install django==1.11.15 pip install -i 源 django==1.11.15 pycharm settings 解释器 点+号 输入 ...
- linux常用命令补充详细
1.ls命令 就是list的缩写,通过ls 命令不仅可以查看linux文件夹包含的文件,而且可以查看文件权限(包括目录.文件夹.文件权限)查看目录信息等等 常用参数搭配: ls -a 列出目录所有文 ...
- ubuntu中 VI 方向键、删除键问题
这两天重新装的ubuntu系统,发觉使用VI时,方向键按下去后变成ABCD,删除键无效.网上搜寻一番,应该是VI软件本身的问题,顾卸载重装即可,步骤如下: 1.执行命令 sudo apt-get re ...
- Tensorflow编程基础之Mnist手写识别实验+关于cross_entropy的理解
好久没有静下心来写点东西了,最近好像又回到了高中时候的状态,休息不好,无法全心学习,恶性循环,现在终于调整的好一点了,听着纯音乐突然非常伤感,那些曾经快乐的大学时光啊,突然又慢慢的一下子出现在了眼前, ...
- mysql分布式技术
所有的分布式技术 dobble zokkiper ngix
- POJ 2186 Popular Cows(强联通+缩点)
Description Every cow's dream is to become the most popular cow in the herd. In a herd of N (1 <= ...
- Android之ViewPager 第一课
想要了解Android新版本的的新特性,从头开始吧,这是Android3.0新加入的widget,以前也接触过,但是没有好好的研究过,今天写了一个小程序,研究一下ViewPager. 这个程序是支持左 ...
- Delphi函数详解:全局函数,内部函数,类的成员函数,类的静态方法
1. Delphi中的全局函数 //要点: 需要给其他单元调用, 必须在 interface 声明, 但必须在 uses 区后面 unit Unit1; interface uses Window ...