爬虫mm131明星照片
'''
1. 爬取以下站点中各个明星图片,分别单独建文件夹存放。
起始URL地址:http://www.mm131.com/mingxing
'''
import os
import logging
import requests
from bs4 import BeautifulSoup logging.basicConfig(level=logging.INFO) def store_girl_img(girl_url, store_girl_dir):
# 把girl_url的单个小姐姐放入store_girl_dir文件夹
girl_html = requests.get(girl_url) #访问girl_url网址
girl_html.encoding = "gbk" #修改编码,不然会是乱码
girl_text = girl_html.text #获取girl_html的网页内容。girl_html.content返回的是bytes数据 girl_src = BeautifulSoup(girl_text, 'lxml').find("div",class_='content-pic').find('img')['src']
#BeautifulSoup用lxml库解析girl_html的网页内容,并找到所有class_='content-pic'的div标签
#再找到img标签下的src属性,得到单张照片的链接
print(girl_src) # 此处加headers是为防反爬虫,如果不加会响应403,没有权限
headers = {
'Referer': girl_url,
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
file_name = girl_src.split('/')[-1]
#将http://img1.mm131.me/pic/2016/1.jpg切片成["http://img1.mm131.me/pic/2016","1.jpg"],[-1]就是去第二个1.jpg
file_name = os.path.join(store_girl_dir, file_name) #在store_girl_dir目录下创建图片名字file_name,如1.jpg
with open(file_name, 'wb') as f: #二进制模式打开file_name
girl_content = requests.get(girl_src, headers=headers).content # .content获取图片的二进制数据
f.write(girl_content) #写入到file_name def store_page_grils(href, store_girl_dir):
# 把href这个链接下的小姐姐们(多个)放入文件夹store_girl_dir
girl_text = requests.get(href).text #访问某个美女的图片页面
soup = BeautifulSoup(girl_text, 'lxml') #获得BeautifulSoup对象
# 获取美女图片的张数
max_page_num = soup.find('div', class_='content-page').find_all('a')[-2].get_text()
#找到class_='content-page'的div标签---->找出该div下所有的a标签,得到一个a标签列表
#[-2]取出倒数第二个按标签,get_text()是获取文本内容
max_page_num = int(max_page_num) #文本内容转化为整数 girl_url_list = [href] #定义一个列表,存放一个美女所有图片的链接,页面特殊,href表示第一张
#for循环获取第二张到最后一张的链接
for page_num in range(2, max_page_num + 1): girl_url = str(href).replace(".html",f"_{page_num}.html") # 将.html替换_{page_num}.html
# print(girl_url)
girl_url_list.append(girl_url) #将第二张到最后一张的链接追加到girl_url_list
# print(girl_url_list)
for girl_url in girl_url_list:
store_girl_img(girl_url, store_girl_dir) #循环调用store_girl_img函数 def main():
url = 'http://www.mm131.com/mingxing'
store_dir = 'meizitu' #主目录
os.makedirs(store_dir, exist_ok=True) #创建主目录,若主目录存在不报错
home_html = requests.get(url) #访问http://www.mm131.com/mingxing
home_html.encoding = "gbk"
home_text = home_html.text #获取网页内容
# 得到小姐姐们的链接标签
ahref_list = BeautifulSoup(home_text, 'lxml').find("div",class_="main").find_all('a')[2:22]
#找到所有a标签,得到一个a标签列表,[2:22]表示:取a标签列表的第2到21个,因为前两个是不需要的
# print(ahref_list)
for ahref in ahref_list: #遍历这20个a标签
# ahref 是bs4.element.Tag实例
girlname = ahref.get_text() # 获取a标签的文本内容,作为存放小姐姐图片的子目录
href = ahref['href']# 取出a标签的href属性,得到一个小姐姐图片的链接
store_girl_dir = os.path.join(store_dir, girlname) # 拼接得到放该小姐的房间号,即存放美女的文件夹
os.makedirs(store_girl_dir, exist_ok=True)
logging.info(f'开始下载{girlname}的图片')
store_page_grils(href, store_girl_dir) if __name__ == '__main__':
main()
爬虫mm131明星照片的更多相关文章
- Python网络爬虫实战(三)照片定位与B站弹幕
之前两篇已经说完了如何爬取网页以及如何解析其中的数据,那么今天我们就可以开始第一次实战了. 这篇实战包含两个内容. * 利用爬虫调用Api来解析照片的拍摄位置 * 利用爬虫爬取Bilibili视频中的 ...
- 牛逼了,利用Python实现“天眼系统”,只要照片就能了解个人信息
- 让你从零开始学会写爬虫的5个教程(Python)
写爬虫总是非常吸引IT学习者,毕竟光听起来就很酷炫极客,我也知道很多人学完基础知识之后,第一个项目开发就是自己写一个爬虫玩玩. 其实懂了之后,写个爬虫脚本是很简单的,但是对于新手来说却并不是那么容易. ...
- [转]让你从零开始学会写爬虫的5个教程(Python)
让你从零开始学会写爬虫的5个教程(Python) 写爬虫总是非常吸引IT学习者,毕竟光听起来就很酷炫极客,我也知道很多人学完基础知识之后,第一个项目开发就是自己写一个爬虫玩玩. 其实懂了之后,写个 ...
- 用python批量下载图片
一 写爬虫注意事项 网络上有不少有用的资源, 如果需要合理的用爬虫去爬取资源是合法的,但是注意不要越界,前一阶段有个公司因为一个程序员写了个爬虫,导致公司200多个人被抓,所以先进入正题之前了解下什么 ...
- 阿里巴巴直播内容风险防控中的AI力量
直播作为近来新兴的互动形态和今年阿里巴巴双十一的一大亮点,其内容风险监控是一个全新的课题,技术的挑战非常大,管控难点主要包括业界缺乏成熟方案和标准.主播行为.直播内容不可控.峰值期间数千路高并发处理. ...
- 结合NGUI做的手机拍照(可自定义相框)
原地址:http://www.unity蛮牛.com/thread-18220-1-1.html 在次此之前我们先要了解一下下面的我要讲的几个内容: 一.为什么要用NGUI,因为NGUI的可以做屏幕自 ...
- 设计模式之第18章-观察者模式(Java实现)
设计模式之第18章-观察者模式(Java实现) 话说曾小贤,也就是陈赫这些天有些火,那么这些明星最怕的,同样最喜欢的是什么呢?没错,就是狗仔队.英文的名字比较有意思,是paparazzo,这一说法据说 ...
- AI新生代“教父”崛起,或成就迈向具有类人意识机器的一大步
<麻省理工科技评论>公布了 2018 年全球十大突破性技术,“对抗性神经网络”即“生成对抗网络”作为突破性人工智能技术赫然上榜.这家全球最顶级科技杂志编辑部对这项革命性技术给出的评价是:它 ...
随机推荐
- [Python] 04 - os & sys module
相当实用的一些API: Ref: https://docs.python.org/3/library/os.html from os import listdir from os.path impor ...
- javascript +new Date()
最近学习JavaScript时,看到Date的一个有意思的用法就是+new Date(),结果跟Date对象的getTime(),valueOf()是一样的,他们返回的都是1970年1月1日午夜以来的 ...
- scala 模式匹配详解 1
什么是模式? 一些刚从java转到scala的同学在开发的过程中犹如深陷沼泽,因为很多的概念或风格不确定,scala里有很多的坑,模式匹配也算一个.我整理了一下自己所理解的概念,以及一些例子.这个系列 ...
- Cordova 微信分享插件,安卓亲测可用
Cordova 微信分享插件,安卓亲测可用,收藏 https://github.com/vilic/cordova-plugin-wechat
- SVM 核方法
在 SVM 中引入核方法便可使得 SVM 变为非线性分类器,给定非线性可分数据集 $\left \{ (x_i,y_i)\right\}_{i=1}^N$,如下图所示,此时找不到一个分类平面来将数据分 ...
- MyISAM和InnoDB区别 及选择
MySQL默认采用的是MyISAM. MyISAM不支持事务,而InnoDB支持.InnoDB的AUTOCOMMIT默认是打开的,即每条SQL语句会默认被封装成一个事务,自动提交,这样会影响速度,所以 ...
- 依赖注入容器之Castle Windsor
一.Windsor的使用 Windsor的作为依赖注入的容器的一种,使用起来比较方便,我们直接在Nuget中添加Castle Windsor,将会自动引入Castle.Core 和 Castle.Wi ...
- 常用Common集合
Log using System; using System.IO; using System.Linq; using System.Text; namespace Common { public c ...
- sql语句 isnull(列名,'')='' /STUFF的意思
(1) SELECT SYXH,ZYHM,YEXH,ISNULL(YETZ,'') AS YETZ ,RYKSMC,RYBQMC,HZXM FROM YG_BRSYK 如果列名数据等于NULL,那么 ...
- PHP微信支付开发
此链接https://pay.weixin.qq.com/wiki/doc/api/H5.php?chapter=15_2,是微信官方的示例,无效,报错. 1.申请微信支付的开通条件?什么样的账号可以 ...