一.参考文章 Python爬虫之——爬取妹子图片 上述文章中的代码讲述的非常清楚,我的基本能思路也是这样,本篇文章中的代码仅仅做了一些异常处理和一些日志显示优化工作,写此文章主要是当做笔记,方便以后查阅,修改的地方如下: 1.异常处理下面在代码中会单独标红 2.多线程版使用了multiprocessing这个库,需要在main函数开始调用freeze_support(),防止打包成exe之后,运行时创建线程失败 3.多线程版本加了一个命令行自定义线程个数功能 二.单线程版本 #coding=ut…

from bs4 import BeautifulSoupimport sys,os,requests,pymongo,timefrom lxml import etreedef get_fenlei(url,headers): """ 获取妹子图的分类链接,并创建相对应的分类文件夹 :param url: :param headers: :return: """ response = requests.get(url,headers=heade…

... #!/usr/bin/env python import urllib.request from bs4 import BeautifulSoup def crawl(url): headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} req = urllib.request.Request(url, header…

... import requests from bs4 import BeautifulSoup import os import sys class mzitu(): def html(self, href): html = self.request(href) a = BeautifulSoup(html.text, 'lxml').find('h2', class_='main-title') title = a.get_text() print(u'开始保存:', title) pat…

项目说明: 1.项目介绍   本项目使用Python提供的协程+scrapy中的选择器的使用(相当好用)实现爬取妹子图的(福利图)图片,这个学会了,某榴什么的.pow(2, 10)是吧! 2.用到的知识点   本项目中会用到以下知识点 ① Python的编程(本人使用版本3.6.2) ② 使用scrapy中的css选择器 ③ 使用async协程 ④ 使用aiohttp异步访问url ⑤ 使用aiofiles异步保存文件 3. 项目效果图 项目实现: 我们最终的目的是把图片的标题替换成需要保存的目…

Github: https://github.com/wangy8961/python3-concurrency-pics-02 ,欢迎star 爬虫系列: (1) 理论 Python3爬虫系列01 (理论) - I/O Models 阻塞 非阻塞 同步 异步 Python3爬虫系列02 (理论) - Python并发编程 Python3爬虫系列06 (理论) - 可迭代对象.迭代器.生成器 Python3爬虫系列07 (理论) - 协程 Python3爬虫系列08 (理论) - 使用async…

爬取妹子图片 网址:https://www.mzitu.com/jiepai/ 2019-06-13 环境WIN10 1903 python 3.7.3 个人习惯先在IDLE中进行调试 import requests from bs4 import BeautifulSoup url='https://www.mzitu.com/' response=requests.get(url=url) print(response.status_code) 403是返回的状态码 403错误,表示资源不可…

根据现有的知识,写了一个下载妹子图(meizitu.com)Scrapy脚本,把全站两万多张照片下载到了本地. 网站的分析 网页的网址分析 打开网站,发现网页的网址都是以 http://www.meizitu.com/a/+某个数+.html组成,例如:http://www.meizitu.com/a/5585.html于是,我就想着在 start_urls 中就按照这三部分来组合. name = 'meizi'    allowed_domains = ['www.meizitu.com']…

1.分析斗图网 斗图网地址:http://www.doutula.com 网站的顶部有这两个部分: 先分析“最新套图” 发现地址栏变成了这个链接,我们在点击第二页 可见,每一页的地址栏只有后面的page不同,代表页数:这样请求的地址就可以写了. 2.寻找表情包 然后就要找需要爬取的表情包链接了.我用的是chrome浏览器,F12进入开发者模式. 找到图片对应的img元素,发现每个Img元素的class都是相同的.data-original属性对应的地址,就是我们要下载的图片.alt属性就是图片的…

话不多说,上结果(只爬了10页内容) 上代码:(可直接运行)   用到Xpath #encoding:utf-8 # __author__ = 'donghao' # __time__ = 2018/12/24 15:20 import requests import urllib.request import urllib3 import os import re import time from lxml import etree def parse_page(url): headers =…