项目说明: 1.项目介绍   本项目使用Python提供的协程+scrapy中的选择器的使用(相当好用)实现爬取妹子图的(福利图)图片,这个学会了,某榴什么的.pow(2, 10)是吧! 2.用到的知识点   本项目中会用到以下知识点 ① Python的编程(本人使用版本3.6.2) ② 使用scrapy中的css选择器 ③ 使用async协程 ④ 使用aiohttp异步访问url ⑤ 使用aiofiles异步保存文件 3. 项目效果图 项目实现: 我们最终的目的是把图片的标题替换成需要保存的目…

import re import json import aiohttp import asyncio import time import pymysql from asyncio.locks import Semaphore from functools import partial headers = { 'Cookie': 'auth_token=your_token_here', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x…

1.url= http://www.mzitu.com/74100/x,2为1到23的值 2.用到模块 os 创建文件目录; re模块正则匹配目录名 图片下载地址; time模块 限制下载时间;requests模块获取网页源代码;urllib模块 urllib.urlretrieve(图片url,保存的带扩展名的文件名x.jpg)方法下载图片 3.知识点 文件目录处理  函数封装调用 全局变量 4.代码 #coding:utf-8 import os import re import reque…

Github: https://github.com/wangy8961/python3-concurrency-pics-02 ,欢迎star 爬虫系列: (1) 理论 Python3爬虫系列01 (理论) - I/O Models 阻塞 非阻塞 同步 异步 Python3爬虫系列02 (理论) - Python并发编程 Python3爬虫系列06 (理论) - 可迭代对象.迭代器.生成器 Python3爬虫系列07 (理论) - 协程 Python3爬虫系列08 (理论) - 使用async…

from bs4 import BeautifulSoupimport sys,os,requests,pymongo,timefrom lxml import etreedef get_fenlei(url,headers): """ 获取妹子图的分类链接,并创建相对应的分类文件夹 :param url: :param headers: :return: """ response = requests.get(url,headers=heade…

根据现有的知识,写了一个下载妹子图(meizitu.com)Scrapy脚本,把全站两万多张照片下载到了本地. 网站的分析 网页的网址分析 打开网站,发现网页的网址都是以 http://www.meizitu.com/a/+某个数+.html组成,例如:http://www.meizitu.com/a/5585.html于是,我就想着在 start_urls 中就按照这三部分来组合. name = 'meizi'    allowed_domains = ['www.meizitu.com']…

先说一下可能用到的一些python知识 一.python中使用的是unicode编码, 而日常文本使用各类编码如:gbk utf-8 等等所以使用python进行文字读写操作时候经常会出现各种错误, 一般都是操作时没有进行转码操作.而转码则需要decode(解码)和encode(编码)方法. 如: str1.decode('gbk'), 表示将gbk编码的字符串'str1'转换成unicode编码. str2.encode('gbk'), 表示将unicode编码的字符串'str2'转换gbk编…

1. Requests:让 HTTP 服务人类 Requests 继承了urllib2的所有特性.Requests支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码. 中文文档API:http://docs.python-requests.org/zh_CN/latest/index.html 安装方式 两种方式任选其一 pip install requests easy_install requ…

1.url= http://www.mzitu.com/74100/x,2为1到23的值 2.用到模块 os 创建文件目录; re模块正则匹配目录名 图片下载地址; time模块 限制下载时间;requests模块获取网页源代码;urllib模块 urllib.urlretrieve(图片url,保存的带扩展名的文件名x.jpg)方法下载图片 3.知识点 文件目录处理  函数封装调用 全局变量 4.代码 # -*- coding:utf8 -*- import os import re impo…

... #!/usr/bin/env python import urllib.request from bs4 import BeautifulSoup def crawl(url): headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} req = urllib.request.Request(url, header…