py文件: from fake_useragent import UserAgent import requests from http import cookiejar import base64 from PIL import Image import time, json import hashlib, hmac import execjs from urllib import parse ua = UserAgent() class MyException(Exception): def

思路 选定起始人 选一个关注数或者粉丝数多的大V作为爬虫起始点 获取粉丝和关注列表 通过知乎接口获得该大V的粉丝列表和关注列表 获取列表用户信息 获取列表每个用户的详细信息 获取每个用户的粉丝和关注 进一步对列表中的每个用户 获取他们的粉丝和关注列表实现递归爬取 起始点 https://www.zhihu.com/people/excited-vczh/answers 抓取信息 个人信息 关注列表 ajax请求 代码实现 ./items.py文件 # -*- coding: utf-8 -*-

关系型数据库存储 关系型数据库是基于关系模型的数据库,而关系模型是通过二维表保存的,所以它的存储方式就是行列组成的表.每一列是一个字段,每一行是一条记录.表可以看作某个实体的集合,而实体之间存在联系,就需要表与表之间的关联关系来体现.例如 主键和外键的关联关系,多个表组成一个数据库,也就是关系型数据库. 关系型数据库有很多种.如SQLite.MySQL.Oracle.SQL Server.DB2等. 1.MySQL的存储 在python2中,连接MySQL的库大多是使用MySQLdb,但是此库的

由于Python3合并URLib与URLlib2统一为URLlib,Python3将urlopen方法放在了urllib.request对象下. 官方文档:https://docs.python.org/3/library/urllib.request.html#module-urllib.request 在实现爬取网页过程中,屡次执行以下脚本: #coding:UTF-8 import random; import urllib.request;# 不推荐使用 import urllib ra

一般爬虫都是用urllib包,requests包 配合正则.beautifulsoup等包混合使用,达到爬虫效果,不过有框架谁还用原生啊,现在我们来谈谈SCRAPY框架爬虫, 现在python3的兼容性上来了,SCRAPY不光支持python2版本了,有新的不用旧的,现在说一下让很多人望而止步的安装问题,很多人开始都安装不明白, 当前使用的版本是PYTHON3.5,安装时用PIP3 安装步骤: 1 安装wheel pip3 install wheel 2 安装twisted pip3 insta

这是学习python爬虫练习很好的网站,强烈推荐! 地址http://www.heibanke.com/lesson/crawler_ex00/ 第一关猜数字 很简单,直接给出代码 import urllib.request as ur import re url='http://www.heibanke.com/lesson/crawler_ex00/' pat=re.compile(r'<h3>(\D+(\d+)\D*)</h3>') num='' while True: ne

本文参考虫师python2实现简单爬虫功能,并增加自己的感悟. #coding=utf-8 import re import urllib.request def getHtml(url): page = urllib.request.urlopen(url) html = page.read() #print(type(html)) html = html.decode('UTF-8') #print(html) return html def getImg(html): reg = r'im

刚开始学习Python,不愿意看基础,记忆不好,那些语法记不住,直接上个项目,这样比较深刻 刚好公司有个情况要查企业的信息,就想做个爬虫吧,有验证码的不愿意搞,那是个老大难问题,就选择了天眼查 过程都略了,直接写个结果吧,总结出来的步骤如下: 一.天眼查最大的障碍在于字体问题,这个网上都有介绍,大概意思就是说,在网页显示出来的某些字符,是天眼查自己的字体文件处理的. 比如汉字 坐  的utf-8的编码是 b'\\u5750'  ,但在天眼查的字体文件里,这个编码对应的汉字是  万 . 这样在页面

一.分布式爬虫 前面我们了解Scrapy爬虫框架的基本用法 这些框架都是在同一台主机运行的 爬取效率有限 如果多台主机协同爬取 爬取效率必然成倍增长这就是分布式爬虫的优势 1. 分布式爬虫基本原理 1.1 分布式爬虫架构 Scrapy 单机爬虫中有一个本地爬取队列Queue 这个队列是利用 deque 模块实现的 如果新的 Request 生成就会放在队列里面 随后 Request被Scheduler调度 之后 Request 交给 Downloader 执行爬取 简单的调度架构如图 单主机爬虫

一.scrapy框架的使用 前面我们讲了pyspider 它可以快速的完成爬虫的编写 不过pyspider也有一些缺点 例如可配置化不高 异常处理能力有限对于一些反爬虫程度非常强的网站 爬取显得力不从心 1. scrapy框架介绍 scrapy是一个基于Twisted 的异步处理框架 是纯python实现的爬虫框架 架构清晰 模块之间耦合度低 可拓展性极强可以灵活完成各种需求 只需要定制开发几个模块 就可以轻松实现一个爬虫 1.1 架构介绍 可以分为如下几个部分 Engine 引擎 处理整个系统

二.pyspider框架的使用 简介 pyspider是由国人binux 编写的强大的网络爬虫系统 github地址 : https://github.com/binux/pyspider 官方文档 http://docs.pyspider.org/ pyspider 带有强大的WebUI 脚本编辑器 任务监控器 项目管理器 以及结果处理器 支持多种数据库后端 多种消息队列 JavaScript渲染页面的爬取 使用起来非常方便 1.基本功能 提供可视化编写和调试爬虫爬虫项目管理能力支持多种后端数

一.app爬取 前面都是介绍爬取Web网页的内容,随着移动互联网的发展,越来越多的企业并没有提供Web页面端的服务,而是直接开发了App,更多信息都是通过App展示的 App爬取相比Web端更加容易 反爬虫能力没有那么强,而且数据大多数是以JSON形式传递的 解析更加简单 在Web端 我们可以通过浏览器开发者工具 监听到各个网络请求和响应过程 在App端 查看内容就需要抓包软件例如 WireShark Fiddler Charles mitmproxy AnyProxy等 它们原理基本相同 可以

一.代理池的维护 上面我们利用代理可以解决目标网站封IP的问题 在网上有大量公开的免费代理 或者我们也可以购买付费的代理IP但是无论是免费的还是付费的,都不能保证都是可用的 因为可能此IP被其他人使用来爬取同样的目标站点而被封禁或者代理服务器突然故障或者网络繁忙 一旦选用了一个不可用的代理,这势必会影响爬虫的工作效率 1.准备工作 需要安装Redis数据库并启动服务 另外还需要安装aiohttp.requests.redis-py.pyquery.flask库 redis数据库安装 下载地址 h

Splash是一个JavaScript渲染服务 是一个带有HTTP API的轻量级浏览器 同时对接了python的Twisted 和QT库 利用它可以实现对动态渲染页面的抓取 功能介绍 1.异步方式处理多个网页渲染过程 2.获取渲染后的页面源代码或截图 3.通过关闭图片渲染或使用Adblock规则加快页面渲染速度 4.可执行特定js脚本 5.可通过Lua脚本来控制页面渲染过程 6.获取渲染的详细过程并通过HAR(HTTP Archive)格式呈现 安装准备 1.Docker的安装 (后面讲到时会

一.动态渲染页面爬取 上节课我们了解了Ajax分析和抓取方式,这其实也是JavaScript动态渲染页面的一种情形,通过直接分析Ajax,借助requests和urllib实现数据爬取 但是javaScript动态渲染布置Ajax一种 例如中国青年网(http://news.youth.cn/gn/)分页部分由js生成,并非原始HTML代码,这其中并不包含ajax请求 比如ECharts官方示例(http://echarts.baidu.com/demo.html#bar-negative)图形

非关系型数据库存储 NoSQL 全称 Not Only SQL 意为非SQL 泛指非关系型数据库.基于键值对 不需要经过SQL层解析 数据之间没有耦合性 性能非常高. 非关系型数据库可细分如下: 键值存储数据库: 代表有Redis.Voldemort.和Oracle BDB等. 列存储数据库:代表有Cassandra.HBase.和Riak等. 文档型数据库:代表有CouchDB.Mongodb等. 图形数据库:代表有Neo4J.InfoGrid.Infinite.Graph等. 对于爬虫的数据

3.CSV文件存储 CSV 全称 Comma-Separated Values 中文叫做逗号分隔值或者字符分隔值,文件以纯文本形式存储表格数据.文件是一个字符序列 可以由任意数目的记录组成相当于一个结构化表的纯文本形式,它比Excel更加简洁,XLS文本是电子表格,包含文本,数值,公式和格式等内容,CSV都没有 就是特定的字符分隔纯文本,结构简单清晰. 3.1 写入 示例: import csv with open('data.csv','w') as csvfile: writer = csv

数据存储 用解析器解析出数据之后,就是存储数据了.保存的形式可以多种多样,最简单的形式是直接保存为文本文件,如TXT JSON CSV等.另外还可以保存到数据库中,如关系型数据库MySQL 非关系型数据库MongoDB Redis等 一.文件存储 1.TXT文本存储 将数据保存到TXT文本的操作非常简单,而且TXT文本几乎兼容任何平台,缺点是不利于检索.所以针对检索和数据结构要求不高,追求方便第一的话,可以采用TXT文本存储. 1.1 目标保存知乎上 “发现” 页面 的 “热门话题”部分,提取标

二.Beautiful Soup 简介 就是python的一个HTML或XML的解析库 可以用它来很方便的从网页中提取数据 0.1 提供一些简单的 python式的函数来处理导航,搜索,修改分析树等功能, 它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用 0.2 自动将输入的文档转换为Unicode编码,输出文档转换为UTF-8编码,不需要考虑编码方式, 除非文档没有指定一个编码方式,这是你仅仅需要说明以下原始编码格式就可以了. 0.3

一.requests 库使用 需要安装 pip install requests import requests #导入requests库 request = requests.get("https://www.baidu.com")#发送get请求(url地址) print(request) #打印响应状态 如果要添加额外的信息 例如 name = germey age = 22 req = reuqests.get("http://httpbin.org/get?name

安装python后 自带urllib库 模块篇 分为几个模块如下: 1. urllib.request 请求模块 2. urllib.parse 分析模块 3. urllib.error 异常处理模块 4. urllib.robotparser robots文本协议识别 用的比较少 方法篇 分为以下几种方法: urlopen() 示例: import urllib.request response = urllib.request.urlopen("https://www.python.org&