#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2017-06-11 10:10:53 # Project: london from pyspider.libs.base_handler import * import pymongo class Handler(BaseHandler): crawl_config = { } client = pymongo.MongoClient('localhost') db = c…

具体搭建步骤不再赘述,这里主要使用到了fakeagent,phantomjs和proxy pyspider的爬取相当智能,在不能获取图片的时候会适当的暂停一段时间再试探性的爬取,配合fakeagent,proxypool和phantomjs,爬取成功率在90%以上. 代码是扒的别人的然后修改提高速度和成功率的,数据总量在百G左右,磁盘大的可以扒一扒. 代码如下: #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2016-0…

前几天跟同事聊到最近在看什么小说,想起之前看过一篇文章说的是网络十大水文,就想把起点上的小说信息爬一下,搞点可视化数据看看.这段时间正在看爬虫框架-pyspider,觉得这种网站用框架还是很方便的,所以今天就给大家带来这篇---起点中文网小说爬取.可视化我们放到下一集. 安装使用 安装和基本使用请查看pyspider中文文档,我们这篇主要不是介绍pyspider哦.Mac安装的过程中出现了一些问题,请看Mac安装pycurl失败,装好以后使用pyspider all启动.然后打开浏览器输入:ht…

1 创建项目 点击WEB中的Create创建项目 填入相关项目名和其实爬取URL 创建后进入项目首页 右边 Handler 是pyspider的主类,整个爬虫一个Handler,其中可定义爬虫的爬取.解析.存储逻辑:crawl_config 中定义项目爬取配置:on_start() 爬取入口,通过调用 crawl() 方法新建爬取请求,第一个参数是爬取的URL,另外一个参数callback指定爬取成功后的解析方法,即index_page().index_page() 接收Response参数,R…

获取堆糖网站所有用户的id 昵称及主页地址 #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2016-06-21 13:57:13 # Project: duitang from pyspider.libs.base_handler import * class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(sel…

直接上代码 #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2017-10-27 09:56:50 # Project: redis_test from pyspider.libs.base_handler import * import redis class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(sel…

写一个简单案例测试能否将数据写入es #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2017-10-27 08:35:57 # Project: es_test from pyspider.libs.base_handler import * from elasticsearch import Elasticsearch class Handler(BaseHandler): crawl_config = { } def…

做一个简单的测试,看数据能否存入mysql 1 #!/usr/bin/env python 2 # -*- encoding: utf-8 -*- 3 # Created on 2017-10-26 16:03:21 4 # Project: mysql_test 5 6 from pyspider.libs.base_handler import * 7 import MySQLdb 8 9 class Handler(BaseHandler): 10 crawl_config = { 11…

接上篇,刚装好的pyspider,我们打算大显身手,抓一批数据到mysql中. 然而,出师未捷,提示我们:ImportError: No module named MySQLdb 这是因为还没有安装MySQL-python驱动,它是python 操作mysql必不可少的模块. 好了,开始下载 1.下载mysql-python驱动 wget https://pypi.python.org/packages/a5/e9/51b544da85a36a68debe7a7091f068d802fc515a…

#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2015-03-20 09:46:20 # Project: fly_spider import re import time #from pyspider.database.mysql.mysqldb import SQL from pyspider.libs.base_handler import * from pyquery import PyQuery as pq c…