我也是根据:http://blog.csdn.net/pleasecallmewhy/article/details/8927832 ,来写出豆瓣读书的爬虫,废话不说直接上代码: #!/usr/bin/env python #-*-coding=utf-8-*- import urllib2 #获取豆瓣读书的分页的页面 def doubanbook(url,begin,end): for i in range(begin,end+1): filename = str(i) + '.html' p…

上次使用了BeautifulSoup库爬取电影排行榜,爬取相对来说有点麻烦,爬取的速度也较慢.本次使用的lxml库,我个人是最喜欢的,爬取的语法很简单,爬取速度也快. 本次爬取的豆瓣书籍排行榜的首页地址是: https://www.douban.com/doulist/1264675/?start=0&sort=time&playable=0&sub_type= 该排行榜一共有22页,且发现更改网址的 start=0 的  0 为25.50就可以跳到排行榜的第二.第三页,所以后面只…

__str__ :  str(obj) ,  需求必须实现了 __str__, 要求这个方法的返回值必须是字符串  str  类型 __repr__ (意为原型输出):  是 __str__ 的备胎(在找不到__str__的时候返回__repr__) ,吐过有__str__方法, 那么先去执行__str__ 方法   并使用__str__ 的返回值.  如果没有__str__  那么print  %s  str  都会执行  repr. 注意: #在子类中使用__str__ , 先找子类的__s…

大家好,我是痞子衡,是正经搞技术的痞子.本系列痞子衡给大家介绍的是机器视觉模块OpenMV-RT初体验. 近些年机器视觉应用一直是个很火的方向,想象一下机器如果能长上"眼睛",是不是就可以做一些人类才能做的事情,因此机器视觉是人工智能实现的一个重要基础.痞子衡当年硕士毕业论文课题就是工业相机图像处理相关的,算是机器视觉系统的前端核心.遥想十年以前,想要从事机器视觉系统的开发一直是比较复杂的,需要开发者有相当扎实的嵌入式开发基础,而现在一些机器视觉相关研究小组为了能让开发者把更多重心放在…

PyPy初体验 PyPy安装 1.下载 下载地址:http://pypy.org/download.html(温馨提示:需要梯子) 下载PyPy3.6 64bit Ubuntu版本 解压 下载下来的文件pypy3.6-v7.1.1-linux64.tar.bz2移动到家目录或/opt目录下,然后解压 tar -xjf pypy3.6-v7.1.1-linux64.tar.bz2 建立软连接 ln -s ~/pypy3.6-v7.1.1-linux64/bin/pypy3 /usr/bin/pyp…

简介 朋友问我能不能做一个下载他在豆瓣读书上的短评的工具,于是就做了这个“豆瓣用户读书短评下载工具”. GitHub链接:https://github.com/xiaff/dbc-downloader. 这个小工具使用Python3.4编写,其工作流程为: 用户输入其豆瓣ID: 抓取用户评论列表网页 对网页进行解析: 存储评论相关信息: 将Markdown格式文件转换为Html. 用到的库主要有: urllib.request BeautifulSoup4 markdown 抓取网页 所需要抓取…

因为需要从一些下载一个页PDF文件.但是需要下载PDF有数百个文件,这是不可能用人工点击下载.只是Python有相关模块,所以写一个程序PDF文件下载,顺便熟悉Python的urllib模块和ulrllib2模块. 1.问题描写叙述 须要从http://www.cvpapers.com/cvpr2014.html上下载几百个论文的PDF文件,该网页例如以下图所看到的: watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveGlhb2d1YWloYWk=/fo…

延续上一篇,想把自己博客的文档标题利用Node.js的request全提取出来,于是有了下面的初哥爬虫,水平有限,这只爬虫目前还有点瘸腿,请看官你指正了. // 内置http模块,提供了http服务器和客户端功能 var http=require("http"); // 内置文件处理模块 var fs=require('fs'); // 创建一个将流数据写入文件的WriteStream对象 var outstream=fs.createWriteStream('./1.txt'); /…

python系列均基于python3.4环境 ---------@_@? -------------------------------------------------------------------- 提出问题:如何简单抓取一个网页的源码 解决方法:利用urllib库,抓取一个网页的源代码 ------------------------------------------------------------------------------------ 代码示例 #python3.…

node.js 初体验 2011-10-31 22:56 by 聂微东, 174545 阅读, 118 评论, 收藏, 编辑 PS: ~ 此篇文章的进阶内容在为<Nodejs初阶之express> ~ 2014/09/24 更新<Express 4.X 启航指南> 欢迎阅读和评论:) 最近写的文章收到许多朋友的反馈,感谢大家的支持和建议,让我对坚持写博客充满热情,一个月一篇文章确实有点少,所以以后尽力多做分享,做好的分享,希望能对朋友们有用. 到新公司的这段时间学到了很多新东西,有…