介绍：此程序是使用python做的一个爬虫小程序  爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化 需要修改部分内容。词条链接 http://baike.baidu.com/item/Python

逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。  (2)链接下载保存模块   (3)解析网页模块   (4)输出解析内容模块，然后就是写抓取网页内容的方法。

下边为爬取方法代码：

def craw(self, root_url):  #抓取网页

        count = 1

        self.urls.add_new_url(root_url)

        while self.urls.has_new_url():  #判断是否有新的网页抓取

            try:

                new_url = self.urls.get_new_url() #获取新的url

                print "craw %d : %s"%(count,new_url)

                html_cont = self.downloader.download(new_url)#获取新网页的链接

                new_urls,new_data=self.parser.parse(new_url,html_cont)  #解析网址和网址内容

                self.urls.add_new_urls(new_urls) #url放入管理器

                self.outputer.collect_data(new_data) #网页数据收集

                if count == 30:

                    break

                count +=1

            except:

                print 'craw failed'

        self.outputer.output_html()

  2.链接管理模块   中实现四个方法a.向存储链接的表中添加需要爬取的新的链接add_new_url      b. 批量添加新链接 add_new_urls     c.判断链接表中是否有待爬取的新链接has_new_url     d.取一个待爬取的新链接  并将这个链接从链接表中移除（防止重复爬取相同内容）get_new_url

部分代码：

def add_new_url(self,url):   #添加一个新的url

        if url is None:

            return

        if url not in self.new_urls and url not in self.old_urls:

            self.new_urls.add(url)

    def add_new_urls(self,urls):   #批量添加url

        if urls is None or len(urls) == 0:

            return

        for url in urls:

            self.add_new_url(url)

    def has_new_url(self):  #判断是否有新的待取的url

        return len(self.new_urls) !=0

    def get_new_url(self):   #取一个待爬取的url

        new_url = self.new_urls.pop() #取一个url并将其移除

        self.old_urls.add(new_url)

        return new_url

3.链接下载模块

使用urllib2进行需要爬取的链接的下载   （文末附上urllib2开发文档链接）

 def download(self,url):  #使用urllib2获取网页链接

        if url is None:

            return None

        response = urllib2.urlopen(url)

        if response.getcode()!=200: #判断请求是否成功

            return None

        return response.read()

    4.网页解析模块

网页解析使用beautifulsoup4库进行操作（文末附上beautifulsoup4开发文档链接）

def _get_new_urls(self, page_url, soup):  #获取新的网址

        new_urls = set()

        links = soup.find_all('a',href= re.compile(r'/item/'))

        for link in links:

            new_url = link['href']           #因为词条网址分成了两段所以这里需要将其拼接

            new_full_url = urlparse.urljoin(page_url,new_url)

            new_urls.add(new_full_url)   #将完整网址添加到网址列表中

        return new_urls

    def _get_new_data(self, page_url, soup): #获取新的网址中内容

        res_data = {}

        #url

        res_data['url']=page_url

        #<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>

        title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")

        res_data['title']=title_node.get_text()

        #<div class="lemma-summary"

        summary_node = soup.find('div',class_="lemma-summary")

        res_data['summary']=summary_node.get_text()

        return res_data

   5.输出内容

将爬取的内容以html形式保存在本地（代码成功运行后再工程project下刷新会有一个html文件）

def output_html(self):

        fout = open('output.html','w')

        fout.write("<html><meta charset=\"utf-8\" />")

        fout.write("<body>")

        fout.write("<table>")

        #ascii

        for data in self.datas:

            fout.write("<tr>")

            #fout.write("<td>%s</td>" % data['url'])

            fout.write("<td>%s</td>" % data['title'])

            fout.write("<td>%s</td>" % data['summary'])

            fout.write("</tr>")

        fout.write("</table>")

        fout.write("</body>")

        fout.write("</html>")

        fout.close()



PS：urllib2开发文档：https://docs.python.org/2/howto/urllib2.html

beautifulsoup4开发文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/点击打开链接

教程视频连接：http://www.imooc.com/learn/563

demo项目：csdn下载频道http://download.csdn.net/detail/th226/9914405

适合新手的Python爬虫小程序的更多相关文章

  1. 一个python爬虫小程序

    起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么“装饰器”啊.“多线程”啊都没有学到. 想到廖雪峰大神的python教程很经典.很著名.就想找找有木有pdf版的 ...

  2. python 购物车小程序

    python 购物车小程序 功能要求:1.启动程序后,输入用户名密码后,让用户输入工资,然后打印商品列表2.允许用户根据商品编号购买商品3.用户选择商品后,检测余额是否够,够就直接扣款,不够就提醒4. ...

  3. nodeJs爬虫小程序练习

    //爬虫小程序 var express = require('express'); //superagent是一个http的库,可以发起get和post请求 var superagent = requ ...

  4. 福利贴——爬取美女图片的Java爬虫小程序代码

    自己做的一个Java爬虫小程序 废话不多说.先上图. 目录命名是用标签缩写,假设大家看得不顺眼能够等完成下载后手动改一下,比方像有强迫症的我一样... 这是挂了一个晚上下载的总大小,只是还有非常多由于 ...

  5. appium+python 微信小程序的自动化

    sudo kill -9 $(lsof -i:8889 -t) mitmweb -p 8889 -s addons.py mitmdump -q  -p 8889 -s addons.py http: ...

  6. Python基本小程序

    目录 Python基本小程序 一.筛选从1-100所有的奇数 二.筛选从0-100所有的偶数 三.求1-100之间所有的偶数和,奇数和 四.三个数由小到大输出 五.四个数字重复数字的三位数 Pytho ...

  7. 【python】——小程序之电话薄

    初学python,写一个小程序练习一下.主要功能就是增删改查的一些功能.主要用到的技术:字典的使用,pickle的使用,io文件操作.代码如下: import pickle #studentinfo ...

  8. Python UDP小程序

    为了做UDP的测试,采用了nc和Python的服务器端. nc的安装和使用: yum install -y nc nc -vuz Python的UDP服务器端小程序: # -*- coding: UT ...

  9. python爬虫小实例

    1.python爬取贴吧壁纸 1.1.获取整个页面数据 #coding=utf-8 import urllib def getHtml(url): page = urllib.urlopen(url) ...

随机推荐

  1. 字符集、字符编码、XML中的中文编码

    字符集.字符编码.XML中的中文编码 作为程序员的你是不是对于ASCII .UNICODE.GB2321.UTF-7.UTF-8等等不时出现在你面前的这些有着奇怪意义的词感到很讨厌呢,是不是总觉得好象 ...

  2. ICE 的回调

    使用分布式计算中间件ICE到现在已经有一年多了,在这一年里里面对ICE的理解.应用比较熟悉. 使用ICE写分布式软件,确实是很方便:ICE比较稳定.可靠,调用返回速度低延迟,使用简单,学习曲线不是很陡 ...

  3. 骨骼动画 cocos2d-x + cocoStudio <cocos2d-x : version 2.2.0>

    cocos2d-x version 2.2.0 首先,在 HelloWorldScene.cpp 中的 init()函数中 添加如下代码 (资源文件可以直接到 cocos2d-x 中获取) #incl ...

  4. SaaS模式实现架构

    SaaS模式实现架构 https://blog.csdn.net/xwq911/article/details/50630266 1. 数据库层: 数据库这一层的设计模式是很清晰的,无外乎只有3种方案 ...

  5. 加密第四节_IPSec基本理论

    加密第四节_IPSec基本理论 本节内容 IPSec简介 IPSec两种工作模式 判断隧道模式和传输模式 IPSec两种模型 IPSec两个数据库 IPSec基本理论 IPSec简介 提供了网络层的安 ...

  6. 关于yii的日志路由组件的配置问题

    最近突然意识到日志是很好滴debug工具,所以研究了一下yii的日志配置,想想应该还会有像我这样的小白不懂这些问题的,就分享一下了.有错误烦请大神们指出config/main.php 中配置,这个想必 ...

  7. 使用Jsonp实现跨域请求

    来自百度百科的一段话: JSONP(JSON with Padding)是JSON的一种“使用模式”,可用于解决主流浏览器的跨域数据访问的问题.由于同源策略,一般来说位于 server1.exampl ...

  8. thinkphp <volist>标签中 <if> 判断的写法

    thinkphp <volist>标签中 <if> 判断的写法 <volist name="data" id="vo"> & ...

  9. GWT实现“跟随标题栏”

    在一些商城或者博客上,随处可见一些“跟随的标题栏”,什么是”跟随的标题栏“呢?它的效果是当浏览器窗口移到看不见某处内容的时候,这块内容的标题会紧贴在浏览器顶部,跟随浏览器滑动,当用户将浏览器内容往上拖 ...

  10. Java基础--序列化Serializable

    对Java对象序列化的目的是持久化对象或者为RMI(远程方法调用)传递参数和返回值. 下面是一个序列化对象写入文件的例子: ---------------------------- package u ...