目录

  • 前言
  • 要解决的问题
  • 设计方案
  • 代码说明
  • 小结

前言

前一段一直在打基础,已经学习了变量,流程控制,循环,函数这几块的知识点,就想通过写写小程序来实践一下,来加深知识点的记忆和理解。首先考虑的就是爬虫啦,一直很崇拜爬虫大师,特别想能够学习一些爬虫技术,去淘宝上爬爬数据,说不定什么时候可以使用数据进行一些分析,比如哪天自己也开了个小店啥的~~。为了能够开始起步, 我看了一些视频,查阅了一些资料,起步阶段就不用那些很牛逼的框架了,主要是想通过基本的爬虫来了解爬虫的基本概念和思路。

要解决的问题

查阅百度百科的某个关键词以及相关联的关键词的集合。这是一个比较有意义的事情,通过这样的数据能更好的理解相关的生态圈。比如我查阅“分布式计算”  http://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97/85448 文章里面含有很多的有链接的关键词,就这样不断的迭代去爬这些链接的关键词的文章内的关键词。

设计方案

爬虫含有5个组成部分:主程序,URL管理器,HTML下载器,HTML解析器,结果展示器

主程序:调度其他的部件的执行,并作为主程序入口来执行代码

URL管理器: 管理URL的集合以及状态 - 未下载的URL,已下载的URL,添加新的URL,去除已现在的URL

HTML下载器: 下载URL对应的HTML

HTML解析器: 解析下载下来的HTML,取出有用的数据

结果展示器: 组织最终生成的数据,并展示或者存储起来

代码说明

  • 代码组织架构

  • 代码展示
部件名称 程序名称 代码
主程序 SpiderMain.py
from Spider import UrlManager,HtmlDownloader,HtmlParser,HtmlOutputer

class Spider(object):

    def __init__(self):
self.urlmanager = UrlManager.Manager()
self.htmldownloader = HtmlDownloader.Downloader()
self.htmlparser = HtmlParser.Parser()
self.htmloutputer = HtmlOutputer.Outputer() def scrpy(self, root_url):
self.urlmanager.add_new_urls(root_url)
count = 1
while(self.urlmanager.has_new_url()):
if(count>10):
break curr_url = self.urlmanager.get_new_url()
html_content = self.htmldownloader.load(curr_url)
print("No.%d Downloading URL %s" % (count, curr_url))
word,new_urls,lemmasummary = self.htmlparser.parse(curr_url,html_content)
data={}
data['word']=word
data['curr_url']=curr_url
data['lemmasummary']=lemmasummary
self.htmloutputer.collect(data)
self.urlmanager.add_new_urls(new_urls)
count = count + 1
self.htmloutputer.genhtml() if(__name__=='__main__'):
root_url = "http://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97/85448"
spider = Spider()
spider.scrpy({root_url})
URL管理器 UrlManager.py
class Manager(object):
def __init__(self):
self.old_urls=set()
self.new_urls=set() def add_new_urls(self, root_url):
for url in root_url:
if(root_url not in self.old_urls and root_url not in self.new_urls):
self.new_urls.add(url) def has_new_url(self):
if(len(self.new_urls) > 0):
return True
else:
return False def get_new_url(self):
tmp=self.new_urls.pop()
self.old_urls.add(tmp)
return tmp
HTML下载器 HtmlDownloader.py
import urllib.request

class Downloader(object):
def load(self, curr_url):
html = urllib.request.urlopen(curr_url)
return html.read().decode("UTF-8",'ignore')
HTML解析器 HtmlParser.py
import re
from urllib.parse import urljoin
from bs4 import BeautifulSoup class Parser(object):
def __init__(self):
self.title = ''
self.urls = set()
self.lemmasummary = '' def parse(self, curr_url, html_content):
soup = BeautifulSoup(html_content, 'html.parser',from_encoding="utf-8")
soupurls=soup.find_all('a',href=re.compile(r'/view'))
for url in soupurls:
self.urls.add(urljoin(curr_url,url['href']))
self.title = soup.title.string.split("_")[0]
self.lemmasummary = soup.find('div',class_='lemma-summary')
return self.title,self.urls,self.lemmasummary
结果展示器 HtmlOutputer.py
class Outputer(object):
def __init__(self):
self.table = [] def collect(self, data):
self.table.append(data) def genhtml(self):
html = open('result.html','w')
html.write("<html>")
html.write("<head>")
html.write("</head>")
html.write("<body>")
html.write("<table>")
for data in self.table:
html.write("<tr>")
html.write("<td>%s</td>" % data['word'])
html.write("<td>%s</td>" % data['curr_url'])
html.write("<td>%s</td>" % data['lemmasummary'])
html.write("</tr>")
html.write("</table>")
html.write("</body>")
html.write("</html>")
html.close()
  • 最终的结果

小结

在上面的爬虫代码里面,主要体现了爬虫的几个部件之间的配合,以及每个部件的所引用的模块,比如urllib,bs4,re

Python进阶篇:Python简单爬虫的更多相关文章

  1. python 进阶篇 python 的值传递

    值传递和引用传递 值传递,通常就是拷贝参数的值,然后传递给函数里的新变量,这样,原变量和新变量之间互相独立,互不影响. 引用传递,通常是指把参数的引用传给新的变量,这样,原变量和新变量就会指向同一块内 ...

  2. python进阶篇

    python进阶篇 import 导入模块 sys.path:获取指定模块搜索路径的字符串集合,可以将写好的模块放在得到的某个路径下,就可以在程序中import时正确找到. ​ import sys ...

  3. python根据正则表达式的简单爬虫

    今天根据正则表达式简单的爬了一下大众点评,把北京的美食爬了爬,(店铺名,人均消费,地址) import re import urllib.request from urllib.request imp ...

  4. python+senium+chrome的简单爬虫脚本

    简述: 开始接触python写web自动化的脚本主要源于在公司订阅会议室,主要是使用python+selenium+chromedriver驱动chrome浏览器来完成的,其中部分python代码可以 ...

  5. python第一篇-------python介绍

    一.python介绍 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,Guido开始写Python语言的编译器.Python这个名字,来自Guido所 ...

  6. Python 进阶篇

    作者:武沛齐 出处:http://www.cnblogs.com/wupeiqi/articles/5246483.html Model 到目前为止,当我们的程序涉及到数据库相关操作时,我们一般都会这 ...

  7. python练习1(简单爬虫)

    做一个简单的练习 目标:爬取中文小说 目标网站:http://www.biqule.com/book_58/26986.html 只爬取正文部分. 使用requests库来获取网页信息,使用re库正则 ...

  8. python 进阶篇 函数装饰器和类装饰器

    函数装饰器 简单装饰器 def my_decorator(func): def wrapper(): print('wrapper of decorator') func() return wrapp ...

  9. python放弃篇(Django/爬虫)

    第一篇:Django系列 第二篇:爬虫系列 待续……

随机推荐

  1. Python练习-生成器表达式-筛选与运算

    # 编辑者:闫龙 l = [10, 2, 3, 4, 5, 6, 7] l1 = [int(i)**2 for i in l] # 得到一个新列表l1,新列表中每个元素是l中对应每个元素值的平方 pr ...

  2. 在Linode VPS上搭建离线下载神器Aria2+WEBUI管理及对国内云盘看法

    在Linode VPS上搭建离线下载神器Aria2+WEBUI管理及对国内云盘看法 2015-09-21 by Hansen 原文链接:http://www.hansendong.me/archive ...

  3. 移动开发关于APN的知识整理

    APN(Access Point Name),即"接入点名称",用来标识GPRS的业务种类,是通过手机上网时必须配置的一个参数,其决定了手机通过哪种接入方式来访问网络. 一.类别 ...

  4. avalonJS-源码阅读(一)

    写angularJS源码阅读系列的时候,写的太垃圾了.一个月后看,真心不忍直视,以后有机会的话得重写.这次写avalonJS,希望能在代码架构层面多些一点,少上源码.多写思路. avalon暴露句柄方 ...

  5. 【转】GridView 加载空行并点击编辑每一个单元格

    代码 <script runat="server"> protectedvoid Button1_Click(object sender, System.EventAr ...

  6. Java HashCode详解

    一.为什么要有Hash算法 Java中的集合有两类,一类是List,一类是Set.List内的元素是有序的,元素可以重复.Set元素无序,但元素不可重复.要想保证元素不重复,两个元素是否重复应该依据什 ...

  7. wpf 在Popup内的TextBox 输入法 不能切换

    切换输入法 输入不了中文 [DllImport("User32.dll")] public static extern IntPtr SetFocus(IntPtr hWnd); ...

  8. HDU 1068 Girls and Boys(最大独立集)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1068 题目大意:有n个人,一些人认识另外一些人,选取一个集合,使得集合里的每个人都互相不认识,求该集合 ...

  9. linux下Ctrl命令组合

    1.键盘组合键操作 ctrl-c 发送 SIGINT 信号给前台进程组中的所有进程.常用于终止正在运行的程序. ctrl-z 发送 SIGTSTP 信号给前台进程组中的所有进程,常用于挂起一个进程.  ...

  10. 在 Python 中使用 GDB 来调试 转载

    2013/11/01 | Comments 大约一年前,我接触了 Java 中的 Btrace 能够不停机查看线上 JVM 运行情况的特性让我艳羡不已. 另外还有强悍的 jStack 和 jConso ...