需求:抓取百度百科python词条相关词条网页的标题和简介,并将数据输出在一个html表格中

入口页:python的百度词条页 https://baike.baidu.com/item/Python/407313

词条页面URL:'/item/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E8%AF%AD%E8%A8%80' 注意:这不是一个完整的url,需要对之进行拼接

数据格式:

  1. -标题:<dd class="lemmaWgt-lemmaTitle-title"><h1>***</h1></dd>
    -简介:<div class='lemma-summary'>***</div>
    页面编码:UTF-8
  2.  
  3. 实例代码:
    文件目录结构如图

  1.  

  2. 入口文件(spider_main.py):
  1. # coding:utf-8
  2. import url_manager
  3. import html_parser
  4. import html_downloader
  5. import html_outputer
  6.  
  7. class SpiderMain(object):
  8. def __init__(self):
  9. self.urls = url_manager.UrlManager()
  10. self.downloader = html_downloader.HtmlDownloader()
  11. self.parser = html_parser.HtmlParser()
  12. self.outputer = html_outputer.HtmlOutputer()
  13.  
  14. def craw(self, root_url):
  15. count = 1
  16. self.urls.add_new_url(root_url)
  17. while self.urls.has_new_url(): # 如果有待爬取的url
  18. try:
  19. new_url = self.urls.get_new_url() # 取一个待爬取的url
  20. print 'craw %d:%s' % (count, new_url)
  21. html_cont = self.downloader.download(new_url) # 下载页面
  22. new_urls, new_data = self.parser.parse(new_url, html_cont) # 解析页面得到新的url和一些数据
  23. self.urls.add_new_urls(new_urls) # 将新得到的url添加到url管理器
  24. self.outputer.collect_data(new_data) # 将获取到的数据添加到output文件中
  25. if count == 10:
  26. break
  27. count += 1
  28. except Exception as e:
  29. print e
  30. self.outputer.output_html()
  31.  
  32. if __name__ == '__main__':
  33. obj_spider = SpiderMain()
  34. obj_spider.craw('https://baike.baidu.com/item/Python/407313')

url管理文件(url_manager.py):

  1. # coding:utf-8
  2.  
  3. class UrlManager(object):
  4. def __init__(self):
  5. self.new_urls = set()
  6. self.old_urls = set()
  7.  
  8. def add_new_url(self, url):
  9. if url is None:
  10. return
  11. if url not in self.new_urls and url not in self.old_urls:
  12. self.new_urls.add(url)
  13.  
  14. def add_new_urls(self, urls):
  15. if urls is None or len(urls) == 0:
  16. return
  17. for url in urls:
  18. self.add_new_url(url)
  19.  
  20. def has_new_url(self):
  21. return len(self.new_urls) != 0
  22.  
  23. def get_new_url(self):
  24. new_url = self.new_urls.pop() # 从列表中获取一个并且移除
  25. self.old_urls.add(new_url)
  26. return new_url

页面源码下载(html_downloader.py):

  1. # coding:utf-8
  2. import urllib2
  3.  
  4. class HtmlDownloader(object):
  5. def download(self, url):
  6. if url is None:
  7. return None
  8. response = urllib2.urlopen(url)
  9. if response.getcode() != 200:
  10. return None
  11. return response.read()
  1. 源码解析(html_parser.py):
  1. # coding:utf-8
  2. from bs4 import BeautifulSoup
  3. import urlparse
  4. import re
  5.  
  6. class HtmlParser(object):
  7. def _get_new_urls(self, page_url, soup):
  8. new_urls = set()
  9. # 页面中的链接格式:/item/xxx
  10. links = soup.find_all('a', href=re.compile(r"/item/(.*)")) # 得到所有的url的标签
  11. for link in links:
  12. new_url = link['href'] # 获取所有的链接
  13. new_full_url = urlparse.urljoin(page_url, new_url) # 让new_url按照page_url的格式拼接成一个完整的url
  14. new_urls.add(new_full_url)
  15. return new_urls
  16.  
  17. def _get_new_data(self, page_url, soup):
  18. res_data = {}
  19. res_data['url'] = page_url
  20. # <dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1></dd>
  21. title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
  22. res_data['title'] = title_node.get_text()
  23. # <div class="lemma-summary" label-module="lemmaSummary"> 简介的html
  24. summary_node = soup.find('div', class_='lemma-summary')
  25. res_data['summary'] = summary_node.get_text()
  26. return res_data
  27.  
  28. def parse(self, page_url, html_cont):
  29. if page_url is None or html_cont is None:
  30. return
  31. soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
  32. new_urls = self._get_new_urls(page_url, soup)
  33. new_data = self._get_new_data(page_url, soup)
  34. return new_urls, new_data

将爬取到的数据输出(html_output.py):

  1. # coding:utf-8
  2.  
  3. class HtmlOutputer(object):
  4. def __init__(self):
  5. self.datas = []
  6.  
  7. def collect_data(self, data): # 收集数据
  8. if data is None:
  9. return
  10. self.datas.append(data)
  11.  
  12. def output_html(self): # 将数据输出为html
  13. fout = open('output.html', 'w')
  14. fout.write('<html>')
  15. fout.write('<body>')
  16. fout.write('<table>')
  17. for data in self.datas:
  18. fout.write('<tr>')
  19. fout.write('<td>%s</td>' % data['url'])
  20. fout.write('<td>%s</td>' % data['title'].encode('utf-8'))
  21. fout.write('<td>%s</td>' % data['summary'].encode('utf-8'))
  22. fout.write('</tr>')
  23. fout.write('</table>')
  24. fout.write('</body>')
  25. fout.write('</html>')

用python编写简单爬虫的更多相关文章

  1. Python 利用Python编写简单网络爬虫实例3

    利用Python编写简单网络爬虫实例3 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错 实验目的 获取目标网站“http://bbs.51testing. ...

  2. Python 利用Python编写简单网络爬虫实例2

    利用Python编写简单网络爬虫实例2 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错 实验目的 获取目标网站“http://www.51testing. ...

  3. Python开发简单爬虫 - 慕课网

    课程链接:Python开发简单爬虫 环境搭建: Eclipse+PyDev配置搭建Python开发环境 Python入门基础教程 用Eclipse编写Python程序   课程目录 第1章 课程介绍 ...

  4. 使用Python编写简单的端口扫描器的实例分享【转】

    转自 使用Python编写简单的端口扫描器的实例分享_python_脚本之家 http://www.jb51.net/article/76630.htm -*- coding:utf8 -*- #!/ ...

  5. python编写简单的html登陆页面(4)

    python编写简单的html登陆页面(4)   1  在python编写简单的html登陆页面(2)的基础上在延伸一下: 可以将动态态分配数据,建立表格,存放学生信息 2 实现的效果如下: 3  动 ...

  6. python编写简单的html登陆页面(3)

    1  在python编写简单的html登陆页面(2)的基础上在延伸一下: 可以将静态分配数据,建立表格,存放学生信息 2  加载到静态数据 3  html的编写直接在表格里添加一组数据就行了 4  V ...

  7. python编写简单的html登陆页面(2)

    1  在python编写简单的html登陆页面(1)的基础上在延伸一下: 可以将动态分配数据,实现页面跳转功能: 2  跳转到新的页面:return render_template('home1.ht ...

  8. 用Python编写简单的发红包程序和计算器原理

    用Python编写简单的发红包程序: 第一种解法:数轴方法解决 import random def red_packet(money,num): money = money * 100 #将钱数转换成 ...

  9. 使用Python编写简单网络爬虫抓取视频下载资源

    我第一次接触爬虫这东西是在今年的5月份,当时写了一个博客搜索引擎.所用到的爬虫也挺智能的,起码比电影来了这个站用到的爬虫水平高多了! 回到用Python写爬虫的话题. Python一直是我主要使用的脚 ...

随机推荐

  1. za2

      程序集?生成后  一个exe,一个dll. 也可以是一个项目. vs 快速生成字段的代码段快捷键,快速生成构造函数,生成普通方法结构的快捷键   ************************* ...

  2. delete 与 delete []的区别

    一. 针对类class,这两种方式的效果是不同的. 当你通过下列方式分配一个类对象数组:   class A   {   private:      char *m_cBuffer;      int ...

  3. 【河南省第十届ACM 省赛 A-谍报分析】

    题目描述 “八一三”淞沪抗战爆发后,*几次准备去上海前线视察和指挥作战.但都因为宁沪之间的铁路和公路遭到了敌军的严密封锁,狂轰滥炸,一直未能成行. 特科组织,其主要任务是保卫的安全,了解和掌握敌方的动 ...

  4. LeetCode OJ:Longest Palindromic Substring(最长的回文字串)

    Given a string S, find the longest palindromic substring in S. You may assume that the maximum lengt ...

  5. sqlserver数据库脱机时发生异常:由于无法在数据库 'SMS' 上放置锁,ALTER DATABASE 失败。请稍后再试。 ALTER DATABASE 语句失败。 (.Net SqlClient Data Provider)

    sqlserver数据库脱机时发生异常,如下: =================================== 设置脱机 对于 数据库“SMS”失败.  (Microsoft.SqlServe ...

  6. Python基础学习(第7天)

    第6课 1.循环对象:包括一个next方法,这个方法的目的是进行到下一个结果,结束后抛出StopInteration异常: 当循环结构如for循环调用一个循环对象时,每次循环的时候都会调用next方法 ...

  7. 如何在win7下装ubuntu雙系統

    如何在win7下装ubuntu(硬盘版安装) 1)首先还是分区,在计算机上右键--管理--磁盘管理 装Ubuntu分配的硬盘大小最好是(20G以上)不要太小,这里请注意,ubuntu和windows文 ...

  8. mac和linux下使用Docker,部署SpringBoot项目到docker

    主要是看一下如何在linux及mac上安装docker,创建docker镜像,部署SpringBoot项目到docker,并借助于DaoCloud进行docker镜像下载加速等. 我用的电脑是mac, ...

  9. 作为一名Java开发工程师需要掌握的专业技能

    在学习Java编程完之后,学员们面临的就是就业问题.作为一名Java开发工程师,企业在招聘的时候,也是有一定的标准的. 为了帮助大家更好的找到适合自己的工作,在这里分享了作为一名Java开发工程师需要 ...

  10. Redis设计与实现 (二): 链表

    Redis实现为双链表结构, 列表键的底层实现之一就是链表,  发布与订阅, 慢查询, 监视器等功能都用到了链表. Redis本身也使用链表维持多个客户端. 节点定义, 位于 adlist.h/lis ...