简单爬虫框架实现

目录

框架流程
调度器
url管理器
网页下载器
网页解析器
数据处理器
具体演示效果

框架流程

调度器

#导入模块
import Url_Manager
import parser_html
import html_output
import download class SpiderMain(object):
def __init__(self):
#实例化:url管理器,网页下载器,网页解析器,数据输出
self.urls=Url_Manager.UrlManager()
self.parser=parser_html.Htmlparser()
self.download = download.download()
self.outputer=html_output.HtmlOutputer() def craw(self,root_url):
count=1
#向列表里面添加新的单个url
self.urls.add_new_url(root_url)
#判断待爬取的url列表里面有没有新的url
while self.urls.has_new_url():
try:
#如果待爬取的url列表不为空,则取一个url出来
new_url=self.urls.get_new_url()
print('craw %d:%s' % (count,new_url))
#下载网页 html_cont=self.download.download(new_url)
#解析网页
#解析获得两个数据:新的url,以及我们要获取的数据
new_urls,new_data=self.parser.parse(new_url,html_cont)
#获取的url添加到待爬取的url列表 self.urls.add_new_urls(new_urls)
#保存数据
self.outputer.collect_data(new_data)
#如果下载的url页面达到50个,结束当前循环
if count ==50:
break
count=count+1
except:
print('craw failed')
#输出数据
self.outputer.output_html() if __name__ == '__main__':
  #开始爬取的url
url = "http://www.dili360.com/gallery/"
root_url=url
#实例化
obj_spider=SpiderMain()
obj_spider.craw(root_url)

url管理器

#url管理器需要四个方法:
#add_new_url:向管理器添加单个url
#add_new_url:向管理器添加批量的url
#has_new_url:判断管理器里面是否有新的在爬取的url
#get_new_url:在管理器中获取一个正在爬取的url
#url管理器需要维护两个列表:待爬取的url,已经爬取的url class UrlManager(object):
def __init__(self):
#待爬取的url列表
self.new_urls=set()
#已经爬取的url列表
self.old_urls=set() #向管理器添加单个url
def add_new_url(self,url):
#首先判断url是否为空
if url is None:
return
#如果这个url既不在待爬取的url里面也没有在已经爬取的url里面,则说明这是一个新url
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
# 向管理器添加批量的url
def add_new_urls(self,urls):
if urls is None or len(urls) ==0:
return
for url in urls:
self.add_new_url(url)
#判断管理器里面是否有新的在爬取的url
def has_new_url(self):
return len(self.new_urls) != 0 # 获取一个正在爬取的url
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url

网页下载器

import requests
class download(object):
def download(self,url):
if url is None:
return None
else: response = requests.get(url)
if response.status_code !=200: return None
return response.text

  

网页解析器

from urllib.parse import urljoin
from bs4 import BeautifulSoup class Htmlparser(object): def _get_new_urls(self,page_url,soup): new_urls = set()
#这里可以加上正则表达式,对url进行过滤
links=soup.find_all('a')
for link in links:
#补全url,添加到列表里面
new_url=link['href']
new_full_url=urljoin(page_url,new_url)
new_urls.add(new_full_url) return new_urls def _get_new_data(self,page_url,soup): #解析数据,由用户来编写
new_datas=set()
imgs=soup.find_all('img')
for img in imgs:
new_data=img['src']
new_full_data=new_data
new_datas.add(new_full_data)
return new_datas #需要解析出新的url和数据
def parse(self,page_url,html_cont):
if page_url is None or html_cont is None:
return
soup=BeautifulSoup(html_cont,'html.parser')
#调用两个本地方法:解析新的url以及解析数据
new_urls=self._get_new_urls(page_url,soup)
new_data = self._get_new_data(page_url,soup) return new_urls,new_data # 报错:
# UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.
# 解决方法:
# soup = BeautifulSoup(html_doc,"html.parser")
# 这一句中删除【from_encoding="utf-8"】
# 原因:
# python3 缺省的编码是unicode, 再在from_encoding设置为utf8, 会被忽视掉,去掉【from_encoding="utf-8"】这一个好了

数据处理器

使用文档保存文本信息

使用文件保存图片,视频文件等,可进行扩展

class HtmlOutputer(object):
def __init__(self):
self.datas=[]
def collect_data(self,data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout=open('output','a+')
for data in self.datas:
for da in data:
fout.write(str(da)+'\n')
fout.close()

具体演示效果

演示url:http://www.dili360.com/gallery/

演示过程:

数据处理:

Python爬虫之简单爬虫框架实现的更多相关文章

  1. 【Python项目】简单爬虫批量获取资源网站的下载链接

    简单爬虫批量获取资源网站的下载链接 项目链接:https://github.com/RealIvyWong/GotDownloadURL 1 由来 自己在收集剧集资源的时候,这些网站的下载链接还要手动 ...

  2. [python]做一个简单爬虫

    为什么选择python,它强大的库可以让你专注在爬虫这一件事上而不是更底层的更繁杂的事 爬虫说简单很简单,说麻烦也很麻烦,完全取决于你的需求是什么以及你爬的网站所决定的,遇到的第一个简单的例子是pas ...

  3. 【Python】:简单爬虫作业

    使用Python编写的图片爬虫作业: #coding=utf-8 import urllib import re def getPage(url): #urllib.urlopen(url[, dat ...

  4. 【Python数据分析】简单爬虫 爬取知乎神回复

    看知乎的时候发现了一个 “如何正确地吐槽” 收藏夹,里面的一些神回复实在很搞笑,但是一页一页地看又有点麻烦,而且每次都要打开网页,于是想如果全部爬下来到一个文件里面,是不是看起来很爽,并且随时可以看到 ...

  5. 第一次用python 写的简单爬虫 记录在自己的博客

    #python.py from bs4 import BeautifulSoup import urllib.request from MySqlite import MySqlite global ...

  6. python bs4 + requests4 简单爬虫

    参考链接: bs4和requests的使用:https://www.cnblogs.com/baojinjin/p/6819389.html 安装pip:https://blog.csdn.net/z ...

  7. 洗礼灵魂,修炼python(72)--爬虫篇—爬虫框架:Scrapy

    题外话: 前面学了那么多,相信你已经对python很了解了,对爬虫也很有见解了,然后本来的计划是这样的:(请忽略编号和日期,这个是不定数,我在更博会随时改的) 上面截图的是我的草稿 然后当我开始写博文 ...

  8. Python开发简单爬虫

    简单爬虫框架: 爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(BeautifulSoup) -> 价值数据 Demo1: # codin ...

  9. Python 爬虫(1)基础知识和简单爬虫

    Python上手很容易,免费开源,跨平台不受限制,面向对象,框架和库很丰富. Python :Monty Python's Flying Circus (Python的名字来源,和蟒蛇其实无关). 通 ...

随机推荐

  1. linux vim的全目录搜索 和 hostname的设置?

    vim下的搜索命令是: vimgrep, 简写就是vim. 关于这个全局搜索的用法根grep的差不多, 但是, 如果你直接使用 grep的话 就会在vim的外部执行, 根vim内部就没有什么关系了, ...

  2. LC 789. Escape The Ghosts

    You are playing a simplified Pacman game. You start at the point (0, 0), and your destination is(tar ...

  3. if、elif 条件判断

    #!/usr/bin/python #-*- codinig: UTF-8 -*- from __future__ import print_function import os, sys, stat ...

  4. python批量执行shell命令

    [root@master ~]# cat a.py #!/usr/bin/python # -*- coding:UTF- -*- import subprocess def fun(): subpr ...

  5. mysql双主架构

    注意:最好不要用innodedb来同步数据库,要用databus来同步数据库,数据量大要用上mycat中间件 Mysql主主同步环境部署: centos 7.4 三台云主机: mysql1 :10.1 ...

  6. 网络实验 04-利用三层交换机实现VLAN间路由

    利用三层交换机实现VLAN间路由 一.实验目标 掌握交换机Tag VLAN 的配置 掌握三层交换机基本配置方法 掌握三层交换机VLAN路由的配置方法 通过三层交换机实现VLAN间相互通信 二.实验背景 ...

  7. B/S结构-登录页面-测试用例设计

    页面描述: 有一个登陆页面, 假如上面有2个textbox, 一个提交按钮 测试需求: 请针对这个页面设计30个以上的testcase 功能测试(Function test) 0. 什么都不输入,点击 ...

  8. 338.比特位计数( Counting Bits)leetcode

    附上:题目地址:https://leetcode-cn.com/problems/counting-bits/submissions/ 1:题目: 给定一个非负整数 num.对于 0 ≤ i ≤ nu ...

  9. 导模块的细节:(跨文件导入模块 &模块的两种执行方式) | 包的概念与使用 | 包中的相对导入语法

    今日内容 包: 1. 导入模块的细节 2. 包的概念与使用 3. 包中的相对导入语法 跨文件夹导入模块 1. 假设有一个文件夹a ,a 的下面有一个ma 的模块,如果a文件夹所在目录在环境变量,a文件 ...

  10. Leetcode之广度优先搜索(BFS)专题-133. 克隆图(Clone Graph)

    Leetcode之广度优先搜索(BFS)专题-133. 克隆图(Clone Graph) BFS入门详解:Leetcode之广度优先搜索(BFS)专题-429. N叉树的层序遍历(N-ary Tree ...