Python爬虫之简单爬虫框架实现

简单爬虫框架实现

目录

框架流程
调度器
url管理器
网页下载器
网页解析器
数据处理器
具体演示效果

框架流程

调度器

#导入模块
import Url_Manager
import parser_html
import html_output
import download

class SpiderMain(object):
    def __init__(self):
        #实例化:url管理器,网页下载器，网页解析器，数据输出
        self.urls=Url_Manager.UrlManager()
        self.parser=parser_html.Htmlparser()
        self.download = download.download()
        self.outputer=html_output.HtmlOutputer()

    def craw(self,root_url):
        count=1
        #向列表里面添加新的单个url
        self.urls.add_new_url(root_url)
        #判断待爬取的url列表里面有没有新的url
        while self.urls.has_new_url():
            try:
                #如果待爬取的url列表不为空，则取一个url出来
                new_url=self.urls.get_new_url()
                print('craw %d:%s' % (count,new_url))
                #下载网页

                html_cont=self.download.download(new_url)
                #解析网页
                #解析获得两个数据：新的url，以及我们要获取的数据
                new_urls,new_data=self.parser.parse(new_url,html_cont)
                #获取的url添加到待爬取的url列表

                self.urls.add_new_urls(new_urls)
                #保存数据
                self.outputer.collect_data(new_data)
                #如果下载的url页面达到50个，结束当前循环
                if count ==50:
                    break
                count=count+1
            except:
                print('craw failed')
        #输出数据
        self.outputer.output_html()

if __name__ == '__main__':
　　#开始爬取的url
    url = "http://www.dili360.com/gallery/"
    root_url=url
    #实例化
    obj_spider=SpiderMain()
    obj_spider.craw(root_url)

url管理器

#url管理器需要四个方法：
#add_new_url:向管理器添加单个url
#add_new_url:向管理器添加批量的url
#has_new_url:判断管理器里面是否有新的在爬取的url
#get_new_url:在管理器中获取一个正在爬取的url
#url管理器需要维护两个列表：待爬取的url，已经爬取的url

class UrlManager(object):
    def __init__(self):
        #待爬取的url列表
        self.new_urls=set()
        #已经爬取的url列表
        self.old_urls=set()

    #向管理器添加单个url
    def add_new_url(self,url):
        #首先判断url是否为空
        if url is None:
            return
        #如果这个url既不在待爬取的url里面也没有在已经爬取的url里面，则说明这是一个新url
        if url  not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
    # 向管理器添加批量的url
    def add_new_urls(self,urls):
        if urls is None or len(urls) ==0:
            return
        for url in urls:
            self.add_new_url(url)
    #判断管理器里面是否有新的在爬取的url
    def has_new_url(self):
        return len(self.new_urls) != 0

    # 获取一个正在爬取的url
    def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

网页下载器

import requests
class download(object):
    def download(self,url):
        if url is None:
            return None
        else:

            response = requests.get(url)
            if response.status_code !=200:

                return None
            return response.text

　　

网页解析器

from urllib.parse import urljoin
from bs4 import BeautifulSoup

class Htmlparser(object):

    def _get_new_urls(self,page_url,soup):

        new_urls = set()
#这里可以加上正则表达式，对url进行过滤
        links=soup.find_all('a')
        for link in links:
            #补全url,添加到列表里面
            new_url=link['href']
            new_full_url=urljoin(page_url,new_url)
            new_urls.add(new_full_url)

        return new_urls

    def _get_new_data(self,page_url,soup):

        #解析数据,由用户来编写
        new_datas=set()
        imgs=soup.find_all('img')
        for img in imgs:
            new_data=img['src']
            new_full_data=new_data
            new_datas.add(new_full_data)
        return new_datas

    #需要解析出新的url和数据
    def parse(self,page_url,html_cont):
        if page_url is None or html_cont is None:
            return
        soup=BeautifulSoup(html_cont,'html.parser')
        #调用两个本地方法：解析新的url以及解析数据
        new_urls=self._get_new_urls(page_url,soup)
        new_data = self._get_new_data(page_url,soup)

        return new_urls,new_data

# 报错：
# UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.
# 解决方法：
# soup = BeautifulSoup(html_doc,"html.parser")
# 这一句中删除【from_encoding="utf-8"】
# 原因：
# python3 缺省的编码是unicode, 再在from_encoding设置为utf8, 会被忽视掉，去掉【from_encoding="utf-8"】这一个好了

数据处理器

使用文档保存文本信息

使用文件保存图片，视频文件等，可进行扩展

class HtmlOutputer(object):
    def __init__(self):
        self.datas=[]
    def collect_data(self,data):
        if data is None:
            return
        self.datas.append(data)
    def output_html(self):
        fout=open('output','a+')
        for data in self.datas:
            for da in data:
                fout.write(str(da)+'\n')
        fout.close()

具体演示效果

演示url：http://www.dili360.com/gallery/

演示过程：

数据处理：