创建一个新网站，一开始没有内容，通常需要抓取其他人的网页内容，一般的操作步骤如下：

根据url下载网页内容，针对每个网页的html结构特征，利用正则表达式，或者其他的方式，做文本解析，提取出想要的正文。

为每个网页写特征分析这个还是太耗费开发的时间，我的思路是这样的。

Python的BeautifulSoup包大家都知道吧，

import BeautifulSoup

soup = BeautifulSoup.BeautifulSoup(html)

利用这个包先把html里script，style给清理了：

[script.extract() for script in soup.findAll('script')]

[style.extract() for style in soup.findAll('style')]

清理完成后，这个包有一个prettify()函数，把代码格式给搞的标准一些：

soup.prettify()

然后用正则表达式，把所有的HTML标签全部清理了：

reg1 = re.compile("<[^>]*>")

content = reg1.sub('',soup.prettify())

剩下的都是纯文本的文件了，通常是一行行的，把空白行给排除了，这样就会知道总计有多少行，每行的字符数有多少，我用excel搞了一些每行字符数的统计，如下图：

x坐标为行数，y坐标为该行的字符数

很明显，会有一个峰值，81~91行就应该是这个网页的正文部分。我只需要提取81~91行的文字就行了。

问题来了，照着这个思路，有什么好的算法能够通过数据分析的方式统计出长文本的峰值在哪几行？

BeautifulSoup不仅仅只是可以查找，定位和修改文档内容，同样也可以用一个好的格式进行输出显示。BeautifulSoup可以处理不同类型的输出：

格式化的输出
非格式化的输出

格式化输出

BeautifulSoup中有内置的方法prettfy()来实现格式化输出。比如：

from bs4 import BeautifulSoup
html_markup = “””<p class=”ecopyramid”>
<ul id=”producers”>
<li class=”producerlist”>
<div class=”name”>plants</div>
<div class=”number”>100000</div>
</li>
<li class=”producerlist”>
<div class=”name”>algae</div>
Output in Beautiful Soup
<div class=”number”>100000</div>
</li>
</ul>”””
soup = BeautifulSoup(html_markup,“lxml”)
print(soup.prettify())

输出：

prettify()可以用于BeautifulSoup对象也可以用于任何标签对象。比如：

producer_entry = soup.ul
print(producer_entry.prettify())

非格式化输出

可以使用str()和unicode()来进行非格式化输出。

如果我们对BeautifulSoup对象和标签对象使用str()方法，那么得到的就是一般的字符串输出样式。

我们也可以使用前篇讲到的encode()方法来指定编码格式的输出。

对BeautifulSoup对象或标签对象使用decode()方法来得到Unicode字符串。

BeautifulSoup中的输出格式化

HTML实体编码可以放进HTML文档中用来表示特别的字符和标识。这些标识不存在于键盘上，这些HTML实体编码只是当浏览器打开后才回看到效果。

在输出方法中，只有这几个HTML编码有点例外。>和<和&三个符号。除此之外其他的特别标识都是被转换成Unicode编码当创建BeautifulSoup对象时，且当使用Prettify()方法或者其他方法输出时，我们只能得到UTF-8格式的字符串。

html_markup = “””<html>
<body>& & ampersand
¢ ¢ cent
© © copyright
÷ ÷ divide
> > greater than
</body>
</html>

输出：

可以看到两个没有被转换。BeautifulSoup自带的输出格式器来控制输出。输出格式器有以下几种类型。

miimal
html
None
function

我们可以在输出方法中传递上述输出格式器参数，如prettify(),ncode(),decode()

miimal格式化

在这种格式化模式下，字符串被处理成一个有效的HTML代码。这是默认的格式化输出，此时输出结果就和前面的一样。不能转换&, >和<

Html格式化

这种格式化模式下，BeautifulSoup将会将Unicode字符转换成HTML编码形式。
print(soup.prettify(formatter=”html”))

输出：

None格式化

这种情况下，BeautifulSoup不会改变字符串。这会导致产生一个非法的HTML代码。

print(soup.prettify(formatter=None))

输出：

函数格式化

我们可以定义一个函数来处理字符串。比如去掉a字符。

def remove_chara(markup):
return markup.replace(“a”,””)
soup = BeautifulSoup(html_markup,“lxml”)
print(soup.prettify(formatter=remove_chara))

输出：

注意，其中字符a被替换掉了，但是注意的是&, >,和<也被转换了。

使用get_text()

从网页中得到文本是常见的工作，BeautifulSoup提供了get_text()方法来达到目的。

如果我们只想得到BeautifulSoup对象的文本或标签对象的文本内容，我们可以使用get_text()方法。比如：

html_markup = “””<p class=”ecopyramid”>
<ul id=”producers”>
<li class=”producerlist”>
<div class=”name”>plants</div>
<div class=”number”>100000</div>
</li>
<li class=”producerlist”>
<div class=”name”>algae</div>
<div class=”number”>100000</div>
</li>
</ul>”””
soup = BeautifulSoup(html_markup,“lxml”)
print(soup.get_text())

输出：

plants
100000

algae
100000

get_text()方法返回BeautifulSoup对象或标签对象中的文本内容，其为一个Unicode字符串。但是get_text()有个问题是它同样也会返回javascript代码。

去掉javascript代码的方法如下：

[x.extract() for x in soup_packtpage.find_all(‘script’)]

这样就会用处掉所有脚本元素。

网页内容爬取：如何提取正文内容 BEAUTIFULSOUP的输出的更多相关文章

scrapy(四): 爬取二级页面的内容
scrapy爬取二级页面的内容 1.定义数据结构item.py文件 # -*- coding: utf-8 -*- ''' field: item.py ''' # Define here the m ...
Scrapy 框架使用 selenium 爬取动态加载内容
使用 selenium 爬取动态加载内容开启中间件 DOWNLOADER_MIDDLEWARES = { 'wangyiPro.middlewares.WangyiproDownloaderMidd ...
帝国CMS批量提取正文内容到简介
最近接到一个帝国CMS模板改版项目,自带的数据可能是采集的,以前的简介字段内容只截取了60个字,新模板的简介60字符太少了,不美观,想让简介都截取200个字,怎么批量修改呢,文章太多了手动改肯定不行, ...
Python写网络爬虫爬取腾讯新闻内容
最近学了一段时间的Python,想写个爬虫,去网上找了找,然后参考了一下自己写了一个爬取给定页面的爬虫. Python的第三方库特别强大,提供了两个比较强大的库,一个requests, 另外一个Bea ...
Python 基础语法+简单地爬取百度贴吧内容
Python笔记 1.Python3和Pycharm2018的安装 2.Python3基础语法 2.1.1.数据类型 2.1.1.1.数据类型:数字(整数和浮点数) 整数:int类型浮点数:floa ...
Python 爬虫 ajax爬取马云爸爸微博内容
ajax爬取情况有时候我们在用 Requests 抓取页面的时候,得到的结果可能和在浏览器中看到的是不一样的,在浏览器中可以看到正常显示的页面数据,但是使用 Requests 得到的结果并没有,这其 ...
java 如何爬取百度百科词条内容(java如何使用webmagic爬取百度词条)
这是老师所布置的作业说一下我这里的爬去并非能把百度词条上的内容一字不漏的取下来(而是它分享链接的一个主要内容概括...)(他的主要内容我爬不到也不想去研究大家有好办法可以call me) 例如互 ...
使用Python爬取网页的相关内容（图片，文字，链接等等）
代码解释的很详细了,有不明白的欢迎评论 ~~~滑稽 import requests from bs4 import BeautifulSoup # #获取图片输入网址 req=requests.ge ...
python爬虫：爬取读者某一期内容
学会了怎么使用os模块 #!/usr/bin/python# -*- encoding:utf-8 -*- import requestsimport osfrom bs4 import Beauti ...

随机推荐

功能超级强大的网络工具nc
摘自:http://www.linuxso.com/command/nc.html 功能说明:功能强大的网络工具语法:nc [-hlnruz][-g<网关...>][-G<指向器数 ...
2013级C++第12周(春)项目——成员的訪问属性、多重继承
课程首页在:http://blog.csdn.net/sxhelijian/article/details/11890759,内有完整教学方案及资源链接第一部分程序阅读 1.阅读程序.分析类中成员 ...
2016/1/12 第一题输出 i 出现次数第二题用for循环和if条件句去除字符串中空格第三题不用endwith 实现尾端字符查询
import java.util.Scanner; public class Number { private static Object i; /* *第一题 mingrikejijavabu中字符 ...
OSS与文件系统的对比
基本概念介绍_开发指南_对象存储 OSS-阿里云 https://help.aliyun.com/document_detail/31827.html 强一致性 Object 操作在 OSS 上具有 ...
【Silverlight】Bing Maps学习系列（三）：如何控制地图
[Silverlight]Bing Maps学习系列(三):如何控制地图本篇主要介绍如何对地图的一些常用控制操作,包括地图加载模式.根据精度和纬度定位.变焦程度等. 一.动态设置地图加载模式在本系 ...
【Poj1090】Chain
Chain Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 3414 Accepted: 1126 Description ...
美国诚实签经验——IMG全球医疗险，TODO
那么,诚实签最关键的4个要点是什么呢? 第一,证明你有一定的经济实力. 可能需要房产.存款等证明,也需要银行信用卡或借记卡半年流水证明(让人信服的每月进帐和消费能力). 这些是为了证明,你可以支付在 ...
Create schema error (unknown database schema '')
Andrey Devyatka 4 years ago Permalink Raw Message Hi,Please tell me, can I use the static library in ...
Google Closure Compiler 高级模式及更多思考（转）
前言 Google Closure Compiler 是 Google Closure Tools 的一员,在 2009 年底被 Google 释出,早先,有玉伯的 Closure Compile ...
poj 1286 Necklace of Beads【polya定理+burnside引理】
和poj 2409差不多,就是k变成3了,详见还有不一样的地方是记得特判n==0的情况不然会RE #include<iostream> #include<cstdio> us ...

网页内容爬取：如何提取正文内容 BEAUTIFULSOUP的输出