以前要采集某个网页，一般做法是写程序源代码爬出来，然后用正则去匹配出来，这种针对指定的网页去爬效果还可以，但是如果是批量的网页这种实现就会变得不现实，在这时候就有readability出手的意义了，readability能迅速将内容爬取出来，其他的有几种库也可以，这里就不比较了但是我觉得这个挺好用的。接着说，用pip 安装好readability模块就可以使用了。代码如下

html = urllib.urlopen("http://www.cnblogs.com/EncryptingLife/p/5156263.html").read()

readable_article = Document(html).summary()

readable_title = Document(html).short_title()

这个时候readable_article就是爬取的内容，按照常例写正则匹配，前面已经说过了这种方式不适合大量的页面，

BeautifulSoup 非常强大可以用来找出对应的东西不需要写正则。官方文档是：

http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id5

简单的说说里面的几种用法吧。

　　soup =BeautifulSoup(readable_article,"lxml")

１．按照标签来获取

　　eg:

　　　　１．tag = soup.p

　　　　这个会获取p标签的内容　如果直接打印的话会显示为第一个p元素的值

　　　　２．tag = soup.head

　　　　这个获取head里面的内容

２．用css选择器来获取

　　eg:

　　　　1.soup.select(".python")

　　　　　这里会查找所有class为python的元素，ＩＤ直接是soup.select("#python")

　　　　2.

　　　　　　

z=soup.select("p > a")

for a in z:

	print a.get("href")

　　　　　　这个可以把p标签下的a标签全部取出来，然后获取它的url

　　　　３．soup.find_all("p", class_="body strikeout")

3.取文本的可以使用soup.get_text()

　　　　这里会取出里面所有的文本

４．find()　与find_all()

　　eg

　　1.soup.find('head')

　　　　这个会查找head

　　2.soup.find_all('b')

　　　　这个是查找所有的b元素

　　３．传递方法

　　　　也可以是这样的：

　　　　　　def has_class_but_no_id(tag): return tag.has_attr('class') and not tag.has_attr('id')

　　４．也可以用正则

　　　　for tag in soup.find_all(re.compile("^b")):

　　　　　　print(tag.name)

　　５．也可以传递列表这时候会匹配出符合其中一个条件的项相当于或者

　　　　soup.find_all(["a", "b"])

　　　　这个会查找所有a标签与b标签

　　６．还可以有如下几种形式

　　　　soup.find_all(id="link2")

　　　　soup.find_all("p", "title")

　　　　soup.find_all("title")

　　　　soup.find_all(href=re.compile("elsie"))

５．还有几种类似jquery的写法

　　first_link.find_next_siblings("a")

　　last_link = soup.find("a", id="link3")

　　last_link　　# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

　　last_link.find_previous_siblings("a")

　　这时候会查找到符合前面条件的兄弟节点

　　下面这个可以查找父元素

　　

　　title_tag = soup.title

　　title_tag # <title>The Dormouse's story</title>

　　title_tag.parent

　　# <head><title>The Dormouse's story</title></head>

暂时就写到这里

python 之readability与BeautifulSoup的更多相关文章

  1. python学习之——安装Beautifulsoup、requests、lxml

    安装Beautiful soup: 1.下载安装包,解压到python的安装目录: 2.cmd 进入安装包解压后的存放位置: 3.使用命令:python  setup.py build   , pyt ...

  2. Python学习 － 使用BeautifulSoup来解析网页一：基础入门

    写技术博客主要就是总结和交流的,如果文章用错,请指正啊! 以前一直在使用SGMLParser,这个太费时间和精力了,现在为了毕业设计,改用BeautifulSoup来实现HTML页面的解析工作的. 一 ...

  3. Python爬虫：用BeautifulSoup进行NBA数据爬取

    爬虫主要就是要过滤掉网页中没用的信息.抓取网页中实用的信息 一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解.如网页的标签,网页的语言等知识,推荐去W3School: W3s ...

  4. 【Python】 html解析BeautifulSoup

    BeautifulSoup bs是个html解析模块,常用来做爬虫? ■ 安装 BeautifulSoup可以通过pip来安装,用pip install beautifulsoup4 即可.但是仅仅这 ...

  5. Python爬虫基础之BeautifulSoup

    一.BeautifulSoup的基本使用 from bs4 import BeautifulSoup from bs4 import SoupStrainer import re html_doc = ...

  6. Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据

    目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

  7. Python HTML解析器BeautifulSoup(爬虫解析器)

    BeautifulSoup简介 我们知道,Python拥有出色的内置HTML解析器模块——HTMLParser,然而还有一个功能更为强大的HTML或XML解析工具——BeautifulSoup(美味的 ...

  8. python爬虫训练——正则表达式+BeautifulSoup爬图片

    这次练习爬 传送门 这贴吧里的美食图片. 如果通过img标签和class属性的话,用BeautifulSoup能很简单的解决,但是这次用一下正则表达式,我这也是参考了该博主的博文:传送门 所有图片的s ...

  9. Python爬虫利器：BeautifulSoup库

    Beautiful Soup parses anything you give it, and does the tree traversal stuff for you. BeautifulSoup ...

随机推荐

  1. spring 多线程 注入 服务层 问题

    在用多线程的时候,里面要用到Spring注入服务层,或者是逻辑层的时候,一般是注入不进去的.具体原因应该是线程启动时没有用到Spring实例不池.所以注入的变量值都为null. 详细:http://h ...

  2. 03-Swift常量&变量

    什么是常量和变量 在Swift中规定:在定义一个标识符时必须明确说明该标识符是一个常量还是变量 使用let来定义常量,定义之后不可以修改 使用var来定义变量,定义之后可以修改 常量和变量的基本使用 ...

  3. SQL触发器实例讲解

    SQL触发器实例1 定义: 何为触发器?在SQL Server里面也就是对某一个表的一定的操作,触发某种条件,从而执行的一段程序.触发器是一个特殊的存储过程. 常见的触发器有三种:分别应用于Inser ...

  4. silverLight--绑定数据dataGrid

    后台代码编写 ,为表格绑定数据: using System; using System.Collections.Generic; using System.Linq; using System.Net ...

  5. Ajax Step By Step3

    第三[．$.getScript()和$.getJSON()] jQuery 提供了一组用于特定异步加载的方法:$.getScript(),用于加载特定的 JS 文件: $.getJSON(),用于专门 ...

  6. 找出一个二维数组中的"鞍点",即该位置上的元素在该行中最大,在该列中最小(也可能没有"鞍点"),打印有关信息.(提示:注意特殊情况:没鞍点或多个鞍点)

    #import <Foundation/Foundation.h> int main(int argc, const char * argv[]) { ][] = {}; ;i < ...

  7. svn服务器搭建与使用

  8. C++中有符号/无符号数比较

    原创文章,欢迎阅读,禁止转载. 在我的程序中有如下代码编译被警告了 if(list.size()>msize){...} warning C4018: '<' : signed/unsig ...

  9. [转]jQuery实现清空table表格除首行外的所有数据

    1.其实网上有很多版本,试了好几个都不行,最后还是查到了一个非常方便的:不会清除表格第一行表头部分. 其中J_tab_fam是table的id. 1 $("#J_tab_fam  tr:no ...

  10. padding(内边距)、margin(外边距)、border(边框)

    元素的 padding 控制元素内容 content和元素边框 border 之间的距离. 元素的外边距 margin 控制元素边框 border 和元素实际所占空间的距离,如果你将一个元素的 mar ...