python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation
http://www.crummy.com/software/BeautifulSoup/bs4/doc/

[学习]用python的BeautifulSoup分析html - 三夜灯 - 博客园
http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html

Beautiful3 Soup documentation 中文文档只有bs3的，最新的只有英文版的
http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start

热血狂徒 / zyspider - 代码托管 - 开源中国社区
http://git.oschina.net/coos/zyspider

python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容 - 流风，飘然的风 - 博客园
http://www.cnblogs.com/zdz8207/p/python_learn_note_13.html

============================================
BeautifulSoup4的安装

一、使用pip直接安装beautifulsoup4 （如何安装pip请看上一篇文章介绍）

F:\kanbox\pythoncode\zyspider>pip install beautifulsoup4
Collecting beautifulsoup4
Downloading beautifulsoup4-4.4.0-py3-none-any.whl (80kB)
328kB/s
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4-4.4.0

F:\kanbox\pythoncode\zyspider>

或者从官网下载Beautifulsoup的软件包，然后解压，cmd命令行进入解压包目录，输入以下命令安装：python setup.py install

=======================================
网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例代码：

 __author__ = 'zdz8207'

 from bs4 import BeautifulSoup

 import urllib.request

 import urllib.parse

 import re

 import urllib.request, urllib.parse, http.cookiejar

 def getHtml(url):

 cj = http.cookiejar.CookieJar()

 opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

 opener.addheaders = [('User-Agent',

 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),

 ('Cookie', '')]

 urllib.request.install_opener(opener)

 html_bytes = urllib.request.urlopen(url).read()

 html_string = html_bytes.decode('utf-8')

 return html_string

 html_doc = getHtml("http://zst.aicai.com/ssq/openInfo/")

 soup = BeautifulSoup(html_doc, 'html.parser')

 # print(soup.title)

 #table = soup.find_all('table', class_='fzTab')

 #print(table)#<tr onmouseout="this.style.background=''" 这种tr丢失了

 #soup.strip() 加了strip后经常出现find_all('tr') 只返回第一个tr

 tr = soup.find('tr',attrs={"onmouseout": "this.style.background=''"})  #print(tr)  tds = tr.find_all('td')  opennum = tds[0].get_text()  #print(opennum)   reds = []  for i in range(2,8):  reds.append(tds[i].get_text())  #print(reds)  blue = tds[8].get_text()  #print(blue)   #把list转换为字符串:(',').join(list)  #最终输出结果格式如：2015075期开奖号码：6,11,13,19,21,32, 蓝球：4  print(opennum+'期开奖号码：'+ (',').join(reds)+", 蓝球："+blue)

python3.4学习笔记(十四) 网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例 - 流风，飘然的风 - 博客园
http://www.cnblogs.com/zdz8207/p/python_learn_note_14.html

从上实例可以看出使用BeautifulSoup4对比直接使用字符串查找截取的方式要更加直观和简洁。

=======================================

Python2.7 安装 beautifulsoup4-4.4.0 下载地址：http://www.crummy.com/software/BeautifulSoup/bs4/download/4.4/
安装方法：cmd, cd进入beautifulsoup的 setup.py 所在的那个目录(如: D:\download\beautifulsoup4-4.4.0)，然后运行
python setup.py build
python setup.py install
版本升级到4，引入包要用
import bs4
from bs4 import BeautifulSoup
不能直接用
from BeautifulSoup import BeautifulSoup

python3.4中可以直接使用from bs4 import BeautifulSoup

注：在同一台电脑上安装2.7和3.4的会导致使用pip命令在2.7情况下安装不了Beautifulsoup4

=======================================
导入模块
#!/usr/bin/env python
from bs4 import BeautifulSoup #process html
#from bs4 import BeautifulStoneSoup #process xml
#import BeautifulSoup #all

创建对象：str初始化，常用urllib2或browser返回的html初始化BeautifulSoup对象。
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
The Dormouse's story
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>
and they lived at the bottom of a well.
...
"""
soup = BeautifulSoup(html_doc)

soup 就是BeautifulSoup处理格式化后的字符串，soup.title 得到的是title标签，soup.p 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all

函数。find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西.

get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text()

其实是可以获得标签的其他属性的，比如我要获得a标签的href属性的值，可以使用 print soup.a['href'],类似的其他属性，比如class也是可以这么得到的（soup.a['class']）。

特别的，一些特殊的标签，比如head标签，是可以通过soup.head 得到，其实前面也已经说了。

如何获得标签的内容数组？使用contents 属性就可以比如使用 print soup.head.contents，就获得了head下的所有子孩子，以列表的形式返回结果，

可以使用 [num] 的形式获得 ,获得标签，使用.name 就可以。

获取标签的孩子，也可以使用children，但是不能print soup.head.children 没有返回列表，返回的是 <listiterator object at 0x108e6d150>,

不过使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。

关于string属性，如果超过一个标签的话，那么就会返回None，否则就返回具体的字符串print soup.title.string 就返回了 The Dormouse's story

超过一个标签的话，可以试用strings

向上查找可以用parent函数，如果查找所有的，那么可以使用parents函数

查找下一个兄弟使用next_sibling,查找上一个兄弟节点使用previous_sibling,如果是查找所有的，那么在对应的函数后面加s就可以

如何遍历树？

　使用find_all 函数

find_all(name, attrs, recursive, text, limit, **kwargs)

举例说明：

print soup.find_all('title')
print soup.find_all('p','title')
print soup.find_all('a')
print soup.find_all(id="link2")
print soup.find_all(id=True)

返回值为：

[<title>The Dormouse's story</title>]
[The Dormouse's story]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

通过css查找,直接上例子把：

print soup.find_all("a", class_="sister")
print soup.select("p.title")

通过属性进行查找
print soup.find_all("a", attrs={"class": "sister"})

通过文本进行查找
print soup.find_all(text="Elsie")
print soup.find_all(text=["Tillie", "Elsie", "Lacie"])

限制结果个数
print soup.find_all("a", limit=2)

结果为：

[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[The Dormouse's story]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[u'Elsie']
[u'Elsie', u'Lacie', u'Tillie']
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

总之，通过这些函数可以查找到想要的东西。

=================================================

最简单的爬虫，在Python3中，urllib库可以独立完成这些工作。下面是直接在python控制台上输入的代码最简单的爬虫，可以获取到原始字节及解码后的文本。

>>> import urllib.request as request
>>> url = 'http://www.baidu.com'
>>> origin_bytes = request.urlopen( url ).read()
>>> origin_string = origin_bytes.decode( 'utf-8' )
>>> print(origin_string)

其中origin_bytes现在得到了传输过来的原始字节，而origin_string则是将这些原始字节以UTF-8编码方式解码出来的原始字符串。
然后我们就可以使用各种HTML解析工具或单纯地用文本解析工具来获取需要的数据。

使用headers伪装成浏览器进行访问
有的网站比如说http://www.oschina.net，如果用上面那种方法来访问，则会返回403拒绝访问的错误信息。这是因为有部分网站禁止除浏览器之外的方法进行访问。
需要在发送请求的时候加入headers信息，伪装成浏览器，这样就不会出现403的错误了。抓取频繁时还需要变化head信息和采用代理IP的方式。
下面是一个最简单的使用headers的例子。

>>> import urllib.request as request
>>> url = 'http://www.oschina.net'
>>> headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')
>>> opener = request.build_opener()
>>> opener.addheaders = [ headers ]
>>> origin_bytes = opener.open( url ).read()
>>> origin_string = origin_bytes.decode( 'utf-8' )

其中headers可以从浏览器的调试工具中看到，比如firefox中的firebug，可以复制curl内容进行分析。

python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容的更多相关文章

python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容
python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI,采用Python语言编写 ...
PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构
百度的搜索引擎有反爬虫机制,我先直接用guzzle试试水.代码如下: <?php /** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:5 ...
第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器
第三百四十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器编写spiders爬虫文件循环 ...
二十 Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器
编写spiders爬虫文件循环抓取内容 Request()方法,将指定的url地址添加到下载器下载页面,两个必须参数, 参数: url='url' callback=页面处理函数使用时需要yield ...
php爬虫入门 - 登录抓取内容
PHP 写爬虫说实话我也想用Python的,毕竟人家招牌.无奈我Python还停留在看语法的阶段,实在太惭愧,鞭笞一下自己加油学习.这里用php的CURL库进行页面抓取. 同事使用的系统需要先登录, ...
网络爬虫中Fiddler抓取PC端网页数据包与手机端APP数据包
1 引言在编写网络爬虫时,第一步(也是极为关键一步)就是对网络的请求(request)和回复(response)进行分析,寻找其中的规律,然后才能通过网络爬虫进行模拟.浏览器大多也自带有调试工具可以 ...
python网络爬虫-静态网页抓取（四）
静态网页抓取在网站设计中,纯HTML格式的网页通常被称之为静态网页,在网络爬虫中静态网页的数据比较容易抓取,因为说有的数据都呈现在网页的HTML代码中.相对而言使用Ajax动态加载的玩个的数据不一定 ...
python网络爬虫-动态网页抓取（五）
动态抓取的实例在开始爬虫之前,我们需要了解一下Ajax(异步请求).它的价值在于在与后台进行少量的数据交换就可以使网页实现异步更新. 如果使用Ajax加载的动态网页抓取,有两种方法: 通过浏览器审查 ...
读书笔记--用Python写网络爬虫02--数据抓取
抓取(scraping)---爬虫从网页中抽取一些数据用以实现某些用途. 三种抽取网页数据的方法:正则表达式.Beautiful Soup和lxml. 2.1 分析网页通过浏览器自带选项,查看网页源 ...

随机推荐

java jdbc
1.java 的jdbc类包括,DriverManager,Connection Connection con = DriverManager.getConnection("jdbc:odb ...
GCC编译C代码
C程序的编译过程常用文件的后缀名: gcc编译c代码 1.gcc 常用编译选项: 2.gcc编译方法 testc.c: #include <stdio.h> int main ...
selenium webdriver自动化测试
selenium家族介绍 Selenium IDE:Selenium IDE是嵌入到Firefox浏览器中的一个插件,实现简单的浏览器操作的录制与回放功能. Selenium ...
使用配置文件来配置JDBC连接数据库
1.管理数据库连接的Class 代码如下: package jdbcTest;import java.sql.Connection;import java.sql.DriverManager;impo ...
FireDAC 连接SQL Server一些要注意的地方
TFDConnection: FetchOptions.Mode 设置为fmAll, 返回全部结果, 否则默认只返回前50条, 效果与open以后再执行FetchAll一样 Specifies how ...
crontab 管理指定用户的定时任务
创建用户定时任务文件 touch /var/spool/cron/target_user crontab -u target_user /var/spool/cron/target_user 编辑用户 ...
Title Case a Sentence
解决思路将字符串转换成小写把字符串分割成字符串数组循环数组将每一个单词首字母大写把数组所有的元素转换成一个字符串第一种方法 function titleCase(str) { str=str ...
PostgreSQL windows service启动失败
from: http://stackoverflow.com/questions/1251233/unable-to-run-postgresql-as-windows-servicepg_ctl - ...
Bypass WAF Cookbook
PS.之前一直想把零零碎碎的知识整理下来,作为知识沉淀下来,正好借着wooyun峰会的机会将之前的流程又梳理了一遍,于是就有了下文.也希望整理的内容能给甲方工作者或则白帽子带来一些收获. 0x00 概 ...
本地代码如何通过TortoiserGit提交到GitHub
昨天博文给大家讲解了一下如何本地安装TortoiseGit http://www.cnblogs.com/xinlj/p/5978730.html,今天为大家讲一下如何通过TortoiseGit将本地 ...

python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容

python3.4学习笔记(十七) 网络爬虫使用Beautifulsoup4抓取内容的更多相关文章

随机推荐

热门专题