BeautifulSoup

参考：http://www.freebuf.com/news/special/96763.html

相关资料：http://www.jb51.net/article/65287.htm

1、Python3 win7安装BeautifulSoup

BeautifulSoup中文文档：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html

BeautifulSoup下载：http://www.crummy.com/software/BeautifulSoup/

解压，运行cmd执行：python setup.py install即可

2、导入beatifulsoup库 ：from bs4 import BeautifulSoup

传入数据，建立对象： soup = BeautifulSoup(data)，

操作soup，完成需求解析。

3、示例代码：

 from bs4 import BeautifulSoup
 from urllib import request
 import re
 
 web = request.urlopen('http://www.freebuf.com')
 # 没有特别指明解析器，bs4使用了它认为最好的解析器,但是在不同的环境下运行，可能解析器是不一样的。
 # 如果没有'html.parser'，会有warning提示，表明了bs4的自动选择解析器来解析的特性。
 soup = BeautifulSoup(web.read(),'html.parser')
 tags_a = soup.find_all(name='a', attrs={'href': re.compile('^https?://')})
 
 for tag_a in tags_a:
     print(tag_a['href'])

4、利用BeautifulSoup获取网站的sitemap:

 # coding:utf-8
 # 获取整个网站的sitemap
 
 import urllib.request
 import urllib.error
 from urllib.parse import urlparse
 from bs4 import BeautifulSoup
 import time
 import datetime
 
 url = input('请输入扫描的url:')
 domain = input('请输入包含的域名：')
 sites = set()
 
 # 获取一个页面的所有url
 def get_local_pages(url, domain):
     pages = set()
     global sites
     repeat_time = 0
 
     # 解析传入的url为后面相对路径拼接用
     parse_url = urlparse(url)
 
     # 防止url读取卡住：自动重读5次
     while True:
         try:
             print('Ready to Open the web!')
             time.sleep(1)
             print('Opening the web : %s' % url)
             web = urllib.request.urlopen(url=url, timeout=20)
             print('Success to Open the web!')
             break
         except urllib.error.URLError as e:
             print('Open Url Error:',e)
             print('Open url Failed!!!Repeat!')
             time.sleep(1)
             repeat_time += 1
             if repeat_time == 5:
                 return
 
     soup = BeautifulSoup(web.read())
     tags = soup.find_all(name='a')
 
     for tag in tags:
         # 避免参数传递异常
         try:
             ret = tag['href']
         except:
             print('Maybe not the attr : href')
             continue
 
         parse_page = urlparse(ret)
 
         # 1 url不为空（协议，域名，路径）
         if parse_page[0] is '' and parse_page[1] is '' and parse_page[2] is '':
             print('Bad Page(协议\域名\路径均为空):%s' % ret)
             continue
 
         # 2 协议不为空，判断合法性
         if parse_page[0] is not '' and 'http' not in parse_page[0]:
             print('Bad Page(协议不合法,非http):%s' % ret)
             continue
 
         # 3 域名不为空，domain要包含在域名中
         if parse_page[1] is not '' and domain not in parse_page[1]:
             print('Bad Page(域名不合法,非%s):%s' % (domain, ret))
             continue
 
         # 4 协议为空，域名不为空(拼接ret),例如：//caipiao.taobao.com
         if parse_page[0] is '' and parse_page[1] is not '':
             print('Fix page(仅域名存在): %s' % ret)
             newpage = parse_url[0] + ':' + ret
             if newpage not in sites:
                 print('Add Fix Page(拼接域名):%s' % newpage)
                 pages.add(newpage)
             continue
 
         # 5 协议域名为空，路径不为空(拼接ret)
         if parse_page[0] is '' and parse_page[1] is '':
             print('Fix page(仅路径存在): %s' % ret)
             temp_page = parse_url[0] + '://' + parse_url[1] + '/' + ret
             # 保持URL的干净
             newpage = temp_page[:8] + temp_page[8:].replace('//', '/')
             if newpage not in sites:
                 print('Add Fix Page(拼接路径):%s' % newpage)
                 pages.add(newpage)
             continue
 
         # 整理输出
         newpage = ret
         if newpage not in sites:
             print('Add New Page:%s' % newpage)
             pages.add(newpage)
 
     return pages
 
 # dfs 算法遍历全站(目前中小型网站可用，待完善)
 def dfs(pages, domain):
     global sites
     if pages in sites:
         return 'Success!'
 
     # visited = set()
     # sites = set.union(sites,pages)
     for page in pages:
         if page not in sites:
             sites.add(page)
             get_pages = get_local_pages(page, domain)
             dfs(get_pages, domain)
     return
 
 t1 = datetime.datetime.now()
 pages = get_local_pages(url, domain)
 dfs(pages,domain)
 text_name = domain + '全站扫描.txt'
 with open(text_name, 'a') as f:
     f.write('\n' + str(datetime.datetime.now()) + '\n')
 for i in sites:
     with open(text_name, 'a') as f:
         f.write(i + '\n')
 
 with open(text_name, 'a') as f:
     f.write('\n用时：' + str(datetime.datetime.now() - t1) + '\n')
 
 sitemap

sitemap

5、基本知识点

Bs4的基本api的使用，关于beautifulSoup的基本使用方法，我这里需要介绍在下面的脚本中我使用到的方法：

Soup = BeautifulSoup(data) #构建一个解析器

Tags = Soup.findAll(name,attr)


我们重点要讲findAll方法的两个参数：name和attr

Name：  指的是标签名，传入一个标签名的名称就可以返回所有固定名称的标签名

Attr：     是一个字典存储需要查找的标签参数，返回对应的标签

Tag.children      表示获取tag标签的所有子标签


Tag.string       表示获取tag标签内的所有字符串，不用一层一层索引下去寻找字符串


Tag.attrs[key]    表示获取tag标签内参数的键值对键为key的值


Tag.img         表示获取tag标签的标签名为img的自标签（一个）

6、利用BeautifulSoup获取58页面的指定信息（python2.7）

 #!/usr/bin/env python
 # -*- coding: utf-8 -*-
 
 import urllib
 import urllib2
 from bs4 import BeautifulSoup
 
 url = 'http://ny.58.com/zufang/24584108096437x.shtml?qq-pf-to=pcqq.c2c'
 
 # rq = urllib2.Request(url)
 # print rq
 rp = urllib.urlopen(url)
 html = rp.read()
 soup = BeautifulSoup(html)
 
 # 获取标题
 title = soup.find_all(name='h1', attrs={'class': 'main-title font-heiti'})
 for data in title:
     data_title = data.get_text()
     print data_title
 
 # 获取租金
 primary = soup.find_all(name='em', attrs={'class': 'house-price'})
 for data in primary:
     data_primary = data.get_text()
     print data_primary
 
 # 获取房屋
 house_type = soup.find_all(name='div', attrs={'class': 'fl house-type c70'})
 for data in house_type:
     temp_type = data.get_text().replace('-', ' ')
     temp_type = ' '.join(temp_type.split())
     print temp_type
     # data_type_list = []
     # for d in temp_type:
     #     data_type_list.append(d)
     # print data_type_list
 
 # 获取小区
 xiaoqu = soup.find_all(name='div', attrs={'class': 'fl xiaoqu c70'})
 for data in xiaoqu:
     data_xiaoqu = data.get_text().strip()
     print data_xiaoqu
 
 # 获取配置
 config = soup.find_all(name='li', attrs={'class': 'house-primary-content-li clearfix person-config'})
 for data in config:
     data_config = data.div.get_text().replace('-',' ')
     data_config = ' '.join(data_config.split())
     print data_config
 
 # 获取联系人
 contact = soup.find_all(name='li', attrs={'class': 'house-primary-content-li clearfix person-contact'})
 for data in contact:
     data_contact = data.div.span.get_text()
     print data_contact
 
 # 写入文件
 # with open('58_test1.txt','w') as f:
 #     f.write('标题：'+data_title.decode('gbk'))
 #     f.write('租金：' + data_primary)