模块：

（1）url管理器：对url进行管理

（2）网页下载器（urllib2）：将需要爬取的url指定的网页以字符串的形式下载下来

（3）网页解释器（BeautifulSoup）：解析

利用urllib2下载网页的方法：

方法1：

import urllib2,cookielib

url = 'http://www.baidu.com'  #定义url

res1 = urllib2.urlopen(url)   #请求url

print res1.getcode()     #获取动态码

print len(res1.read())    #获取内容

方法2：

#伪装成浏览器

import urllib2,cookielib

url = 'http://www.baidu.com'

request = urllib2.Request(url)

request.add_header('User-Agent','Mozilla/5.0')   #添加http的header，伪装成浏览器

res2 = urllib2.urlopen(request)   #发送请求获取结果

print res2.getcode()

print len(res2.read())

方法3：

#添加特殊情景的处理器。例如需要登录cookie、代理proxy、https、网页自动跳转或者互相志向等网页

#处理cookie实例

import urllib2

import cookielib

url = 'http://www.baidu.com'

cj = cookielib.CookieJar()  #创建cookie容器

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))  #创建一个opener

urllib2.install_opener(opener)   #给urllib2安装opener

res3 = urllib2.urlopen(url)   #发送请求获取结果

print res3.getcode()

print len(res3.read())

print cj

网页解释器种类：

（1）正则表达式

（2）html.parser

（3）BeautifulSoup：第三方包

（4）lxml

BeautifulSoup语法：

（1）创建bs对象
（2）搜索节点find_all，find（搜索第一个节点）
　　搜索内容包括：节点名字，节点属性，节点内容
　　例如：<a href='123.html' class='article_link'>hello,python!</a>
　　　　节点名字：a
　　　　节点属性：href='123.html' 或 class='article_link'
 　　　  节点内容：hello,python！
（3）访问节点

from bs4 import BeautifulSoup

html_doc = '''

<!DOCTYPE html>

<html>

    <head>

        <meta http-equiv="content-type" content="text/html;charset=utf-8">

        <title>页面1</title>

    </head>

    <body>

        <a href='http://www.baidu.com'>百度</a>

        <a href='http://www.youku.com'>优酷</a>

        <a href='http://www.hao123.com'>hao123</a>

    </body>

</html>

'''

soup = BeautifulSoup(html_doc,'html.parser',from_encoding='utf-8')

print '获取所有链接:'

links = soup.find_all('a')

for link in links:

    print link.name,link['href'],link.get_text()

print '只获取百度的链接:'

link_node = soup.find('a',href='http://www.baidu.com')

print link_node.name,link_node['href'],link_node.get_text()

输出结果：

获取所有链接:

a http://www.baidu.com 百度

a http://www.youku.com 优酷

a http://www.hao123.com hao123

获取百度的链接:

a http://www.baidu.com 百度

正则表达式匹配

a http://www.baidu.com 百度

python：爬虫的更多相关文章

  1. Python 爬虫模拟登陆知乎

    在之前写过一篇使用python爬虫爬取电影天堂资源的博客,重点是如何解析页面和提高爬虫的效率.由于电影天堂上的资源获取权限是所有人都一样的,所以不需要进行登录验证操作,写完那篇文章后又花了些时间研究了 ...

  2. python爬虫成长之路（一）：抓取证券之星的股票数据

    获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇使用的版本为python3.5,意在抓取证券之星上当天所 ...

  3. python爬虫学习(7) —— 爬取你的AC代码

    上一篇文章中,我们介绍了python爬虫利器--requests,并且拿HDU做了小测试. 这篇文章,我们来爬取一下自己AC的代码. 1 确定ac代码对应的页面 如下图所示,我们一般情况可以通过该顺序 ...

  4. python爬虫学习(6) —— 神器 Requests

    Requests 是使用 Apache2 Licensed 许可证的 HTTP 库.用 Python 编写,真正的为人类着想. Python 标准库中的 urllib2 模块提供了你所需要的大多数 H ...

  5. 批量下载小说网站上的小说（python爬虫）

    随便说点什么 因为在学python,所有自然而然的就掉进了爬虫这个坑里,好吧,主要是因为我觉得爬虫比较酷,才入坑的. 想想看,你可以批量自动的采集互联网上海量的资料数据,是多么令人激动啊! 所以我就被 ...

  6. python 爬虫（二）

    python 爬虫 Advanced HTML Parsing 1. 通过属性查找标签:基本上在每一个网站上都有stylesheets,针对于不同的标签会有不同的css类于之向对应在我们看到的标签可能 ...

  7. Python 爬虫1——爬虫简述

    Python除了可以用来开发Python Web之后,其实还可以用来编写一些爬虫小工具,可能还有人不知道什么是爬虫的. 一.爬虫的定义: 爬虫——网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区 ...

  8. Python爬虫入门一之综述

    大家好哈,最近博主在学习Python,学习期间也遇到一些问题,获得了一些经验,在此将自己的学习系统地整理下来,如果大家有兴趣学习爬虫的话,可以将这些文章作为参考,也欢迎大家一共分享学习经验. Pyth ...

  9. [python]爬虫学习（一）

    要学习Python爬虫,我们要学习的共有以下几点(python2): Python基础知识 Python中urllib和urllib2库的用法 Python正则表达式 Python爬虫框架Scrapy ...

  10. python爬虫学习(1) —— 从urllib说起

    0. 前言 如果你从来没有接触过爬虫,刚开始的时候可能会有些许吃力 因为我不会从头到尾把所有知识点都说一遍,很多文章主要是记录我自己写的一些爬虫 所以建议先学习一下cuiqingcai大神的 Pyth ...

随机推荐

  1. HTTP状态码大全

    完整的 HTTP 1.1规范说明书来自于RFC 2616,你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3 ...

  2. 普通图片预览及demo（非分块）

    演示地址: http://codeman35.itongyin.com:19003/v2/image.html 功能:通过加载大图预览,这种方式无法和google art 比较.只能应用于简单的图片预 ...

  3. 使用Birt开发报表

    间隔一段时间未使用Birt开发报表后,本文章记录Birt开发报表的常遇到的开发问题及解决措施,方便自己和园内其他朋友学习. 一.Birt连接数据库配置 1.连接DB2数据库: 1.1.birt的数据连 ...

  4. 5、SQL Server数据库、T-SQL

    SQL Server数据库基础 一.安装SQL Server数据库 setup.exe->安装->全新SQL Server独立安装或向现有安装添加功能->输入序列号->下一步- ...

  5. 接口与继承ppt作业

    问:为什么子类的构造方法在运行之前,必须调用父类的构造方法?能不能反过来?为什么不能反过来? 答:子类拥有父的成员变量和成员方法,如果不调用,则从父类继承而来的成员变量和成员方法得不到正确的初始化.不 ...

  6. 两个shell脚本

    脚本1停止lampp #!/bin/bash #set -xv 开启调试模式? count=`ps -ef|grep lampp|grep -v "grep"|wc -l`  # ...

  7. ES6学习笔记(2)

    变量的解构赋值 ES6允许按照一定模式,从数组和对象中提取值,对变量进行赋值,被称为解构(Destructuring); 数组的解构赋值 let [a, b, c] = [1, 2, 3]; cons ...

  8. Redis性能点

    AliRedis是来自阿里巴巴的基于Redis改造的缓存产品,目前还未开源.网上只能搜到这么一篇资料<AliRedis单机180w QPS, 8台服务器构建1000w QPS Cache集群&g ...

  9. C#开发微信公众平台(附Demo)

    服务号和订阅号 服务号是公司申请的微信公共账号,订阅号是个人申请的,我个人也申请了一个,不过没怎么用. 服务号 1个月(30天)内仅可以发送1条群发消息. 发给订阅用户(粉丝)的消息,会显示在对方的聊 ...

  10. 查询数据库最大id加1

    SELECT ISNULL(MAX(id),0)+1 AS MaxId FROM TABLE ISNULL(MAX(id),0) 就是如果id为空 就返回0,然后再加1