第三百二十七节，web爬虫讲解2—urllib库爬虫

利用python系统自带的urllib库写简单爬虫

urlopen()获取一个URL的html源码
read()读出html源码内容
decode("utf-8")将字节转化成字符串

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html').read().decode("utf-8")

print(html)
<!DOCTYPE html>

<html lang="zh-CN">

<head>

    <meta charset="UTF-8">

    <meta name="viewport" content="width=device-width, initial-scale=1">

    <meta name="csrf-param" content="_csrf">

    <meta name="csrf-token" content="X1pZZnpKWnQAIGkLFisPFT4jLlJNIWMHHWM6HBBnbiwPbz4/LH1pWQ==">

正则获取页面指定内容

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import re

html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html').read().decode("utf-8")   #获取html源码

pat = "51CTO学院Python实战群\((\d*?)\)"      #正则规则，获取到QQ号

rst = re.compile(pat).findall(html)

print(rst)

#['325935753']

urlretrieve()将网络文件下载保存到本地，参数1网络文件URL，参数2保存路径

#!/usr/bin/env python

# -*- coding:utf-8 -*-

from urllib import request

import re

import os

file_path = os.path.join(os.getcwd() + '/222.html')    #拼接文件保存路径

# print(file_path)

request.urlretrieve('http://edu.51cto.com/course/8360.html', file_path) #下载这个文件保存到指定路径

urlcleanup()清除爬虫产生的内存

#!/usr/bin/env python

# -*- coding:utf-8 -*-

from urllib import request

import re

import os

file_path = os.path.join(os.getcwd() + '/222.html')    #拼接文件保存路径

# print(file_path)

request.urlretrieve('http://edu.51cto.com/course/8360.html', file_path) #下载这个文件保存到指定路径

request.urlcleanup()

info()查看抓取页面的简介

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import re

html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html')   #获取html源码

a = html.info()

print(a)

# C:\Users\admin\AppData\Local\Programs\Python\Python35\python.exe H:/py/15/chshi.py

# Date: Tue, 25 Jul 2017 16:08:17 GMT

# Content-Type: text/html; charset=UTF-8

# Transfer-Encoding: chunked

# Connection: close

# Set-Cookie: aliyungf_tc=AQAAALB8CzAikwwA9aReq63oa31pNIez; Path=/; HttpOnly

# Server: Tengine

# Vary: Accept-Encoding

# Vary: Accept-Encoding

# Vary: Accept-Encoding

getcode()获取状态码

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import re

html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html')   #获取html源码

a = html.getcode()  #获取状态码

print(a)

#

geturl()获取当前抓取页面的URL

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import re

html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html')   #获取html源码

a = html.geturl()  #获取当前抓取页面的URL

print(a)

#http://edu.51cto.com/course/8360.html

timeout抓取超时设置，单位为秒

是指抓取一个页面时对方服务器响应太慢，或者很久没响应，设置一个超时时间，超过超时时间就不抓取了

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import re

html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html',timeout=30)   #获取html源码

a = html.geturl()  #获取当前抓取页面的URL

print(a)

#http://edu.51cto.com/course/8360.html

自动模拟http请求

http请求一般常用的就是get请求和post请求

get请求

比如360搜索，就是通过get请求并且将用户的搜索关键词传入到服务器获取数据的

所以我们可以模拟百度http请求，构造关键词自动请求

quote()将关键词转码成浏览器认识的字符，默认网站不能是中文

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import urllib.request

import re

gjc = "手机"     #设置关键词

gjc = urllib.request.quote(gjc)         #将关键词转码成浏览器认识的字符，默认网站不能是中文

url = "https://www.so.com/s?q="+gjc     #构造url地址

# print(url)

html = urllib.request.urlopen(url).read().decode("utf-8")  #获取html源码

pat = "(\w*<em>\w*</em>\w*)"            #正则获取相关标题

rst = re.compile(pat).findall(html)

# print(rst)

for i in rst:

    print(i)                            #循环出获取的标题

    # 官网 < em > 手机 < / em >

    # 官网 < em > 手机 < / em >

    # 官网 < em > 手机 < / em > 这么低的价格

    # 大牌 < em > 手机 < / em > 低价抢

    # < em > 手机 < / em >

    # 淘宝网推荐 < em > 手机 < / em >

    # < em > 手机 < / em >

    # < em > 手机 < / em >

    # < em > 手机 < / em >

    # < em > 手机 < / em >

    # 苏宁易购买 < em > 手机 < / em >

    # 买 < em > 手机 < / em >

    # 买 < em > 手机 < / em >

 post请求

urlencode()封装post请求提交的表单数据，参数是字典形式的键值对表单数据
Request()提交post请求，参数1是url地址，参数2是封装的表单数据

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import urllib.request

import urllib.parse

posturl = "http://www.iqianyue.com/mypost/"

shuju = urllib.parse.urlencode({                #urlencode()封装post请求提交的表单数据，参数是字典形式的键值对表单数据

    'name': '',

    'pass': ''

    }).encode('utf-8')

req = urllib.request.Request(posturl,shuju)     #Request()提交post请求，参数1是url地址，参数2是封装的表单数据

html = urllib.request.urlopen(req).read().decode("utf-8")  #获取post请求返回的页面

print(html)

第三百二十七节，web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求的更多相关文章

  1. 六 web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求

    利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码read()读出html源码内容decode("utf-8")将字节转化成字符串 ...

  2. 第三百二十九节，web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用

    第三百二十九节,web爬虫讲解2—urllib库爬虫—ip代理 使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置build_opener ...

  3. 第三百三十节，web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解

    第三百三十节,web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解 封装模块 #!/usr/bin/env python # -*- coding: utf- ...

  4. 第三百二十八节，web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理

    第三百二十八节,web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术.设置用户代理 如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执 ...

  5. 七 web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理

    如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执行下去 1.常见状态吗 301:重定向到新的URL,永久性302:重定向到临时URL,非永久性304: ...

  6. 八 web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用

    使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置build_opener()初始化IPinstall_opener()将代理IP设置成全 ...

  7. 九 web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解

    封装模块 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib from urllib import request import j ...

  8. 第三百五十七节，Python分布式爬虫打造搜索引擎Scrapy精讲—利用开源的scrapy-redis编写分布式爬虫代码

    第三百五十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—利用开源的scrapy-redis编写分布式爬虫代码 scrapy-redis是一个可以scrapy结合redis搭建分布式爬虫的开 ...

  9. 第三百六十七节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中

    第三百六十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中 前面我们讲到的elasticsearch( ...

随机推荐

  1. 菜鸟译文（二）——使用Java泛型构造模板方法模式

    如果你发现你有很多重复的代码,你可能会考虑用模板方法消除容易出错的重复代码.这里有一个例子:下面的两个类,完成了几乎相同的功能: 实例化并初始化一个Reader来读取CSV文件: 读取每一行并解析: ...

  2. git报错之index.lock

    当想回退到某个版本的时候,用git reset --hard commit_id,发现报错,原因是.git目录下多了个index.lock文件,可以通过rm命令删除,然后再回退 rm -f ./.gi ...

  3. 每日英语：The best time for coffee is 10:30 a.m.

    For many of us, it is the rocket fuel that gets us going first thing in the morning. But one expert ...

  4. 对于iOS开发人工智能意味着什么

    对于iOS开发人工智能意味着什么? 前言 近几年来人工智能的话题那是炙手可热.在国内很多大佬言必谈机器学习和大数据:在美国刚毕业的人工智能 PHD 也是众人追捧,工资直逼 NFL 四分卫.人工智能甚至 ...

  5. VS调试dll

    (ps:编译dll的工程最好配置一下预编译宏:“配置属性”/“C或C++”/“预处理器”/“预处理器定义”,选择编辑,在最下面加一行“_CRT_SECURE_NO_WARNINGS”) 1. 右键dl ...

  6. TensorFlow学习路径【转】

    作者:黄璞链接:https://www.zhihu.com/question/41667903/answer/109611087来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明 ...

  7. 【ARM】2440裸机系列－RTC数字时钟

    功能 裸机程序,实现LCD显示数字时钟 主要代码   1)背景绘制 void Brush_ U32 c) { int x,y ; for ( y = 0 ; y < LCD_HEIGHT ; y ...

  8. 详解利用Dockerfile构建mysql镜像并实现数据的初始化及权限设置

    本文提要 本文目的不仅仅是创建一个MySQL的镜像,而是在其基础上再实现启动过程中自动导入数据及数据库用户的权限设置,并且在新创建出来的容器里自动启动MySQL服务接受外部连接,主要是通过Docker ...

  9. mysql性能优化（一）

    随着项目的上线,关注开始关注服务器的运维和优化,其中后端数据库状态查看和参数调优是比不可少的一步,可能用到的两个小工具: mysqltuner.pl tuning-primer.sh 参考: [1] ...

  10. 大数据 Hive 简介

    第一部分:Hive简介 什么是Hive •Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. •本质是将SQL转换为MapReduce程序 ...