The website is API（1）

Requests 自动爬取HTML页面自动网路请求提交

robots 网络爬虫排除标准

Beautiful Soup 解析HTML页面

实战

Re 正则表达式详解提取页面关键信息

Scrapy*框架

第一周：规则

第一单元：Requests库入门

1.安装

以管理员身份运行命令提示符

输入 pip install request

验证：

>>> import requests

>>> r = requests.get("http://www.baidu.com")

>>> r.status_code

200

requests.request()：构造一个请求，支撑以各个方法的基础方法

requests.get()：获取HTML网页的主要方法，对应于HTTP的GET

requests.get(url,params=None,**kwargs)

url:拟获取页面的url链接

params:url中的额外参数，字典或字节流格式，可选

**kwargs:12个控制访问的参数

Response对象的属性

r.status_code：HTTP请求的返回状态，200表示连接成功，404表示失败

r.text：HTTP响应内容的字符串形式，即，url对应的页面内容

r.encoding：从HTTP header中猜测的响应内容编码方式

r.apparent_encoding：从内容中分析出响应内容编码方式

r.content：HTTP响应内容的二进制形式

通用代码框架：

>>> import requests

>>> def getHTMLText(url):

    try:

        r = requests.get(url,timeout=30)

        r.raise_for_status()#如果状态不是200，引发HTTPEorror异常

        r.encoding = r.apparent_encoding

        return r.text

    except:

        return "产生异常"

>>> if __name__ == "__main__":
url="www.baidu.com"
print(getHTMLText(url))

产生异常

requests.head()：网页头，HEAD

requests.post()：向HTML网页提交POST请求的方法，POST

requests.put()：PUT

requests.patch()：局部修改请求，PATCH

requests.delete()：删除请求，DELETE

requests.request(method,url,**kwargs)

method:请求方式，对应get/put/post等七种

r = requests.request('GET',url,**kwargs)

r = requests.request('HEAD',url,**kwargs)

r = requests.request('POST',url,**kwargs)

r = requests.request('PUT',url,**kwargs)

r = requests.request('PATCH',url,**kwargs)

r = requests.request('delete',url,**kwargs)

r = requests.request('OPTIONS',url,**kwargs)

**kwargs:控制访问的参数，可选

params:字典或字节序列，作为参数增加到url中

data：字典、字节序列或文件对象，作为Request的内容

json：JSON格式的数据

headers：

https://www.baidu.com/robots.txt

Requests库爬取实例

>>> import requests

>>> url = "https://item.jd.com/2967929.html"

>>> try:

    r = requests.get(url)

    r.raise_for_status()

    r.encoding = r.apparent_encoding

    print(r.text[:1000])

except:

    print("爬取失败")

<!DOCTYPE HTML>

<html lang="zh-CN">

<head>

    <!-- shouji -->

    <meta http-equiv="Content-Type" content="text/html; charset=gbk" />

    <title>【华为荣耀8】荣耀8 4GB+64GB 全网通4G手机 魅海蓝【行情 报价 价格 评测】-京东</title>

    <meta name="keywords" content="HUAWEI荣耀8,华为荣耀8,华为荣耀8报价,HUAWEI荣耀8报价"/>

    <meta name="description" content="【华为荣耀8】京东JD.COM提供华为荣耀8正品行货，并包括HUAWEI荣耀8网购指南，以及华为荣耀8图片、荣耀8参数、荣耀8评论、荣耀8心得、荣耀8技巧等信息，网购华为荣耀8上京东,放心又轻松" />

    <meta name="format-detection" content="telephone=no">

    <meta http-equiv="mobile-agent" content="format=xhtml; url=//item.m.jd.com/product/2967929.html">

    <meta http-equiv="mobile-agent" content="format=html5; url=//item.m.jd.com/product/2967929.html">

    <meta http-equiv="X-UA-Compatible" content="IE=Edge">

    <link rel="canonical" href="//item.jd.com/2967929.html"/>

        <link rel="dns-prefetch" href="//misc.360buyimg.com"/>

    <link rel="dns-prefetch" href="//static.360buyimg.com"/>

    <link rel="dns-prefetch" href="//img10.360buyimg.com"/>

    <link rel="dns

>>> import requests

>>> url = "https://www.amazon.cn/gp/product/B01MBL5Z3Y"

>>> try:

    kv = {'user-agent':'Mozilla/5.0'}

    r = requests.get(url,headers = kv)

    r.raise_for_status()

    r.encoding = r.apparent_encoding

    print(r.text[1000:2000])

except:

    print("Fail")

       ue_sid = (document.cookie.match(/session-id=([0-9-]+)/) || [])[1],

        ue_sn = "opfcaptcha.amazon.cn",

        ue_id = 'HB12BAYVB85FMA4VRS38';

}

</script>

</head>

<body>

<!--

        To discuss automated access to Amazon data please contact api-services-support@amazon.com.

        For information about migrating to our APIs refer to our Marketplace APIs at https://developer.amazonservices.com.cn/index.html/ref=rm_c_sv, or our Product Advertising API at https://associates.amazon.cn/gp/advertising/api/detail/main.html/ref=rm_c_ac for advertising use cases.

-->

<!--

Correios.DoNotSend

-->

<div class="a-container a-padding-double-large" style="min-width:350px;padding:44px 0 !important">

    <div class="a-row a-spacing-double-large" style="width: 350px; margin: 0 auto">

        <div class="a-row a-spacing-medium a-text-center"><i class="a-icon a-logo"></i></div>

        <div class="a-box a-alert a-alert-info a-spacing-base">

            <div class="a-box-inner">

百度360搜索关键词提交

import requests

keyword = 'Python'

try:

    kv = {'q':keyword}

    r = requests.get("http://www.so.com/s",params = kv)

    print(r.request.url)

    r.raise_for_status()

    print(len(r.text))

except:

    print("爬取失败")

图片下载

import requests

import os

url = "http://wx1.sinaimg.cn/mw600/0076BSS5ly1g6hmmj82tpj30u018wdos.jpg"

root = "E://pics//"

path = root + url.split('/')[-1]

try:

    if not os.path.exists(root):

        os.mkdir(root)

    if not os.path.exists(path):

        r = requests.get(url)

        with open(path,'wb') as f:

            f.write(r.content)

            f.close()

            print("文件保存成功")

    else:

        print("文件已存在")

except:

    print("爬取失败")

IP地址查询

import requests

url = "http://m.ip138.com/ip.asp?ip="

try:

    r = requests.get(url+'202.204.80.112')

    r.raise_for_status()

    r.encoding = r.apparent_encoding

    print(r.text[-300:])

except:

    print("爬取失败")

The website is API（1）的更多相关文章

The website is API（2）
一.Beautifu Soup库 from bs4 import BeautifulSoup soup = BeautifulSoup(demo,"html.parser") Ta ...
The website is API（3）
网络爬虫实战知识准备: Requests库.robots(网络爬虫排除标准).BeautifulSoup库一.Re正则表达式 1. 简洁地表达一组字符串通用的字符串表达框架字符串匹配编译: 2 ...
The website is API（4）
1.淘宝商品信息定向爬虫目标:获取淘宝搜索页面信息,提取其中的商品名称和价格理解:淘宝的搜索接口翻页的处理技术路线:requests+re https://s.taobao.com/searc ...
我这么玩Web Api（二）：数据验证，全局数据验证与单元测试
目录一.模型状态 - ModelState 二.数据注解 - Data Annotations 三.自定义数据注解四.全局数据验证五.单元测试一.模型状态 - ModelState 我理解 ...
[Android]使用Dagger 2依赖注入 - API（翻译）
以下内容为原创,欢迎转载,转载请注明来自天天博客:http://www.cnblogs.com/tiantianbyconan/p/5092525.html 使用Dagger 2依赖注入 - API ...
[转]ASP.NET Web API（三）：安全验证之使用摘要认证(digest authentication)
本文转自:http://www.cnblogs.com/parry/p/ASPNET_MVC_Web_API_digest_authentication.html 在前一篇文章中,主要讨论了使用HTT ...
ASP.NET Web API（三）：安全验证之使用摘要认证(digest authentication)
在前一篇文章中,主要讨论了使用HTTP基本认证的方法,因为HTTP基本认证的方式决定了它在安全性方面存在很大的问题,所以接下来看看另一种验证的方式:digest authentication,即摘要认 ...
ASP.NET Web API（二）：安全验证之使用HTTP基本认证
在前一篇文章ASP.NET Web API(一):使用初探,GET和POST数据中,我们初步接触了微软的REST API: Web API. 我们在接触了Web API的后就立马发现了有安全验证的需求 ...
微信公众平台Js API（WeixinApi）
微信公众平台Js API(WeixinApi): https://github.com/zxlie/WeixinApi#user-content-3%E9%9A%90%E8%97%8F%E5%BA%9 ...

随机推荐

路飞学城—Python爬虫实战密训班第二章
路飞学城—Python爬虫实战密训班第二章一.Selenium基础 Selenium是一个第三方模块,可以完全模拟用户在浏览器上操作(相当于在浏览器上点点点). 1.安装 - pip instal ...
linux服务重启命令
/etc/init.d/sshd restart/etc/init.d/sshd reload systemctl status sshd.servicesystemctl restart sshd. ...
ETL优化
ETL优化 Extract.Transform.Load,对异构数据源进行数据处理. 设立基线标准,根据硬盘.网络传输速度,多测测量得到数据量(m)/时间(s)的比值,找线性关系.建立基线作为调试和优 ...
vSphere Replication5.5安装
vSphere Replication5.5概述 VMware vSphere Replication简称VR是 VMwarevCenter Server 的扩展,提供基于管理程序的虚拟机复制和恢复功 ...
程序员用 Python 扒出 B 站那些“惊为天人”的UP主！
前言 ! 近期B站的跨年晚会因其独特的创意席卷各大视频网站,给公司带来了极大的正面影响,股价也同时大涨,想必大家都在后悔没有早点买B站的股票: 然而今天我们要讨论的不是B站的跨年晚会,而是B站 ...
POJ-1308 Is It A Tree?（并查集判断是否是树）
http://poj.org/problem?id=1308 Description A tree is a well-known data structure that is either empt ...
吴裕雄--天生自然TensorFlow2教程：前向传播（张量）- 实战
手写数字识别流程 MNIST手写数字集7000*10张图片 60k张图片训练,10k张图片测试每张图片是28*28,如果是彩色图片是28*28*3-255表示图片的灰度值,0表示纯白,255表示纯黑 ...
Python—程序设计：抽象工厂模式
抽象工厂模式内容:定义一个工厂类接口,让工厂子类来创建一系列相关或相互依赖的对象. 例:生产一部手机,需要手机壳.CPU.操作系统三类对象进行组装,其中每类对象都有不同的种类.对每个具体工厂,分别生 ...
记录一次URL中有特殊字符怎么处理？
你out了,赶紧换 RestTemplate 吧! 进入正题,直接实战!!! import java.util.HashMap; import java.util.Map; import org.ju ...
tensorflow函数解析：Session.run和Tensor.eval
原问题链接: http://stackoverflow.com/questions/33610685/in-tensorflow-what-is-the-difference-between-sess ...

The website is API（1）

The website is API（1）的更多相关文章

随机推荐

热门专题