HTTP协议简介详解 HTTP协议发展原理请求方法响应状态码请求头请求首部 java模拟浏览器客户端服务端

协议简介

协议,自然语言里面就是契约,也是双方或者多方经过协商达成的一致意见;

契约也即类似于合同,自然有甲方123...,乙方123...,哪些能做,哪些不能做;

通信协议,也即是双方通过网络通信必须遵从的一组约定;

计算机网络的本质在于传递数据,协议自然是针对于数据的结构格式以及传送规则的约定;

之前介绍过计算机网络的发展,其中TCP/IP协议栈共分为四层,两个程序端点数据的传输是U字形的

应用层

传输层

网络层

网络接口层

HTTP是工作在应用层的协议,所谓的工作在哪层,只不过是对底层的封装程度而已;

HTTP协议是什么

HTTP协议是Tim(计算机发展系列提到过)发明的,也正是他完成了万维网三大基础技术的设计：命名方案（URI），通信协议（HTTP）和用来表示信息的标记语言（HTML）;

回过神来仔细想想web的发展过程,web是B/S结构的,浏览器(B)通过网络向服务器(S)请求数据,

有了TCP/IP协议以及Socket编程,你可以很容易的完成服务器与请求方的数据沟通;

但是信息的传递的重点在于信息本身,而不是这一次的数据交换,必须要能够相互理解;

因为单纯的数据交流并没有任何意义,必须有对话的基础,那就是"语言";

就好像你(请求方)在说普通话,水果店老板(服务器)在讲英语,你们从早上交流到晚上可能并没有有效的传递任何信息;

所以HTTP协议就是这样一种用于浏览器客户端与服务器交流的一种"语言";

他规定了对话的语法以及格式,有了HTTP协议,客户端和服务器端就可以相互理解对方,才能达到信息交换的目的;

既然HTTP是为了WEB创造的,自然是请求获取的一个过程,而且当时就是HTML

所以最初他就是这么简单,获取一个名为XXX的HTML文件

GET /index.html

1991年Tim写了一篇关于HTTP的协议的文章,被看做是HTTP/0.9

地址:https://www.w3.org/Protocols/HTTP/AsImplemented.html

HTTP-Hypertext Transfer protocol ,超文本传输协议,他的名字完整的对自己进行了释义:传输超文本HTML文件的协议;

HTTP协议的发展

最初的版本,看起来可能比较简陋,他只能单独的请求数据,连是不是请求出错了都无法感知,显然,这不可能持续满足需求;

1996年 HTTP/1.0 版本发布

1.0是相对于0.9的大阔步发展,增加了很多内容,详见RFC1945 https://tools.ietf.org/html/rfc1945

不再限制内容的格式只能是HTML,任何格式都可以;

除了GET还引入了POST 和 HEAD 丰富了浏览器客户端和服务器的交互

HTTP请求和相应的格式信息也更加丰富,还增加了状态码等等内容

1997年1月，HTTP/1.1 版本发布，只比 1.0 版本晚了半年,1.1是1.0的升级优化版,重点在于完善优化

这也是目前一直在用的一个版本

HTTP协议的格式

HTTP默认的端口号为80，HTTPS的端口号为443,HTTP协议包括请求和响应

其中CRLF是回车换行

此图片来自于<计算机网络> ,首部也就是前面图中的头部一个意思

请求和响应都包括:行/头部/主体

请求行包括:方法/URL/版本号

响应行包括:版本号/状态码/描述

请求头和响应头都是KEY:VALUE的键值对形式,个数为n

头部可以分成三个部分:请求/响应头字段、通用头字段、实体头字段。

其中通用头字段和实体头字段部分内容也在响应部分有相同的定义。

请求体通常不用,响应体也不一定用;

HTTP请求方法

HTTP请求方法有下面几种,常用的有GET、POST请求.

GET	请求指定的页面信息，并返回实体主体。
POST	向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。
HEAD	类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头
PUT	从客户端向服务器传送的数据取代指定的文档的内容。
DELETE	请求服务器删除指定的资源。
CONNECT	HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。
OPTIONS	允许客户端查看服务器的性能。
TRACE	回显服务器收到的请求，主要用于测试或诊断,还回测试的请求报文

HTTP状态码

三位数字表示,第一位表示类型

1XX 消息，服务器收到请求，需要请求者继续执行操作

2XX 成功，操作被成功接收并处理

3XX 重定向，需要进一步的操作以完成请求

4XX 客户端错误，请求包含语法错误或无法完成请求

5XX 服务器错误，服务器在处理请求的过程中发生了错误

100	Continue	继续。客户端应继续其请求
101	Switching Protocols	切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议，例如，切换到HTTP的新版本协议

200	OK	请求成功。一般用于GET与POST请求
201	Created	已创建。成功请求并创建了新的资源
202	Accepted	已接受。已经接受请求，但未处理完成
203	Non-Authoritative Information	非授权信息。请求成功。但返回的meta信息不在原始的服务器，而是一个副本
204	No Content	无内容。服务器成功处理，但未返回内容。在未更新网页的情况下，可确保浏览器继续显示当前文档
205	Reset Content	重置内容。服务器处理成功，用户终端（例如：浏览器）应重置文档视图。可通过此返回码清除浏览器的表单域
206	Partial Content	部分内容。服务器成功处理了部分GET请求

300	Multiple Choices	多种选择。请求的资源可包括多个位置，相应可返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择
301	Moved Permanently	永久移动。请求的资源已被永久的移动到新URI，返回信息会包括新的URI，浏览器会自动定向到新URI。今后任何新的请求都应使用新的URI代替
302	Found	临时移动。与301类似。但资源只是临时被移动。客户端应继续使用原有URI
303	See Other	查看其它地址。与301类似。使用GET和POST请求查看
304	Not Modified	未修改。所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。客户端通常会缓存访问过的资源，通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源
305	Use Proxy	使用代理。所请求的资源必须通过代理访问
306	Unused	已经被废弃的HTTP状态码
307	Temporary Redirect	临时重定向。与302类似。使用GET请求重定向

400	Bad Request	客户端请求的语法错误，服务器无法理解
401	Unauthorized	请求要求用户的身份认证
402	Payment Required	保留，将来使用
403	Forbidden	服务器理解请求客户端的请求，但是拒绝执行此请求
404	Not Found	服务器无法根据客户端的请求找到资源（网页）。通过此代码，网站设计人员可设置"您所请求的资源无法找到"的个性页面
405	Method Not Allowed	客户端请求中的方法被禁止
406	Not Acceptable	服务器无法根据客户端请求的内容特性完成请求
407	Proxy Authentication Required	请求要求代理的身份认证，与401类似，但请求者应当使用代理进行授权
408	Request Time-out	服务器等待客户端发送的请求时间过长，超时
409	Conflict	服务器完成客户端的PUT请求是可能返回此代码，服务器处理请求时发生了冲突
410	Gone	客户端请求的资源已经不存在。410不同于404，如果资源以前有现在被永久删除了可使用410代码，网站设计人员可通过301代码指定资源的新位置
411	Length Required	服务器无法处理客户端发送的不带Content-Length的请求信息
412	Precondition Failed	客户端请求信息的先决条件错误
413	Request Entity Too Large	由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息
414	Request-URI Too Large	请求的URI过长（URI通常为网址），服务器无法处理
415	Unsupported Media Type	服务器无法处理请求附带的媒体格式
416	Requested range not satisfiable	客户端请求的范围无效
417	Expectation Failed	服务器无法满足Expect的请求头信息

500	Internal Server Error	服务器内部错误，无法完成请求
501	Not Implemented	服务器不支持请求的功能，无法完成请求
502	Bad Gateway	充当网关或代理的服务器，从远端服务器接收到了一个无效的请求
503	Service Unavailable	由于超载或系统维护，服务器暂时的无法处理客户端的请求。延时的长度可包含在服务器的Retry-After头信息中
504	Gateway Time-out	充当网关或代理的服务器，未及时从远端服务器获取请求
505	HTTP Version not supported	服务器不支持请求的HTTP协议的版本，无法完成处理

HTTP头部-通用头字段

请求和响应都会用到的头部字段

Cache-Control 指定请求和响应遵循的缓存机制
Connection 控制不在转发给代理的首部也就是有些首部信息通过他控制删除后转发,另外就是是否持久连接1.1默认持久
Date 报文创建的日期和时间 http1.1使用RFC1123中规定的格式
Pragma 遗留字段形式唯一 Pragma:no-cache,虽是通用,但仅用于请求,要求所有中间服务器不返回缓存的资源
Trailer 事先说明报文主体之后记录了哪些头字段
Transfer-Encoding 传输报文主体时采用的编码方式
Upgrade 检测HTTP协议以及其他协议是否可以使用更高版本通信,参数还可以指定一个完全不同的通信协议
Via 追踪客户端和服务器之间的请求和响应报文的传输路径
Warning 告知用户一些与缓存相关的问题的警告

HTTP头部-请求头字段

从客户端向服务器端发送请求时使用到的头字段,补充了请求的附加内容,客户端信息,响应内容优先级等信息

1.Accept

告知服务器,能够处理的媒体类型以及媒体类型的相对优先级可使用type/subtype的形式,一次指定多种类型

比如 text/html,text/plain,text/css………

2.Accept-Charset

告知服务器,能够处理的字符集以及字符集的相对优先级

也可以一次指定多个

3.Accept-Encoding

告知服务器,支持的内容编码以及内容编码的相对优先级,可以一次性指定多种内容编码 gzip,compress,deflate,identity

4.Accept-Language

告知服务器,能够处理的自然语言集,比如中文英文 ,以及自然语言的相对优先级,可以一次性指定多种自然语言集

5.Authorization

告知服务器,认证信息

6.Expect

告知服务器,期望出现的某种特定行为

7.From

告知服务器,电子邮件地址

8.Host

告知服务器,请求资源的主机名以及端口号,Host是请求头字段里面,HTTP1.1唯一一个要求必须有的字段

形如If-Xxx的请求头字段,都是条件字段,服务器会判断这个条件,只有条件为真的时候才会执行请求

9.If-Match

告知服务器,匹配资源所用的实体标记ETag的值如果使用*号,服务器将忽略不在比较

10.If-Modified-Since

告知服务器,指定的日期后资源发生了更新,服务器会接受响应 ,参数为日期时间

11.If-None-Match

与If-Match原理一样,取值相反

12.If-Range

属于附带条件之一字段值若是跟ETag或者更新日期时间匹配一致,那么作为范围请求处理,否则返回全部资源

13.If-Unmodified-Since

原理同If-Modified 取值相反

14.Max-Forwards

通过TRACE或者OPTIONS,发送包含此字段的请求,以十进制形式指定可经过的服务器最大数目

15.Proxy-Authorization

认证相关

16.Range

对于只获取部分资源的范围请求,告知服务器资源的指定范围,服务器接收Range处理后还会返回206 无法处理则会忽视,返回200以及全部资源

17.Referer

告知服务器请求的原始资源的URI

18.TE

告知服务器,客户端能够处理的响应的传输编码方式以及相对优先级,注意是传输,传输中编码

19.User-Agent

创建请求的浏览器和用户代理名称等信息传达给服务器

HTTP头部-响应头字段

从服务器端返回响应时用到的头部字段,补充了响应的附加内容

1.Accept-Ranges

告知客户端,服务器是否能够处理范围请求,如果不能值为none,Accept-Ranges:none;否则是bytes

2.Age

告知客户端,源服务器在多久前创建了响应,字段值单位为s,如果是缓存服务器值为缓存后的响应再次发起认证到认证完成的时间值,代理创建响应必须加上Age

3.Etag

告知客户端实体标识,可以将资源以字符串形式唯一标识的方式,服务器会给每个资源创建ETag值,资源更新,Etag也需要更新

4.Location

将响应接收方引导至某个请求URI位置不同的资源,基本上字段会配合3XX,几乎所有的浏览器接收到Location响应都会强制尝试对已经提示的信息进行重定向

5.Proxy-authenticate

代理服务器需要的认证信息发送给客户端

6.Retry-After

告知客户端,多久后重新请求,主要配合503或者3xx Redirect响应一起使用

7.Server

告知客户端,服务器上安装的HTTP服务器应用程序信息

8.Vary

源服务器向代理服务器传达对缓存进行控制的信息,

9.WWW-Authenticate

用于HTTP访问认证

HTTP头部-实体头字段

针对请求和响应报文的实体部分使用的头字段,用于补充内容的更新时间等与实体相关的信息

1.Allow

通知客户端能够支持Request-URI指定资源的所有HTTP方法,收到不支持的方法请求时,返回405 Method Not Allowed,还会把支持的方法写入首部字段Allow返回

2.Content-Encoding

会告知客户端服务器对实体的主体部分选用的内容编码方式,指在不丢失信息的前提下进行压缩

3.Content-Language

告知客户端,实体主体使用的自然语言比如中文英文

4.Content-Length

实体主体部分的大小,单位字节

5.Content-Location

给出与报文主体部分相对应的URI,和Location不同,本字段表示的是报文主体返回资源对应的URI

6.Content-MD5

MD5生成的值,目的在于检查报文主体传输过程中是否保持完整,客户端通过对报文主体执行相同的MD5算法然后比对,确认传输到达

7.Content-Range

针对范围请求,返回响应时使用的首部字段,告知客户端作为响应返回的实体的哪个部分符合范围请求. 字节为单位

8.Content-Type

实体主体内对象的媒体类型,用type/subType设置

9.Expires

资源失效的日期告诉客户端,接收到Expires的响应后会以缓存来应答,指定的时间值之前,响应的副本会一直保存,超过指定时间,缓存服务器会转向源服务器,优先级比Cache-Control max-age低

为Cookies服务的头部字段

Set-Cookie 开始状态管理所使用的Cookie信息响应头字段

Cookie 服务器接收到的Cookie信息请求头字段

Set-Cookie 字段属性

Name=value 键值对的形式必须

expires=DATE 有效期,不指定默认为浏览器关闭

path=PATH 服务器上的文件目录作为Cookie的适用对象,不指定默认为当前目录

domain=域名作为Cookies适用对象的域名,不指定默认为创建Cookie的服务器域名

Secure 仅仅HTTPS下才发送Cookie

HttpOnly 限制,js不能使用Cookie

模拟浏览器和服务器原理

说了那么多HTTP协议,其实终究也还只是个信息传递交互的一个格式.

所以说,你只要发送指定格式的数据到服务器,就能像浏览器一样请求数据

只要能够接受请求返回HTTP协议指定的格式的响应,浏览器就能解析数据

网络编程离不开Socket,Socket也是一个IO流,只不过通过Socket实现的是客户端与服务端的IO读写

服务器的I是客户端的O

客户端的I是服务器的O

下面的例子非常的简单,当然也不怎么完善,但是你可以清晰地看到,协议,的作用,

//客户端浏览器

import java.io.IOException;

import java.io.InputStream;

import java.io.PrintWriter;

import java.net.Socket;

import java.net.UnknownHostException;

public class Client {

    public static void main(String[] args) throws UnknownHostException, IOException {

        //建立客户端Socket

         Socket s = new Socket("www.baidu.com",80);

         //获取输出流 客户端的输出流也即是服务端的输入流

         //也就是发送数据到服务器

         PrintWriter out = new PrintWriter(s.getOutputStream(),true);

         out.println("GET /error.html HTTP/1.1");

         out.println("Accept: */*");

         out.println("Host: www.baidu.com");

         out.println("Connection: close");

         out.println();

         out.println();

         //接收服务器的响应信息

         //客户端的输入流就是服务器输出流

         InputStream in = s.getInputStream();

         //缓冲区 1024

         byte[] buf = new byte[1024];

         int len = in.read(buf);

         //打印信息

         String str =new String(buf,0,len);

         System.out.println(str);

         s.close();

     }

}

//服务端

import java.io.IOException;

import java.io.InputStream;

import java.io.PrintWriter;

import java.net.ServerSocket;

import java.net.Socket;

public class Server {

    public static void main(String[] args) throws IOException {

        //服务端socket

         ServerSocket ss = new ServerSocket(8080);

         //等待请求

         Socket s = ss.accept();

         System.out.println(s.getInetAddress().getHostAddress()+".....connected");

         //获取输入流打印客户端请求信息

         InputStream in = s.getInputStream();

         byte[] buf = new byte[1024];

         int len = in.read(buf);

         String text = new String(buf,0,len);

         System.out.println(text);

         //发送数据到客户端

         PrintWriter out = new PrintWriter(s.getOutputStream(),true);

         out.println("<font color='green' size='10'>welcome</font>");

         s.close();

         ss.close();

     }

}

如果有的浏览器打不开,请用IE浏览器,毕竟就随便输出了一条头部信息等都没有好好搞

HTTP协议总结:

所谓协议就是有固定格式结构,有约定语义;

大家都基于这种语义进行交流沟通;HTTP协议也是如此,他不关注具体的数据,只关心数据的格式以及语义;

所以只要你发送符合HTTP协议的指定格式的请求数据,你就能得到服务器的响应;

只要你返回符合HTTP协议的指定格式的响应数据,你就能正确发送信息到客户端;

服务器端和浏览器(客户端)通过HTTP这一协议进行数据交互,实现了服务器端与浏览器端的解耦

正是解耦,使得浏览器和服务器技术可以相互独立发展;