Http请求工具实例编写
HTTP协议工作方式首先客户端发送一个请求(request)给服务器,服务器在接收到这个请求后将生成一个响应(response)返回给客户端。
在这个通信的过程中HTTP协议在以下4个方面做了规定:
1. Request和Response的格式
Request格式:
HTTP请求行
(请求)头
空行
可选的消息体
注:请求行和标题必须以<CR><LF> 作为结尾(也就是,回车然后换行)。空行内必须只有<CR><LF>而无其他空格。在HTTP/1.1 协议中,所有的请求头,除Host外,都是可选的。
实例:
- GET / HTTP/1.1
- Host: gpcuster.cnblogs.com
- User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10
- Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
- Accept-Language: en-us,en;q=0.5
- Accept-Encoding: gzip,deflate
- Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
- Keep-Alive: 300
- Connection: keep-alive
- If-Modified-Since: Mon, 25 May 2009 03:19:18 GMT
Response格式:
HTTP状态行
(应答)头
空行
可选的消息体
实例:
- HTTP/1.1 200 OK
- Cache-Control: private, max-age=30
- Content-Type: text/html; charset=utf-8
- Content-Encoding: gzip
- Expires: Mon, 25 May 2009 03:20:33 GMT
- Last-Modified: Mon, 25 May 2009 03:20:03 GMT
- Vary: Accept-Encoding
- Server: Microsoft-IIS/7.0
- X-AspNet-Version: 2.0.50727
- X-Powered-By: ASP.NET
- Date: Mon, 25 May 2009 03:20:02 GMT
- Content-Length: 12173
消息体的内容(略)详细的信息请参考:RFC 2616。关于HTTP headers的简要介绍,请查看:Quick reference to HTTP headers
2.建立连接的方式
HTTP支持2中建立连接的方式:非持久连接和持久连接(HTTP1.1默认的连接方式为持久连接)。
1)非持久连接
让我们查看一下非持久连接情况下从服务器到客户传送一个Web页面的步骤。假设该贝面由1个基本HTML文件和10个JPEG图像构成,而且所有这些对象都存放在同一台服务器主机中。再假设该基本HTML文件的URL为:gpcuster.cnblogs.com/index.html。
下面是具体步骡:
1.HTTP客户初始化一个与服务器主机gpcuster.cnblogs.com中的HTTP服务器的TCP连接。HTTP服务器使用默认端口号80监听来自HTTP客户的连接建立请求。
2.HTTP客户经由与TCP连接相关联的本地套接字发出—个HTTP请求消息。这个消息中包含路径名/somepath/index.html。
3.HTTP服务器经由与TCP连接相关联的本地套接字接收这个请求消息,再从服务器主机的内存或硬盘中取出对象/somepath/index.html,经由同一个套接字发出包含该对象的响应消息。
4.HTTP服务器告知TCP关闭这个TCP连接(不过TCP要到客户收到刚才这个响应消息之后才会真正终止这个连接)。
5.HTTP客户经由同一个套接字接收这个响应消息。TCP连接随后终止。该消息标明所封装的对象是一个HTML文件。客户从中取出这个文件,加以分析后发现其中有10个JPEG对象的引用。
6.给每一个引用到的JPEG对象重复步骡1-4。
上述步骤之所以称为使用非持久连接,原因是每次服务器发出一个对象后,相应的TCP连接就被关闭,也就是说每个连接都没有持续到可用于传送其他对象。每个TCP连接只用于传输一个请求消息和一个响应消息。就上述例子而言,用户每请求一次那个web页面,就产生11个TCP连接。
2)持久连接
非持久连接有些缺点。首先,客户得为每个待请求的对象建立并维护一个新的连接。对于每个这样的连接,TCP得在客户端和服务器端分配TCP缓冲区,并维持TCP变量。对于有可能同时为来自数百个不同客户的请求提供服务的web服务器来说,这会严重增加其负担。其次,如前所述,每个对象都有2个RTT的响应延长——一个RTT用于建立TCP连接,另—个RTT用于请求和接收对象。最后,每个对象都遭受TCP缓启动,因为每个TCP连接都起始于缓启动阶段。不过并行TCP连接的使用能够部分减轻RTT延迟和缓启动延迟的影响。
在持久连接情况下,服务器在发出响应后让TCP连接继续打开着。同一对客户/服务器之间的后续请求和响应可以通过这个连接发送。整个Web页面(上例中为包含一个基本HTMLL文件和10个图像的页面)自不用说可以通过单个持久TCP连接发送:甚至存放在同一个服务器中的多个web页面也可以通过单个持久TCP连接发送。通常,HTTP服务器在某个连接闲置一段特定时间后关闭它,而这段时间通常是可以配置的。持久连接分为不带流水线(without pipelining)和带流水线(with pipelining)两个版本。如果是不带流水线的版本,那么客户只在收到前一个请求的响应后才发出新的请求。这种情况下,web页面所引用的每个对象(上例中的10个图像)都经历1个RTT的延迟,用于请求和接收该对象。与非持久连接2个RTT的延迟相比,不带流水线的持久连接已有所改善,不过带流水线的持久连接还能进一步降低响应延迟。不带流水线版本的另一个缺点是,服务器送出一个对象后开始等待下一个请求,而这个新请求却不能马上到达。这段时间服务器资源便闲置了。
HTTP/1.1的默认模式使用带流水线的持久连接。这种情况下,HTTP客户每碰到一个引用就立即发出一个请求,因而HTTP客户可以一个接一个紧挨着发出各个引用对象的请求。服务器收到这些请求后,也可以一个接一个紧挨着发出各个对象。如果所有的请求和响应都是紧挨着发送的,那么所有引用到的对象一共只经历1个RTT的延迟(而不是像不带流水线的版本那样,每个引用到的对象都各有1个RTT的延迟)。另外,带流水线的持久连接中服务器空等请求的时间比较少。与非持久连接相比,持久连接(不论是否带流水线)除降低了1个RTT的响应延迟外,缓启动延迟也比较小。其原因在于既然各个对象使用同一个TCP连接,服务器发出第一个对象后就不必再以一开始的缓慢速率发送后续对象。相反,服务器可以按照第一个对象发送完毕时的速率开始发送下一个对象。在http1.0协议中每次请求和响应都会创建一个新的tcp连接,http1.1之后才开始支持可以重用第一次请求的http连接, 默认支持长连接形式。 如果client或server端不想支持长连接,则需要在htt的header加上connection:close,如果支持,则设置header为connection:keep-alive。
以上主要是简要阐述了http请求的流程,需要实现一个简易的httpclient,需要注意:
1)短连接or长连接。
2)header的解析与构建。
3)body的解析与构建。
4)chunk与content-length的不同解析方式。
5)http method的不同。
....
如下主要是根据实例化的httpRequest生成header,支持POST,GET,OPTIONS三种method。
- string TC_HttpRequest::encode()
- {
- // assert(_requestType == REQUEST_GET || _requestType == REQUEST_POST || !_originRequest.empty());
- ostringstream os;
- if(_requestType == REQUEST_GET)
- {
- encode(REQUEST_GET, os);
- }
- else if(_requestType == REQUEST_POST)
- {
- setContentLength(_content.length());
- encode(REQUEST_POST, os);
- os << _content;
- }
- else if(_requestType == REQUEST_OPTIONS)
- {
- encode(REQUEST_OPTIONS, os);
- }
- return os.str();
- }
header与body之间是两个\r\n\。
- void TC_HttpRequest::encode(int iRequestType, ostream &os)
- {
- os << requestType2str(iRequestType) << " " << _httpURL.getRequest() << " HTTP/1.1\r\n";
- os << genHeader();
- os << "\r\n";
- }
便利所有的header key,用\r\n进行换行分隔。
- string TC_Http::genHeader() const
- {
- ostringstream sHttpHeader;
- for(http_header_type::const_iterator it = _headers.begin(); it != _headers.end(); ++it)
- {
- if(it->second != "")
- {
- sHttpHeader << it->first << ": " << it->second << "\r\n";
- }
- }
- return sHttpHeader.str();
- }
如下是一个HttpRequest的解析请求。通过TCP socket将构造的http request header发送至服务器http server端口。构建缓冲区循环接收返回数据,直到客户端完整的response包接收完毕或者服务器异常关闭。
- int TC_HttpRequest::doRequest(TC_HttpResponse &stHttpRsp, int iTimeout)
- {
- //只支持短连接模式
- setConnection("close");
- string sSendBuffer = encode();
- string sHost;
- uint32_t iPort;
- getHostPort(sHost, iPort);
- TC_TCPClient tcpClient;
- tcpClient.init(sHost, iPort, iTimeout);
- int iRet = tcpClient.send(sSendBuffer.c_str(), sSendBuffer.length());
- if(iRet != TC_ClientSocket::EM_SUCCESS)
- {
- return iRet;
- }
- stHttpRsp.reset();
- string sBuffer;
- char *sTmpBuffer = new char[10240];
- size_t iRecvLen = 10240;
- while(true)
- {
- iRecvLen = 10240;
- iRet = tcpClient.recv(sTmpBuffer, iRecvLen);
- if(iRet == TC_ClientSocket::EM_SUCCESS)
- sBuffer.append(sTmpBuffer, iRecvLen);
- switch(iRet)
- {
- case TC_ClientSocket::EM_SUCCESS:
- if(stHttpRsp.incrementDecode(sBuffer))
- {
- delete []sTmpBuffer;
- return TC_ClientSocket::EM_SUCCESS;
- }
- continue;
- case TC_ClientSocket::EM_CLOSE:
- delete []sTmpBuffer;
- stHttpRsp.incrementDecode(sBuffer);
- return TC_ClientSocket::EM_SUCCESS;
- default:
- delete []sTmpBuffer;
- return iRet;
- }
- }
- assert(true);
- return 0;
- }
数据接收分为两部分,第一部分是header,通过header头的解读,进一步接收与解析body content,如果解析返回false,表示http response并未接收完成,继续接收。
- case TC_ClientSocket::EM_SUCCESS:
- if(stHttpRsp.incrementDecode(sBuffer))
- {
- delete []sTmpBuffer;
- return TC_ClientSocket::EM_SUCCESS;
- }
- continue;
当数据接收成功,将接收的buffer放入resp中进行解析:
- bool TC_HttpResponse::incrementDecode(string &sBuffer)
- {
- //解析头部
- if(_headLength == 0)
- {
- string::size_type pos = sBuffer.find("\r\n\r\n");
- if(pos == string::npos)
- {
- return false;
- }
- parseResponseHeader(sBuffer.c_str());
- if(_status == 204)
- {
- return false;
- }
- http_header_type::const_iterator it = _headers.find("Content-Length");
- if(it != _headers.end())
- {
- _iTmpContentLength = getContentLength();
- }
- else
- {
- //没有指明ContentLength, 接收到服务器关闭连接
- _iTmpContentLength = -1;
- }
- _headLength = pos + 4;
- sBuffer = sBuffer.substr(_headLength);
- //重定向就认为成功了
- if((_status == 301 || _status == 302) && !getHeader("Location").empty())
- {
- return true;
- }
- //是否是chunk编码
- _bIsChunked = (getHeader("Transfer-Encoding") == "chunked");
- //删除头部里面
- eraseHeader("Transfer-Encoding");
- }
- if(_bIsChunked)
- {
- while(true)
- {
- string::size_type pos = sBuffer.find("\r\n");
- if(pos == string::npos)
- return false;
- //查找当前chunk的大小
- string sChunkSize = sBuffer.substr(0, pos);
- int iChunkSize = strtol(sChunkSize.c_str(), NULL, 16);
- if(iChunkSize <= 0) break; //所有chunk都接收完毕
- if(sBuffer.length() >= pos + 2 + (size_t)iChunkSize + 2) //接收到一个完整的chunk了
- {
- //获取一个chunk的内容
- _content += sBuffer.substr(pos + 2, iChunkSize);
- //删除一个chunk
- sBuffer = sBuffer.substr(pos + 2 + iChunkSize + 2);
- }
- else
- {
- //没有接收完整的chunk
- return false;
- }
- setContentLength(getContent().length());
- }
- sBuffer = "";
- if(_iTmpContentLength == 0 || _iTmpContentLength == (size_t)-1)
- {
- setContentLength(getContent().length());
- }
- return true;
- }
- else
- {
- if(_iTmpContentLength == 0)
- {
- _content += sBuffer;
- sBuffer = "";
- //自动填写content-length
- setContentLength(getContent().length());
- return true;
- }
- else if(_iTmpContentLength == (size_t)-1)
- {
- _content += sBuffer;
- sBuffer = "";
- //自动填写content-length
- setContentLength(getContent().length());
- return false;
- }
- else
- {
- //短连接模式, 接收到长度大于头部为止
- _content += sBuffer;
- sBuffer = "";
- size_t iNowLength = getContent().length();
- //头部的长度小于接收的内容, 还需要继续增加解析后续的buffer
- if(_iTmpContentLength > iNowLength)
- return false;
- return true;
- }
- }
- return true;
- }
该解析if(_headLength == 0)判断是否header已经开始接收,知道遇见
- string::size_type pos = sBuffer.find("\r\n\r\n");
- if(pos == string::npos)
- {
- return false;
- }
则表示header接收完成,并解析完整的header,其中HTTP status 204HTTP状态码2XX 都表示成功。HTTP的204(no content)响应,表示执行成功,但没有数据返回,浏览器不用刷新页面,也不用导向新的页面。
- parseResponseHeader(sBuffer.c_str());
- if(_status == 204)
- {
- return false;
- }
- void TC_HttpResponse::parseResponseHeader(const char* szBuffer)
- {
- const char **ppChar = &szBuffer;
- _headerLine = TC_Common::trim(getLine(ppChar));
- string::size_type pos = _headerLine.find(' ');
- if(pos != string::npos)
- {
- _version = _headerLine.substr(0, pos);
- string left = TC_Common::trim(_headerLine.substr(pos));
- string::size_type pos1 = left.find(' ');
- if(pos1 != string::npos)
- {
- _status = TC_Common::strto<int>(left.substr(0, pos));
- _about = TC_Common::trim(left.substr(pos1 + 1));
- }
- else
- {
- _status = TC_Common::strto<int>(left);
- _about = "";
- }
- parseHeader(*ppChar, _headers);
- return;
- }
- else
- {
- _version = _headerLine;
- _status = 0;
- _about = "";
- }
- // throw TC_HttpResponse_Exception("[TC_HttpResponse_Exception::parseResponeHeader] http response format error : " + _headerLine);
- }
接下来判断http response的content-length,如果明确返回则body字段确定,如果没有,则需要接收服务器直至关闭。
- http_header_type::const_iterator it = _headers.find("Content-Length");
- if(it != _headers.end())
- {
- _iTmpContentLength = getContentLength();
- }
- else
- {
- //没有指明ContentLength, 接收到服务器关闭连接
- _iTmpContentLength = -1;
- }
- _headLength = pos + 4;
- _headLength = pos + 4;
- sBuffer = sBuffer.substr(_headLength); //把body提取出来
- //重定向就认为成功了
- if((_status == 301 || _status == 302) && !getHeader("Location").empty())
- {
- return true;
- }
- //是否是chunk编码
- _bIsChunked = (getHeader("Transfer-Encoding") == "chunked");
- //删除头部里面
- eraseHeader("Transfer-Encoding");
- if(it != _headers.end())
- {
- _iTmpContentLength = getContentLength();
- }
- else
- {
- //没有指明ContentLength, 接收到服务器关闭连接
- _iTmpContentLength = -1;
- }
- _headLength = pos + 4;
- _headLength = pos + 4;
- sBuffer = sBuffer.substr(_headLength); //把body提取出来
- //重定向就认为成功了
- if((_status == 301 || _status == 302) && !getHeader("Location").empty())
- {
- return true;
- }
- //是否是chunk编码
- _bIsChunked = (getHeader("Transfer-Encoding") == "chunked");
- //删除头部里面
- eraseHeader("Transfer-Encoding");
接下来将开始循环接收数据,如果非chunk,分为三种情况0(没有body,即可就可以停止接收),-1(一直接收,知道服务器关闭),确定长度(接收完成即可以停止):
- {
- if(_iTmpContentLength == 0)
- {
- _content += sBuffer; //将整体内容保存下来
- sBuffer = ""; //清空接收缓存
- //自动填写content-length
- setContentLength(getContent().length());
- return true;
- }
- else if(_iTmpContentLength == (size_t)-1)
- {
- _content += sBuffer;
- sBuffer = "";
- //自动填写content-length
- setContentLength(getContent().length());
- return false;
- }
- //有明确的content-length长度
- else
- {
- //短连接模式, 接收到长度大于头部为止
- _content += sBuffer;
- sBuffer = "";
- size_t iNowLength = getContent().length();
- //头部的长度小于接收的内容, 还需要继续增加解析后续的buffer
- if(_iTmpContentLength > iNowLength)
- return false; //如果接收的字节大于content-length就可以停止了,否则继续接收下去
- return true;
- }
- }
如果是chunk分片,则更加复杂一些:
- while(true)
- {
- string::size_type pos = sBuffer.find("\r\n");
- if(pos == string::npos)
- return false;
- //查找当前chunk的大小
- string sChunkSize = sBuffer.substr(0, pos);
- int iChunkSize = strtol(sChunkSize.c_str(), NULL, 16);
- if(iChunkSize <= 0) break; //所有chunk都接收完毕
- if(sBuffer.length() >= pos + 2 + (size_t)iChunkSize + 2) //接收到一个完整的chunk了
- {
- //获取一个chunk的内容
- _content += sBuffer.substr(pos + 2, iChunkSize);
- //删除一个chunk
- sBuffer = sBuffer.substr(pos + 2 + iChunkSize + 2);
- }
- else
- {
- //没有接收完整的chunk
- return false;
- }
- setContentLength(getContent().length());
- }
- sBuffer = "";
- if(_iTmpContentLength == 0 || _iTmpContentLength == (size_t)-1)
- {
- setContentLength(getContent().length());
- }
- return true;
每一个chunk前两个字段为chunk的zise,用16进制标识,如果chunk size为0,表示没有chunk了,否则则接收完成一个chunk,如果当前chunk没有完成,则继续接收完成这个chunk后处理,
如果当前chunk完成了,则将这个chunk在buffer里面删除,放到content内容中来。
Http请求工具实例编写的更多相关文章
- Http请求工具实例编写(超长,比较清楚)
HTTP协议工作方式首先客户端发送一个请求(request)给服务器,服务器在接收到这个请求后将生成一个响应(response)返回给客户端.在这个通信的过程中HTTP协议在以下4个方面做了规定:1. ...
- C#实现的UDP收发请求工具类实例
本文实例讲述了C#实现的UDP收发请求工具类.分享给大家供大家参考,具体如下: 初始化: ListeningPort = int.Parse(ConfigurationManager.AppSetti ...
- 【HanLP】HanLP中文自然语言处理工具实例演练
HanLP中文自然语言处理工具实例演练 作者:白宁超 2016年11月25日13:45:13 摘要:HanLP是hankcs个人完成一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环 ...
- Web Service单元测试工具实例介绍之SoapUI
原文 Web Service单元测试工具实例介绍之SoapUI SoapUI是当前比较简单实用的开源Web Service测试工具,提供桌面应用程序和IDE插件程序两种使用方式.能够快速构建项目和组 ...
- Java Swing窗体小工具实例 - 原创
Java Swing窗体小工具实例 1.本地webserice发布,代码如下: 1.1 JdkWebService.java package server; import java.net.InetA ...
- JS练习实例--编写经典小游戏俄罗斯方块
最近在学习JavaScript,想编一些实例练练手,之前编了个贪吃蛇,但是实现时没有注意使用面向对象的思想,实现起来也比较简单所以就不总结了,今天就总结下俄罗斯方块小游戏的思路和实现吧(需要下载代码也 ...
- WebUtils-网络请求工具类
网络请求工具类,大幅代码借鉴aplipay. using System; using System.Collections.Generic; using System.IO; using System ...
- Http、Https请求工具类
最近在做微信开发,使用http调用第三方服务API,有些是需要https协议,通过资料和自己编码,写了个支持http和https的工具类,经验证可用,现贴出来保留,也供需要的人使用(有不足的地方,也请 ...
- 微信https请求工具类
工作中用到的微信https请求工具类. package com.gxgrh.wechat.tools; import com.gxgrh.wechat.wechatapi.service.System ...
随机推荐
- 你需要知道的九大排序算法【Python实现】之插入排序
三.插入排序 基本思想:插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中,从而得到一个新的.个数加一的有序数据,算法适用于少量数据的排序,时间复杂度为O(n^2).是稳定的排序方法.插入算 ...
- Demon_打砖块(建造一面墙,发射子弹打砖块)
using UnityEngine; using System.Collections; public class CubeInit : MonoBehaviour { //砖块预设体 public ...
- SecureCRT连接vm中的ubuntu
如何使用SecureCRT连接ubuntu 用secureCRT连接Ubuntu是出现远程系统拒绝访问..经过一翻研究才知道Ubuntu上没有ssh.. 一下为连接过程. 1. 首先要明白什么是ssh ...
- 对不起,说句粗话——这个太屌了,windows1.0安装程序(附下载)
今天逛一个软件论坛发现的,仅仅有几百K.遥想当今我刚接触windows的版本号是3.1,当时记得非常清楚哦,进入windows要从dos命令行进入.如今一转眼,变成进入伪dos是执行栏里敲cmd了.唉 ...
- cocos2d-x CCAction:动作(转)
透明度变化的功能挺不错. 瞬时动作 瞬时动作不需要时间,立即完成 [cpp] //放置,=setPosition() pRole->runAction(CCPlace::create ...
- [转] 智能指针(三):unique_ptr使用简介
PS: 1. auto_ptr太不安全,可能多个auto_ptr指向一个对象,出现重复释放的问题 2. unique_ptr解决了这个问题,不允许拷贝构造函数和赋值操作符,但是!它支持移动构造函数,通 ...
- select 响应时间 js
HTML form select表单标签案例代码如下: 跳转菜单的需要放在head头部标签内的JS脚本代码:<script type="text/javascript"> ...
- Topcoder SRM 639 (Div.2)
A.ElectronicPetEasy [题意]一个数st1开始,每次加p1,一共加t1次,另外一个数st2开始,每次加p2,一共加t2次,输入的数均小于1000,问这两个数有没有可能相等,有可能输出 ...
- MaraDNS与DeadWood一起配置为本地机器提供小型化DNS服务
因为工作测试需要,要在本机装一个环境,可以解析自己命名的域名,即域名->IP的映射服务.在网上找了下,都说是MaraDNS不错.也试了下,在本地配置是没有问题的.从官网上下载的是2-0-11.w ...
- spring aop切面配置
<bean id="aopLog" class="sardine.commodity.biz.AopLog"/> <aop:config ...