Net Transport
在调用第三方请求时,正确使用Client
也不是一件非常容易的事。
下面是截取的一段描述,建议Client
或Transport
在整个服务期间最好是全局单例的,Transport
本身会维护连接的状态,而且线程安全。强烈建议,不要使用系统提供的任何默认值。
The Client's Transport typically has internal state (cached TCP connections), so Clients should be reused instead of created as needed. Clients are safe for concurrent use by multiple goroutines.
Transport
如下是官方的简要描述。Transport
字段在Client
中被声明为接口类型,而实现这个接口的是Transport
类型(略显绕)。在net
包内部也提供了默认的实现变量:DefaultTransport
。
// Transport specifies the mechanism by which individual
// HTTP requests are made.
// If nil, DefaultTransport is used.
Transport RoundTripper
```
看一下RoundTripper
这个接口,官方描述:
RoundTripper is an interface representing the ability to execute a single HTTP transaction, obtaining the Response for a given Request.
既然是一个接口类型,我们就有理由自己去实现它,我们可以自定义自己的Transport
。比如客户端发起一个请求,我们可以先去查询缓存中是否存在。如果存在,则将缓存中的数据写回response
。如果不存在,请求远端服务获取数据,并缓存。
实现这样的功能,完全没有必要自定义一个Transport
,我们也可以使用先请求缓存服务器,在请求远端服务器的方案来实现。但其实Transport
就可以实现封装这些功能。
func cacheResponse(b []byte, r *http.Request) (*http.Response, error) {
//NewBuffer is intended to prepare a Buffer to read existing data.
buf := bytes.NewBuffer(b)
return http.ReadResponse(bufio.NewReader(buf), r)
}
官方提供了默认的Transport
。如果不明确指定,那么底层就使用默认值。所以,可能连你也没有意识到,你在使用长链接。
另外:一定要记得当请求返回的error
为空时,读取连接返回的数据,并明确调用Close
关闭连接。否则连接会没法继续复用。
func (c *Client) transport() RoundTripper {
if c.Transport != nil {
return c.Transport
}
return DefaultTransport
}
缓存Idle
连接
首先了解缓存长链接的Key
是什么,即用来唯一确定连接的Key
。我们选来看看它如何从缓存池获取的空闲连接:
//1. 获取的方法,截取其中一部分代码
func (t *Transport) getIdleConn(cm connectMethod) (pconn *persistConn, idleSince time.Time) {
key := cm.key()
t.idleMu.Lock()
defer t.idleMu.Unlock()
for {
pconns, ok := t.idleConn[key]
if !ok {
return nil, time.Time{}
}
if len(pconns) == 1 {
pconn = pconns[0]
delete(t.idleConn, key)
} else {
// 2 or more cached connections; use the most
// recently used one at the end.
pconn = pconns[len(pconns)-1]
t.idleConn[key] = pconns[:len(pconns)-1]
}
t.idleLRU.remove(pconn)
//省略之后的代码......
```
通过如下代码,可以确定net
包通过当前请求的proxy URL
、Scheme
、Addr
来缓存建立的连接。缓存的连接存储在一个MAP
结构中: map[connectMethodKey][]*persistConn
。map
中的每一个Key
对应了连接的slice
数组,最新创建的连接会追加到slice
的末尾。
func (cm *connectMethod) key() connectMethodKey {
proxyStr := ""
targetAddr := cm.targetAddr
if cm.proxyURL != nil {
proxyStr = cm.proxyURL.String()
if (cm.proxyURL.Scheme == "http" || cm.proxyURL.Scheme == "https") && cm.targetScheme == "http" {
targetAddr = ""
}
}
return connectMethodKey{
proxy: proxyStr,
scheme: cm.targetScheme,
addr: targetAddr,
}
}
因为Key
中存在了Host
地址,所以MaxIdleConnsPerHost
这个值就显得格外重要。当准备缓存连接时,如果检测到当前的空闲连接数大于MaxIdleConnsPerHost
,系统便会主动将这个连接关闭。这可能会是一个坑,特别要注意这一点。
如果不指定MaxIdleConnsPerHost
,那么程序使用默认的值:DefaultMaxIdleConnsPerHost
,这个默认值好比DefaultClient
,都是问题所在。前者的默认值是2,可能直接导致在并发的时候,长链接的效率还不如短链接。后者的默认超时时间是0,这可能导致一个连接永远的挂在了那里。
使用net
包提供的默认值,很多时候都不会是一件明智的事情。
func (t *Transport) tryPutIdleConn(pconn *persistConn) error {
//省略之前的代码......
if t.idleConn == nil {
t.idleConn = make(map[connectMethodKey][]*persistConn)
}
idles := t.idleConn[key]
if len(idles) >= t.maxIdleConnsPerHost() {
return errTooManyIdleHost
}
//省略之后的代码......
//主动关闭连接的代码
func (t *Transport) putOrCloseIdleConn(pconn *persistConn) {
if err := t.tryPutIdleConn(pconn); err != nil {
pconn.close(err)
}
}
客户端对每个主机最多可以保持Transport.MaxIdleConnsPerHost
个长链接。对于长链接而言,一般是由服务端主动关闭的,而连接维持的时间也由服务端来决定。如果对于请求的域名,对应的Host
足够多,在服务端关闭这些连接之前,可能会存在大量的空闲连接,造成资源浪费。
Test Case
下面是测试使用的例子,但很多细节都跟猜想不一致,也不敢妄下断言。后续确定了再来完善
func PrintLocalDial(ctx context.Context, network, addr string) (net.Conn, error) {
dial := net.Dialer{
Timeout: 30 * time.Second,
//指定的这个时间并没有生效,即使在请求完成后Sleep 30s连接仍然有效
KeepAlive: 5 * time.Second,
}
conn, err := dial.Dial(network, addr)
if err != nil {
return conn, err
}
fmt.Println("connect done, use ", conn.LocalAddr().String(), conn.RemoteAddr().String())
return conn, err
}
var client = &http.Client{
Transport: &http.Transport{
DialContext: PrintLocalDial,
},
}
func TestRequestBaiDu(t *testing.T) {
for i := 0; i < 30; i ++ {
go func() {
resp, err := client.Get("http://baidu.com")
if err != nil {
fmt.Println(err)
return
}
_, err = ioutil.ReadAll(resp.Body)
if err := resp.Body.Close(); err != nil {
fmt.Println(err)
}
}()
}
}
<p>参考文章:</p>
<ol>
<li><a href="https://serholiu.com/go-http-client-keepalive" rel="nofollow noreferrer"><code>Go HTTP Client 持久连接</code></a></li>
<li><a href="https://medium.com/@nate510/don-t-use-go-s-default-http-client-4804cb19f779" rel="nofollow noreferrer"><code>Don’t use Go’s default HTTP client (in production)</code></a></li>
</ol>
Net Transport的更多相关文章
- iOS App 不支持http协议 App Transport Security has blocked a cleartext HTTP (http://)
目前iOS已经不支持http协议了,不过可以通过info.plist设置允许 App Transport Security has blocked a cleartext HTTP (http://) ...
- WCF wsHttpBinding之Transport security Mode, clientCredentialType=”Basic”
原创地址:http://www.cnblogs.com/jfzhu/p/4071342.html 转载请注明出处 如何在WCF中使用Transport Security Mode,以及如何创建证书,请 ...
- WCF basicHttpBinding之Transport Security Mode, clientCredentialType="None"
原创地址:http://www.cnblogs.com/jfzhu/p/4071342.html 转载请注明出处 前面文章介绍了<WCF basicHttpBinding之Message Sec ...
- App Transport Security has blocked a cleartext HTTP (http://) resource load since it is insecure. Temporary exceptions can be configured via your app's Info.plist file
ios进行http请求,会出现这个问题: App Transport Security has blocked a cleartext HTTP (http://) resource load sin ...
- 解决echsop兼容jquery(transport.js的冲突)的问题
方案一: 本人亲测过,可以用.有的人说需要删除js目录下的gobal.js文件,否则依然会冲突.我没删除也解决了冲突. 1.加入JSON2.js文件 原因很简单,transport修改Object是为 ...
- 网络请求出错:The resource could not be loaded because the App Transport
Google后查证,iOS9引入了新特性App Transport Security (ATS).详情:App Transport Security (ATS) 新特性要求App内访问的网络必须使用H ...
- Transport Block Size, Throughput and Code rate-----http://www.simpletechpost.com/2012/12/transport-block-size-code-rate-protocol.html
Transport Block Size, Throughput and Code rate Since the size of transport block is not fixed, oft ...
- App Transport Security has blocked a cleartext HTTP (http://)
使用SDWebImage加载“http://”开头的图片报错,错误如下: App Transport Security has blocked a cleartext HTTP (http://) r ...
- iOS9中的App Transport Security
问题:webView加载网页加载不出来 原因:苹果在iOS9 sdk中加入了App Transport Security限制(iOS9以前的iOS sdk默认关闭ATS),默认强制使用https,并且 ...
- TDI - Transport Driver Interface
[TDI - Transport Driver Interface] The Transport Driver Interface or TDI is the protocol understood ...
随机推荐
- 《机器学习及实践--从零开始通往Kaggle竞赛之路》
<机器学习及实践--从零开始通往Kaggle竞赛之路> 在开始说之前一个很重要的Tip:电脑至少要求是64位的,这是我的痛. 断断续续花了个把月的时间把这本书过了一遍.这是一本非常适合基于 ...
- linux学习(四)-----linux常用指令
touch 指令 touch 指令创建空文件 基本语法 touch 文件名称 应用实例 案例 1: 创建一个空文件 hello.txt cp 指令 cp 指令拷贝文件到指定目录 基本语法 cp [选项 ...
- Golang Learn Log #0
Print/Printf 区别 Print: 可以打印出字符串, 和变量 fmt.Println(var) //right fmt.Println("string") //righ ...
- WPF 禁用中文
<TextBox InputMethod.IsInputMethodEnabled="False" />
- KOA 学习(二)
app.listen(...) Koa 应用并非是一个 1-to-1 表征关系的 HTTP 服务器. 一个或多个Koa应用可以被挂载到一起组成一个包含单一 HTTP 服务器的大型应用群. var ko ...
- require模块开发(一)
1.require下载和加载 1.1 下载 工欲善其事必先利其器,先下载require.js下载地址, 然后添加 require.js 到 scripts 目录 1.2 加载 然后加载require ...
- Web应用托管服务(Web+)隐藏的十个上云最佳姿势
随着云计算浪潮的推进,技术架构云化已经成为大势所趋.特别是最近由CNCF推动的云原生概念,将符合云原生标准的各种开源技术方案推向了前所未有的高度.在这一波浪潮的推动下,越来越多的企业开始了自身的数字化 ...
- python 实现发送短信验证码
[说明]短信接口使用的是“聚合数据”上面的接口. 那么在使用接口前,需要在聚合数据上面注册,进行申请接口.当然在正式使用之前,我们可以使用申请免得的进行测试. 一.申请成功后,需做的准备工作如下: 1 ...
- MyEclipse使用总结——MyEclipse10.6 下添加jadClipse反编译插件[转]
jad是一个使用比较广泛的Java反编译软件,jadClipse是jad在eclipse下的插件,下面像大家介绍下如何将jadclipse加入到MyEclipse10.X,9.X,8.X,6.X等各版 ...
- 洛谷P1084 [NOIP2012提高组Day2T3]疫情控制
P1084 疫情控制 题目描述 H 国有 n 个城市,这 n 个城市用 n-1 条双向道路相互连通构成一棵树,1 号城市是首都,也是树中的根节点. H 国的首都爆发了一种危害性极高的传染病.当局为了控 ...