有一段时间,我们的推送服务socket占用非常不正常,我们自己统计的同一时候在线就10w的用户,可是占用的socket居然达到30w,然后查看goroutine的数量,发现已经60w+。

每一个用户占用一个socket,而一个socket,有read和write两个goroutine,简化的代码例如以下:

c, _ := listerner.Accept()

go c.run()

func (c *conn) run() {
go c.onWrite()
c.onRead()
} func (c *conn) onRead() {
stat.AddConnCount(1) //on something stat.AddConnCount(-1) //clear
//notify onWrite to quit
}

当时我就怀疑,用户同一时候在线的统计是正确的,也就是之后的clear阶段出现了问题,导致两个goroutine都无法正常结束。在检查代码之后,我们发现了一个可疑的地方,由于我们不光有自己的统计,还会将一些统计信息发送到我们公司的统计平台,代码例如以下:

ch = make([]byte, 100000)
func send(msg []byte) {
ch <- msg
} //在还有一个goroutine的地方,
msg <- msg
httpsend(msg)

我们channel的缓存分配了10w,假设公司统计平台出现了问题,可能会导致channel堵塞。但究竟是不是这个原因呢?

幸运的是,我们先前已经在代码里面内置了pprof的功能,通过pprof goroutine的信息,发现大量的goroutine的当前执行函数在httpsend里面,也就是说,公司的统计平台在大并发以下服务不可用,尽管我们有http超时的处理,可是由于发送的数据量太频繁,导致总体堵塞。

暂时的解决的方法就是关闭了统计信息的发送,兴许我们会考虑将其发送到自己的mq上面,尽管也可能会出现mq服务不可用的问题,可是说句实话,比起自己实现的mq,公司的统计平台更让我不可信。

这同一时候也给了我一个教训,訪问外部服务一定要好优点理外部服务不可用的情况,即使可用,也要考虑压力问题。

对于pprof怎样查看了goroutine的问题,能够通过一个简单的样例说明:

package main

import (
"net/http"
"runtime/pprof"
) var quit chan struct{} = make(chan struct{}) func f() {
<-quit
} func handler(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "text/plain") p := pprof.Lookup("goroutine")
p.WriteTo(w, 1)
} func main() {
for i := 0; i < 10000; i++ {
go f()
} http.HandleFunc("/", handler)
http.ListenAndServe(":11181", nil)
}

这上面的样例中,我们启动了10000个goroutine,并堵塞,然后通过訪问http://localhost:11181/,我们就能够得到整个goroutine的信息,仅列出关键信息:

goroutine profile: total 10004

10000 @ 0x186f6 0x616b 0x6298 0x2033 0x188c0
# 0x2033 main.f+0x33 /Users/siddontang/test/pprof.go:11

能够看到,在main.f这个函数中,有10000个goroutine正在运行,符合我们的预期。

在go里面,还有非常多执行时查看机制,能够非常方便的帮我们定位程序问题,不得不赞一下。

golang使用pprof检查goroutine泄露的更多相关文章

  1. 如何让xcode自动检查内存泄露

    在project-setting中找到 “Run Static Analyzer” 键,然后把值修改为“YES”.这样在编码的时候,xcode就可以自动为我们检查内存泄露了. 原图片:http://b ...

  2. iOS-如何让xcode自动检查内存泄露

    在project-setting中找到 “Run Static Analyzer” 键,然后把值修改为“YES”.这样在编码的时候,xcode就可以自动为我们检查内存泄露了.

  3. pprof 查看goroutine

    package main import ( "net/http" "runtime/pprof" ) var quit chan struct{} = make ...

  4. Go 笔记之如何防止 goroutine 泄露

    今天来简单谈谈,Go 如何防止 goroutine 泄露. 概述 Go 的并发模型与其他语言不同,虽说它简化了并发程序的开发难度,但如果不了解使用方法,常常会遇到 goroutine 泄露的问题.虽然 ...

  5. Golang使用pprof和qcachegrind进行性能监控

    Golang为我们提供了非常方便的性能测试工具pprof,使用pprof可以非常方便地对Go程序的运行效率进行监测.本文讲述如何使用pprof对Go程序进行性能测试,并使用qcachegrind查看性 ...

  6. golang 使用pprof和go-torch做性能分析

    软件开发过程中,项目上线并不是终点.上线后,还要对程序的取样分析运行情况,并重构现有的功能,让程序执行更高效更稳写. golang的工具包内自带pprof功能,使找出程序中占内存和CPU较多的部分功能 ...

  7. Golang(三)Goroutine原理

    前言 最近用到了一些 Golang 异步编程的地方,感觉 Golang 相对于其他语言(如 Java)对多线程编程的支持非常大,使用起来也非常方便.于是决定了解一下 Goroutine 的底层原理. ...

  8. 在Blade中结合gperftools检查内存泄露

    Blade是我们开发的大规模C++项目构建工具. gperftools是google开发的性能工具,由高效内存分配器,CPU性能分析器,堆分析器,堆检查器等工具组成. 和其他构建工具不同,结合gtes ...

  9. [Go] golang原子函数实现goroutine同步

    启动了两个goroutine,并完成一些工作.在各自循环的每次迭代之后,在goroutine 会使用LoadInt64 来检查shutdown 变量的值.这个函数会安全地返回shutdown 变量的一 ...

随机推荐

  1. Windows API获取系统配置文件的配置参数

    在Windows平台下获取系统配置文件(如:System.ini)的配置参数. 系统配置文件System.ini的内容如下: [SYSTEM] ServiceIP = 10.128.11.99:600 ...

  2. php 针对特殊字符进行转义

    1.addslashes() 使用反斜线引用字符串 和 stripslashes()反引用一个引用字符串 2.htmlentities():转化为html实体 和html_entity_decode( ...

  3. 在windows下安装mysql5.6.24版本

    链接地址:http://jingyan.baidu.com/article/90bc8fc8615c99f653640cc4.html 工具/原料 官网下载安装包 系统需装net 4.0及以上运行库 ...

  4. grunt 前端开发环境搭建

    1.找管理员开通gitlab权限 2.下载并安装git工具 3.下载并安装nodejs 4.安装cnpm 5.安装kulor-cli cnpm install -g kulor-cli cnpm in ...

  5. cairo graphics.org

    cairographics.org Latest news: 2013-08-26: cairo 1.12.16 snapshot available 2013-02-10: cairo 1.12.1 ...

  6. Offer_1

    #include <iostream> #include <cstring> using namespace std; class CMyString { public: CM ...

  7. ajax异步请求实例

    1. 问题分析 用户管理显示页面:usermanagement.tpl(也可以说是MVC中的V,即视图) 用户管理数据发送页面:usermanagement.php(也可以说是MVC中的M,即模型) ...

  8. js获取网页屏幕可见区域高度

    document.body.clientWidth ==> BODY对象宽度 document.body.clientHeight ==> BODY对象高度 document.docume ...

  9. php 中 return exit break contiue 详解

    return.break和contiue是语言结构,就如同if语句之类的,但是exit却是个函数. 1.exit函数 作用:Output a message and terminate the cur ...

  10. iphone开发教程下载

    iphone开发教程下载 3月份花了1个月研究ios 开发,看了几百页的iphone开发教程,累积了不少电子书,盘点一下 Beginning iPhone 4 Development: Explori ...