golang 热更新技巧 负载均衡才是正道啊

golang plugin热更新尝试 - 呵大官人的鱼塘 - 开源中国 https://my.oschina.net/scgywx/blog/1796358

golang plugin热更新尝试

发布于 04/16 17:47

当我们在使用php开发的时候，基本不需要关心热更新这件事的，因为PHP本身已经帮我处理好了，只需要提交代码，PHP重新解释一遍即可。而go则是静态语言，编译后得到的是直接被机器执行的，所有代码已经翻译成相对应的机器指令并且在运行时已经加载到内存，不能动态更新。那么如果想热更新就成了件麻烦的事，但是作为后端开发人员，很渴望支持这种功能，毕竟在线上能新增功能、修复bug客户端完全无感知是多么完美的事。

本文暂不讨论http这种无状态服务更新，网上能搜索到很多文章关于如何利用fd继承实现优雅重启。这里主要讨论使用golang 1.8新增的plugin来实现业务的更新，并且业务是类似游戏的有状态服务。官方文档中对plugin的描述比较简单，他可以动态的加载so和执行导出的方法，并且仅仅提供了两个方法：打开模块和提取符号，甚至连关闭都没有(-_-)。

一个程序包含两部分：数据和算法，那么既然是有状态服务，数据部分肯定不能动，那么热更就只能动算法部分了。这时我们需要一个容器，将这两部分隔离开，一方面是存储数据，另一方面要动态加载so。隔离了数据和算法，只要数据存在，我们就可以随意更新算法了。在开始编码之前，要先解决几个问题：

1、同一个so文件只会被打开一次

2、每个so有一个pluginpath用来标识是否重复，如果两个so文件不一样，但pluginpath一样还是会报错

3、不同so文件定义的结构体不能使用类型断言进行转换

对于上面的问题，有如下解决方案:

1、每次生成的so带一个版本号比如game.1001.so

2、编译的时候新增--ldflags="-pluginpath=xxx"参数

3、使用unsafe进行转换(下面还会有注意事项)

代码地址：https://github.com/scgywx/myplugin

1、编译engine，这就是我们上面说的容器，他负责数据存储和so的加载与执行。

sh build.sh

2、编译第1个版本so(注意后面有个参数）

sh build_so.sh 1

3、将src/logic/main.go里面的modelVersion和modelName分别改成1002和game2（这里主要是测试两个版本的内容区别)

4、编译第2个版本so

sh build_so.sh 2

5、运行容器

./engine

6、浏览器输入127.0.0.1:12345/hello，会看到如下显示（这是使用的第一个版本so)

hello test, this is golang plugin test!, version=1001, name=game1, oldversion=0, oldName=

7、浏览器输入127.0.0.1:12345/load?name=plugin2.so（这里输出done,就说明加载so成功了)

8、再次输入127.0.0.1:12345/hello，会看到如下显示。

hello test, this is golang plugin test!, version=1002, name=game2, oldversion=1001, oldName=game1

到这里，我们的热更新效果已经达成，但是还是有一些限制

1、每个so不能单独保存数据，因为当另一个so加载后，前面so的数据是没办法访问到，并且由于so不能被关闭，可能会出现多个so引用同一个变量，gc没办法释放，所以需要透过容器来共享数据，那么我们就不能在模块内使用全局变量来保存数据。

2、go里面两个类型即使一样，也不能直接转换，所以两个so内定义的结构体也不能直接转换，要使用unsafe.Pointer来进行强转(见src/logic/main.go)，既然是强转，那么两个版本的so使用的结构体定义就不能有区别，否则转换后数据可能会出现异常，也就是说热更新不能修改结构体。

本文只是技术尝试，没有线上验证，还有多少坑还不知道，热更新不是必须，如若支持，便是好事。。

golang 热更新技巧 - Go语言中文网 - Golang中文社区 https://studygolang.com/articles/9732

## 序言

Golang标准库的http部分提供了强大的web应用支持，再加上negroni等中间件框架的支持，可以开发高性能的web应用（如提供Restful的api服务等）。
通常这些web应用部署在多台Linux操作系统的应用服务器上，并用Nginx等做为反向代理，实现高可用的集群服务。当应用版本升级时，如何实现比较优雅的多态服务器的版本更新呢？

## 问题分析
 Web应用的更新，我觉得可能需要考虑几个方面的问题：
1. 编译好的应用二进制文件、配置文件上传到服务器上；
2. 应用服务器能感知到有新的版本上传；
3. 在没有停止服务的情况下，热更新版本；
4. 最好所有的更新过程，可以脚本化，减少手动操作的错误。

## 方案
其实，go社区有一些开源项目，可以自动检测web应用的改变，并实现自动的更新，但这些应用都是检测源码、资源文件的更新，启动build过程，实现自动的编译和重启，例如 [gin](https://github.com/codegangsta/gin)和 [fresh](https://github.com/pilu/fresh)，这些应用适合应用于开发和测试阶段，可能并不适合应用的部署和更新，但提供了良好的思路。

部署环境的目录及版本的上传
我将发布的应用二进制文件和配置文件，存放在某个目录下，如 ~/app/release，每个版本都保留在这个目录中，例如 app.1.0、app.1.1、app.2.0，一旦发现有问题，可以及时的回滚。
同时，在~/app目录下，利用软链接文件，指向到最新版本，如 
```
ln -s ~/app/release/app.2.0 ~/app/app.bin
```
此外，利用一个保存在 ~/app/release 下的文本文件，来指明当前应用的版本，如current.conf：
```
{
    "bin.file": "~/app/release/app.2.0",
    "cfg.file": "~/app/release/cfg.2.0"
}
```
当需要更新服务器的版本时，可以通过脚本调用scp，将新版本上传到release目录下，然后更新current.conf文件。
监控current.conf文件，获知版本更新
current.conf文件中是当前的版本，一旦这个文件发生变化，即表示有版本需要更新（或者回滚），我们只需要监控这个文件的变化，一旦发生变化，则做相应的处理。文件的监控，可以通过 [fsnotify](https://github.com/howeyc/fsnotify)来实现。
```
func watch() {
    watcher, err := fsnotify.NewWatcher()
    if err != nil {
        logger.Fatal(err)
    }
    defer watcher.Close()

go func() {
        for {
                select {
                case event := <-watcher.Events:
                    logger.Println("event:", event)
                    if event.Op&fsnotify.Write == fsnotify.Write {
                        logger.Println("notify runner to do the ln -s and restart server.")
                        restartChan <- true
                    }
                case err := <-watcher.Errors:
                    logger.Println("error:", err)
            }
        }
    }()

err = watcher.Add("/path/to/current.conf")
    if err != nil {
        logger.Fatal(err)
    }

<- make(chan bool)
}
```
重启服务
监控到current.conf文件的变化后，接下来就是重启服务。
为了让服务不中断，优雅的进行重启，可以利用 [endless](https://github.com/fvbock/endless) 来替换标准库net/http的ListenAndServe：
```
 n := negroni.New()
    n.Use(middleware.NewRecovery())
    n.Use(middleware.NewMaintainMiddleware())
    n.Use(middleware.NewLogMiddleware())
    n.Use(middleware.NewStatic(http.Dir("static")))
    n.UseHandler(router.NewRouter())

log.Fatal(endless.ListenAndServe(":3000", n))
```
在current.conf变更后，首先将~/app下的软链接文件指向最新版本，然后利用
```
kill -HUP
```
通知应用重启。
```
func run() {
    for {
        <- restartChan

c, err := ioutil.ReadFile("/path/to/current.conf")
        if err != nil {
            logger.Println("current.conf read error:", err)
            return
        }

var j interface{}
        err = json.Unmarshal(c, &j)
        if err != nil {
            logger.Println("current.conf parse error:", err)
            return
        }

parsed, ok := j.(map[string]interface{})
        if !ok {
            logger.Println("current.conf parse error: mapping errors")
            return
        }

exec.Command("rm", "app.bin").Run()
        exec.Command("ln", "-s", parsed["bin.file"].(string), "app.bin").Run()

exec.Command("rm", "app.conf").Run()
        exec.Command("ln", "-s", parsed["cfg.file"].(string), "app.cfg").Run()

if !started {
            cmd := exec.Command("./app.bin", "-c", "app.cfg")
            started = true
        } else {
            processes, _ := ps.Processes()
            for _, v := range processes {
                if strings.Contains(v.Executable(), parsed["bin.file"]) {
                    process, _ := os.FindProcess(v.Pid())
                    process.Signal(syscall.SIGHUP)
                }
            }
        }
    }
}
```

golang - 请问go有没有热更新的机制？如果没有，如何设计一个热更新机制？ - SegmentFault 思否 https://segmentfault.com/q/1010000012965370

负载均衡才是正道啊

廖晨皓  23

2018-02-07 回答