Fabric1.0已经正式发布一段时间了，官方给出的单机部署的脚本也很完备，基本上傻瓜式的一键部署，直接运行官方的network_setup.sh up即可。但是在实际生产环境，我们不可能把所有的节点都放在一台机器中，所以必然会遇到多级部署的问题。下面我们就来讲讲怎么实现多机部署和测试官方的ChainCode。

1.环境准备

我们要部署的是4Peer+1Orderer的架构，也就是官方的e2c_cli架构。为此我们需要准备5台机器。我们可以开5台虚拟机，也可以购买5台云服务器，不管怎么样，我们需要这5台机器网络能够互通，而且安装相同的系统，我们用的是Ubuntu 16.04版。为了方便，我建议先启用1台虚拟机，在其中把准备工作做完，然后基于这台虚拟机，再复制出4台即可。这里是我用到5台Server的主机名（角色）和IP：

orderer.example.com 10.174.13.185
peer0.org1.example.com 10.51.120.220
peer1.org1.example.com 10.51.126.19
peer0.org2.example.com 10.51.116.133
peer1.org2.example.com 10.51.126.5

接下来我们需要准备软件环境，包括Go、Docker、Docker Compose，我在之前的单机部署的博客中也讲到过具体的方法，这里再复述一下：

1.1 Go的安装

Ubuntu的apt-get虽然提供了Go的安装，但是版本比较旧，最好的方法还是参考官方网站，下载最新版的Go。具体涉及到的命令包括：

wget https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz

sudo tar -C /usr/local -xzf go1.8.3.linux-amd64.tar.gz

接下来编辑当前用户的环境变量：

vi ~/.profile

添加以下内容：

export PATH=$PATH:/usr/local/go/bin

export GOROOT=/usr/local/go

export GOPATH=$HOME/go

export PATH=$PATH:$HOME/go/bin

编辑保存并退出vi后，记得把这些环境载入：

source ~/.profile

我们把go的目录GOPATH设置为当前用户的文件夹下，所以记得创建go文件夹

cd ~

mkdir go

1.2 Docker安装

我们可以使用阿里提供的镜像，安装也非常方便。通过以下命令来安装Docker

curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-engine/internet | sh -

安装完成后需要修改当前用户（我使用的用户叫fabric）权限：

sudo usermod -aG docker fabric

注销并重新登录，然后添加阿里云的Docker Hub镜像：

不同的版本添加方法是不一样的，官方的文档如下：

https://cr.console.aliyun.com/#/accelerator

当然觉得阿里云镜像不好用，喜欢用DaoClound的也可以用DaoClound的镜像。

1.3 Docker-Compose的安装

Docker-compose是支持通过模板脚本批量创建Docker容器的一个组件。在安装Docker-Compose之前，需要安装Python-pip，运行脚本：

sudo apt-get install python-pip

安装完成后，接下来从DaoClound安装Docker-compose，运行脚本：

curl -L https://get.daocloud.io/docker/compose/releases/download/1.10.1/docker-compose-`uname -s`-`uname -m` > ~/docker-compose

sudo mv ~/docker-compose /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose

1.4 Fabric源码下载

我们可以使用Git命令下载源码，也可以使用go get命令，偷懒一点，我们直接用go get命令获取最新的Fabric源码：
go get github.com/hyperledger/fabric

这个可能等的时间比较久，等完成后，我们可以在~/go/src/github.com/hyperledger/fabric中找到所有的最新的源代码。

由于Fabric一直在更新，所有我们并不需要最新最新的源码，需要切换到v1.0.0版本的源码即可：

cd ~/go/src/github.com/hyperledger/fabric

git checkout v1.0.0

1.5 Fabric Docker镜像的下载

这个其实很简单，因为我们已经设置了Docker Hub镜像地址，所以下载也会很快。官方文件也提供了批量下载的脚本。我们直接运行：

cd ~/go/src/github.com/hyperledger/fabric/examples/e2e_cli/

source download-dockerimages.sh -c x86_64-1.0. -f x86_64-1.0.

这样就可以下载所有需要的Fabric Docker镜像了。

2.docker-compose 配置文件准备

在Fabric的源码中，提供了单机部署4Peer+1Orderer的示例，在Example/e2e_cli文件夹中。我们可以在其中一台机器上运行单机的Fabric实例，确认无误后，在该机器上，生成公私钥，修改该机器中的Docker-compose配置文件，然后把这些文件分发给另外4台机器。我们就以orderer.example.com这台机器为例

2.1单机运行4+1 Fabric实例，确保脚本和镜像正常

我们先进入这个文件夹，然后直接运行

./network_setup.sh up

这个命令可以在本机启动4+1的Fabric网络并且进行测试，跑Example02这个ChainCode。我们可以看到每一步的操作，最后确认单机没有问题。确认我们的镜像和脚本都是正常的，我们就可以关闭Fabric网络，继续我们的多机Fabric网络设置工作。关闭Fabric命令：

./network_setup.sh down

2.2生成公私钥、证书、创世区块等

公私钥和证书是用于Server和Server之间的安全通信，另外要创建Channel并让其他节点加入Channel就需要创世区块，这些必备文件都可以一个命令生成，官方已经给出了脚本：

./generateArtifacts.sh mychannel

运行这个命令后，系统会创建channel-artifacts文件夹，里面包含了mychannel这个通道相关的文件，另外还有一个crypto-config文件夹，里面包含了各个节点的公私钥和证书的信息。

2.3设置peer节点的docker-compose文件

e2e_cli中提供了多个yaml文件，我们可以基于docker-compose-cli.yaml文件创建：

cp docker-compose-cli.yaml docker-compose-peer.yaml

然后修改docker-compose-peer.yaml，去掉orderer的配置，只保留一个peer和cli，因为我们要多级部署，节点与节点之前又是通过主机名通讯，所以需要修改容器中的host文件，也就是extra_hosts设置，修改后的peer配置如下：

peer0.org1.example.com:

  container_name: peer0.org1.example.com

  extends:

    file:  base/docker-compose-base.yaml

    service: peer0.org1.example.com

  extra_hosts:

   - "orderer.example.com:10.174.13.185"

同样，cli也需要能够和各个节点通讯，所以cli下面也需要添加extra_hosts设置，去掉无效的依赖，并且去掉command这一行，因为我们是每个peer都会有个对应的客户端，也就是cli，所以我只需要去手动执行一次命令，而不是自动运行。修改后的cli配置如下：

cli:

  container_name: cli

  image: hyperledger/fabric-tools

  tty: true

  environment:

    - GOPATH=/opt/gopath

    - CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock

    - CORE_LOGGING_LEVEL=DEBUG

    - CORE_PEER_ID=cli

    - CORE_PEER_ADDRESS=peer0.org1.example.com:

    - CORE_PEER_LOCALMSPID=Org1MSP

    - CORE_PEER_TLS_ENABLED=true

    - CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer0.org1.example.com/tls/server.crt

     - CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer0.org1.example.com/tls/server.key

    - CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer0.org1.example.com/tls/ca.crt

    - CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/users/Admin@org1.example.com/msp

  working_dir: /opt/gopath/src/github.com/hyperledger/fabric/peer

  volumes:

      - /var/run/:/host/var/run/

      - ../chaincode/go/:/opt/gopath/src/github.com/hyperledger/fabric/examples/chaincode/go

      - ./crypto-config:/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/

      - ./scripts:/opt/gopath/src/github.com/hyperledger/fabric/peer/scripts/

      - ./channel-artifacts:/opt/gopath/src/github.com/hyperledger/fabric/peer/channel-artifacts

  depends_on:

    - peer0.org1.example.com

  extra_hosts:

   - "orderer.example.com:10.174.13.185"

   - "peer0.org1.example.com:10.51.120.220"

   - "peer1.org1.example.com:10.51.126.19"

   - "peer0.org2.example.com:10.51.116.133"

   - "peer1.org2.example.com:10.51.126.5"

在单击模式下，4个peer会映射主机不同的端口，但是我们在多机部署的时候是不需要映射不同端口的，所以需要修改base/docker-compose-base.yaml文件，将所有peer的端口映射都改为相同的：

ports:

  - :

  - :

  - :

2.4设置orderer节点的docker-compose文件

与创建peer的配置文件类似，我们也复制一个yaml文件出来进行修改：

cp docker-compose-cli.yaml docker-compose-orderer.yaml

orderer服务器上我们只需要保留order设置，其他peer和cli设置都可以删除。orderer可以不设置extra_hosts。

2.5分发配置文件

前面4步的操作，我们都是在orderer.example.com上完成的，接下来我们需要将这些文件分发到另外4台服务器上。Linux之间的文件传输，我们可以使用scp命令。

我先登录peer0.org1.example.com，将本地的e2e_cli文件夹删除：

rm e2e_cli –R

然后再登录到orderer服务器上，退回到examples文件夹，因为这样可以方便的把其下的e2e_cli文件夹整个传到peer0服务器上。

scp -r e2e_cli fabric@10.51.120.220:/home/fabric/go/src/github.com/hyperledger/fabric/examples/

我们在前面配置的就是peer0.org1.example.com上的节点，所以复制过来后不需要做任何修改。

再次运行scp命令，复制到peer1.org1.example.com上，然后我们需要对docker-compose-peer.yaml做一个小小的修改，将启动的容器改为peer1.org1.example.com，并且添加peer0.org1.example.com的IP映射，对应的cli中也改成对peer1.org1.example.com的依赖。这是修改后的peer1.org1.example.com上的配置文件：

version: ''

services:

  peer1.org1.example.com:

    container_name: peer1.org1.example.com

    extends:

      file:  base/docker-compose-base.yaml

      service: peer1.org1.example.com

    extra_hosts:

     - "orderer.example.com:10.174.13.185"

     - "peer0.org1.example.com:10.51.120.220"

  cli:

    container_name: cli

    image: hyperledger/fabric-tools

    tty: true

    environment:

      - GOPATH=/opt/gopath

      - CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock

      - CORE_LOGGING_LEVEL=DEBUG

      - CORE_PEER_ID=cli

      - CORE_PEER_ADDRESS=peer1.org1.example.com:

      - CORE_PEER_LOCALMSPID=Org1MSP

      - CORE_PEER_TLS_ENABLED=true

      - CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer1.org1.example.com/tls/server.crt

      - CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer1.org1.example.com/tls/server.key

      - CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/peers/peer1.org1.example.com/tls/ca.crt

      - CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1.example.com/users/Admin@org1.example.com/msp

    working_dir: /opt/gopath/src/github.com/hyperledger/fabric/peer

    volumes:

        - /var/run/:/host/var/run/

        - ../chaincode/go/:/opt/gopath/src/github.com/hyperledger/fabric/examples/chaincode/go

         - ./crypto-config:/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/

        - ./scripts:/opt/gopath/src/github.com/hyperledger/fabric/peer/scripts/

        - ./channel-artifacts:/opt/gopath/src/github.com/hyperledger/fabric/peer/channel-artifacts

    depends_on:

      - peer1.org1.example.com

    extra_hosts:

     - "orderer.example.com:10.174.13.185"

     - "peer0.org1.example.com:10.51.120.220"

     - "peer1.org1.example.com:10.51.126.19"

     - "peer0.org2.example.com:10.51.116.133"

     - "peer1.org2.example.com:10.51.126.5"

接下来继续使用scp命令将orderer上的文件夹传送给peer0.org2.example.com和peer1.org2.example.com，然后也是修改一下docker-compose-peer.yaml文件，使得其启动对应的peer节点。

3.启动Fabric

现在所有文件都已经准备完毕，我们可以启动我们的Fabric网络了。

3.1启动orderer

让我们首先来启动orderer节点，在orderer服务器上运行：

docker-compose -f docker-compose-orderer.yaml up –d

运行完毕后我们可以使用docker ps看到运行了一个名字为orderer.example.com的节点。

3.2启动peer

然后我们切换到peer0.org1.example.com服务器，启动本服务器的peer节点和cli，命令为：

docker-compose -f docker-compose-peer.yaml up –d

运行完毕后我们使用docker ps应该可以看到2个正在运行的容器。

接下来依次在另外3台服务器运行启动peer节点容器的命令：

docker-compose -f docker-compose-peer.yaml up –d

现在我们整个Fabric4+1服务器网络已经成型，接下来是创建channel和运行ChainCode。

3.3创建Channel测试ChainCode

我们切换到peer0.org1.example.com服务器上，使用该服务器上的cli来运行创建Channel和运行ChainCode的操作。首先进入cli容器：

docker exec -it cli bash

进入容器后我们可以看到命令提示变为：

root@b41e67d40583:/opt/gopath/src/github.com/hyperledger/fabric/peer#

说明我们已经以root的身份进入到cli容器内部。官方已经提供了完整的创建Channel和测试ChainCode的脚本，并且已经映射到cli容器内部，所以我们只需要在cli内运行如下命令：

./scripts/script.sh mychannel

那么该脚本就可以一步一步的完成创建通道，将其他节点加入通道，更新锚节点，创建ChainCode，初始化账户，查询，转账，再次查询等链上代码的各个操作都可以自动化实现。直到最后，系统提示：

===================== All GOOD, End-2-End execution completed =====================

说明我们的4+1的Fabric多级部署成功了。我们现在是在peer0.org1.example.com的cli容器内，我们也可以切换到peer0.org2.example.com服务器，运行docker ps命令，可以看到本来是2个容器的，现在已经变成了3个容器，因为ChainCode会创建一个容器：

docker ps
CONTAINER ID        IMAGE                                 COMMAND                  CREATED             STATUS              PORTS                              NAMES

add457f79d57        dev-peer0.org2.example.com-mycc-1.0   "chaincode -peer.a..."   11 minutes ago      Up 11 minutes                                          dev-peer0.org2.example.com-mycc-1.0

0c06fb8e8f20        hyperledger/fabric-tools              "/bin/bash"              13 minutes ago      Up 13 minutes                                          cli

632c3e5d3a5e        hyperledger/fabric-peer               "peer node start"        13 minutes ago      Up 13 minutes       0.0.0.0:7051-7053->7051-7053/tcp   peer0.org2.example.com

4.总结

我在Fabric多机部署的过程中还是遇到了不少坑，前前后后花了2天的时间才趟坑完毕，实现了最终的4+1多机部署。其中与单机部署最大的不同的地方就是在单机部署的时候，我们是在同一个docker网络中，所以相互之间通过主机名通讯很容易，而在多机环境中，就需要额外设置DNS或者就是通过extra_hosts参数，设置容器中的hosts文件。而且不能一股脑的就跟cli一样把5台机器的域名IP配置到peer中，那样会报错的，所以只需要设置需要的即可。

官方给的脚本已经替我们做了很多工作，同时也隐藏了很多细节，所以我们并没有真正了解其内部的实现过程，我以后会再写一篇博客详细介绍Fabric多机部署的详细过程。为了方便，我把设计到的几个docker-compose文件打包了一份放出来，如果大家想进行同样的部署，只需要修改一下IP即可复用。

Docker-compose下载

最后，大家如果想进一步探讨Fabric或者使用中遇到什么问题可以加入QQ群【494085548】大家一起讨论。

Fabric 1.0的多机部署的更多相关文章

  1. Hyperledger Fabric 1.0 从零开始（七）——启动Fabric多节点集群

    5:启动Fabric多节点集群 5.1.启动orderer节点服务 上述操作完成后,此时各节点的compose配置文件及证书验证目录都已经准备完成,可以开始尝试启动多机Fabric集群. 首先启动or ...

  2. Hyperledger Fabric 1.0 从零开始（六）——创建Fabric多节点集群

    4:创建Fabric多节点集群 4.1.配置说明 首先可以根据官方Fabric自带的e2e_cli列子中的集群方案来生成我们自己的集群,与案例不同的是我们需要把容器都分配到不同的服务器上,彼此之间通过 ...

  3. 快速搭建一个Fabric 1.0的环境

    之前笔者写了一篇Fabric1.0 Beta的部署和Fabric 1.0的多机部署.但是很多人在部署Fabric的时候还是很容易出问题,所以我就再把Fabric 1.0的单机环境搭建讲一下.其实很多内 ...

  4. Hyperledger Fabric 1.0 学习搭建 （五）--- 启动Fabric多节点集群

    5.1.启动orderer节点服务 上述操作完成后,此时各节点的compose配置文件及证书验证目录都已经准备完成,可以开始尝试启动多机Fabric集群. 首先启动orderer节点,切换至order ...

  5. 菜鸟系列Fabric——Fabric 1.2 多机部署(3)

    多机部署fabric kafka共识 1. 角色分配 主机1 主机 2 Org1 peer0 1 Org2 peer 0 1 Orderer 0 1 Orderer 2 kafka 0 1 kafka ...

  6. 在Ubuntu中部署并测试Fabric 1.0 Beta

    [更新:1.0Beta已经是过去式了,现在出了1.0.0的正式版,请大家参照 http://www.cnblogs.com/studyzy/p/7437157.html  安装Fabric 1.0.0 ...

  7. hyperledger fabric 1.0.5 分布式部署 （八）

    gdb debug peer 程序 在开始我们从 github 上download 下来的源码包,实际上已经包含了可执行的 peer 程序,但是该程序是使用 release 方式编译的,并不支持gdb ...

  8. hyperledger fabric 1.0.5 分布式部署 （七）

    fabric 使用 fabric-ca 服务 准备部分 首先需要用户从github上download fabric-ca 的工程代码 cd $GOPATH/src/github.com/hyperle ...

  9. hyperledger fabric 1.0.5 分布式部署 （六）

    如何在相同的peer 节点上创建多个 channel 作者在hyperledger fabric 1.0.5 分布式部署 (五)已经向读者们介绍了一个简单的fabric 的部署流程,那么根据上一篇博客 ...

随机推荐

  1. C# 通过IEnumberable接口和IEnumerator接口实现自定义集合类型foreach功能

    1.IEnumerator和IEnumerable的作用 其实IEnumerator和IEnumerable的作用很简单,就是让除数组和集合之外的类型也能支持foreach循环,至于foreach循环 ...

  2. Oracle - 简单理解字符集

    起因 今天使用SoapUI来模拟第三方的程序进行测试. 简单来说,流程是我们的程序从SoapUI里面获取数据,然后将数据插入数据库从数据库. SoapUI的脚本来自于第三方,里面包含当地的字符编码,当 ...

  3. java 面试，java 后端面试,数据库方面对初级和高级程序员的要求

    本内容摘自 java web轻量级开发面试教程 对于合格的程序员,需要有基本的数据库操作技能,具体体现在以下三个方面. l  第一,针对一类数据库(比如MySQL.Oracle.SQL Server等 ...

  4. Java web轻量级开发面试教程读书笔记：数据库方面，如何准备面试

    如果在面试或与资深人事交流的过程中,你能有效合理地展示出本章所给出的一些知识点,那么对你的评价就会是"对数据库有深入了解",甚至能加上"有设计数据表的经验",即 ...

  5. win32 Message(MSG)消息处理

    一般情况下的消息处理如下,TranslateMessage转换virtual-keys消息到characters消息,DispatchMessage调度一个消息给窗口程序. //getMessage第 ...

  6. STL(标准模板库) 中栈(stack)的使用方法

    STL 中栈的使用方法(stack) 基本操作: stack.push(x)  将x加入栈stack中,即入栈操作 stack.pop()  出栈操作(删除栈顶),只是出栈,没有返回值 stack.t ...

  7. hdu2222 Keywords Search（AC自动机初步）

    题目大意: 给出多个模式串和一个主串,求多少个模式串在主串中出现过. 传送门 这是一道AC自动机的模板题. 在学习AC自动机之前,首先要学习WA自动机.TLE自动机和MLE自动机(雾 AC自动机是一种 ...

  8. 工具类：关于解决数据库中的日期格式，经过response.getWriter().write(json)打到前台日期格式混乱的问题的总结

    经过response.getWriter().write(json)打到前台日期格式混乱的问题的总结 import java.text.SimpleDateFormat;import net.sf.j ...

  9. 用JS制作一个信息管理平台

    首先,介绍一些需要用到的基本知识. [JSON] JSON是数据交互中,最常用的一种数据格式. 由于各种语言的语法都不相同,在传递数据时,可以将自己语言中的数组.对象等转换为JSON字符串. 传递之后 ...

  10. MySQL（九）之数据表的查询详解（SELECT语法）二

    上一篇讲了比较简单的单表查询以及MySQL的组函数,这一篇给大家分享一点比较难得知识了,关于多表查询,子查询,左连接,外连接等等.希望大家能都得到帮助! 在开始之前因为要多表查询,所以搭建好环境: 1 ...