protobuf + maven 爬坑记

疯狂创客圈死磕Netty 亿级流量架构系列之20

本文说明

本篇是 netty+Protobuf 整合实战的 第一篇，完成一个基于Netty + Protobuf 实战案例。

要实现高并发、大流量，首先需要高传输效率的协议，Protobuf 是迄今为止最高性能之一的传输格式，我们首先将 Protobuf 和Netty整合起来。

顺便说明下：

本文的内容只是一个初稿、初稿，本文的知识，在《Netty Zookeeper Redis 高并发实战》一书时，进行大篇幅的完善和更新，并且进行的源码的升级。博客和书不一样，书的内容更加系统化、全面化，更加层层升入、层次分明、更多次的错误排查，请大家以书的内容为准。

本文的最终内容，具体请参考疯狂创客圈 倾力编著，机械工业出版社出版的《Netty Zookeeper Redis 高并发实战》一书。

本案例源代码

源代码下载链接： netty+protobuf （整合源代码）

1.1. protobuf 代码生成

在创建好.proto协议**文件之后，就需要按照好了对应版本的 protoc.exe工具。 protoc.exe工具是生成Java文件的工具软件。安装的方法，前面已经讲了。

这里需要提示一下版本。Java 的maven 配置文件中 proto 包的版本，和 .proto文件的版本，以及生成java 代码的protoc.exe的版本，三者需要一致。

1.1.1. 使用命令生成

下面开始生成消息的 Java代码。需要用到下面的指令：

protoc.exe --java_out=输出的Java文件路径名称 .proto文件路径名称

例如：

protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

输入完之后，回车即可在目标目录看到已经生成好的Java文件，然后将该文件放到项目中该文件指定的路径下即可。

本案例的工程中，以及给大家准备好了.bat windows 的命令文件，在 .bat 目录下执行.bat 文件即可。 .bat 文件如下：

d:

cd D:\crazymakercircleJava\nettydemo\chatcommon

protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

使用的时候，注意调整为实际的目录。

1.1.2. 命令生成代码的两个大坑

1.1.2.1. 大坑一：可劲儿提示没有协议版本

使用protoc.exe指令生成java代码时，提示没有设置协议版本。错误如下：

D:\crazymakercircleJava\nettydemo\chatcommon>protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

[libprotobuf WARNING T:\src\github\protobuf\src\google\protobuf\compiler\parser.cc:562] No syntax specified for the proto file: proto/ProtoMsg.proto. Please use 'syntax = "proto2";' or 'syntax = "proto3";' to specify a syntax version. (Defaulted to proto2 syntax.)

实际上，协议版本是已经设置好了的。

1.1.2.2. 大坑二：没有生成Java代码

通过切换到老的protobuf代码生成器版本，比方说2.6.1 ，这时候，会没有错误提示了。

但是，新的问题来了，在代码生成的目标目录下，就是看不到生成Java代码。说明代码还是没有生成成功。

爬出这两个大坑，会浪费大量的时间。

1.1.3. 使用Maven插件生成Java代码

其实，天无绝人之路。

一条更好的路等着你来。这就是maven插件。

使用protobuf-maven-plugin，可以非常方便的生成Java代码。

插件的配置如下：

<plugin>

    <groupId>org.xolstice.maven.plugins</groupId>

    <artifactId>protobuf-maven-plugin</artifactId>

    <version>0.5.0</version>

    <extensions>true</extensions>

    <configuration>

        <!--默认值-->

        <protoSourceRoot>${project.basedir}/proto/protoConfig</protoSourceRoot>

        <!--默认值-->

        <!--<outputDirectory>${project.build.directory}/generated-sources/protobuf/java</outputDirectory>-->

        <outputDirectory>${project.build.sourceDirectory}</outputDirectory>

        <!--设置是否在生成java文件之前清空outputDirectory的文件，默认值为true，设置为false时也会覆盖同名文件-->

        <clearOutputDirectory>false</clearOutputDirectory>

        <!--默认值-->

        <temporaryProtoFileDirectory>${project.build.directory}/protoc-temp</temporaryProtoFileDirectory>

              <protocExecutable>${project.basedir}/proto/protobin/protoc3.6.1.exe</protocExecutable>

    </configuration>

    <executions>

        <execution>

            <goals>

                <goal>compile</goal>

                <goal>test-compile</goal>

            </goals>

        </execution>

    </executions>

</plugin>

插件的配置项中，需要配置的内容如下：

（1）protoSourceRoot ： protobuf 协议文件的路径

（2）outputDirectory ：java 文件的目标路径

（3）protocExecutable ： protobuf 代码生成工具的路径

配置好之后，执行插件的compile命令， Java代码就利索的生成了。

疯狂创客圈分布式实战社群

亿级流量高并发 IM后台开源项目实战
Netty 源码、原理、JAVA NIO 原理
Java 面试题一网打尽
疯狂创客圈 【博客园总入口】