Kafka .net 开发入门

　　Kafka安装

　　首先我们需要在windows服务器上安装kafka以及zookeeper,有关zookeeper的介绍将会在后续进行讲解。

在网上可以找到相应的安装方式，我采用的是腾讯云服务器，借鉴的是https://www.cnblogs.com/lnice/p/9668750.html

根据上面博客安装完成后，我们在kafka中新建了一个名叫test的Topic,并新建了一个生产者和一个消费者。

　　注：控制台生产者和控制台消费者的数据不同是因为我用.net开发了一个生产者所致，后面会讲

　　

　　.net生产者　　

　　当前市面上比较好的.NET的kafka开源包有两个：kafka-net和rdkafka,我采用的是RdKafka；

　　新建项目后首先添加Nuget包，我的生产者源码如下所示

             string brokerList = "118.24.184.36:9092";
             string topicName = "test";
 
             using (Producer producer = new Producer("118.24.184.36:9092"))
             using (Topic topic = producer.Topic(topicName))
             {
                 Console.WriteLine("{" + producer.Name + "} producing on {" + topic.Name + "}. q to exit.");
 
                 string text;
                 while ((text = Console.ReadLine()) != "q")
                 {
                     byte[] data = Encoding.UTF8.GetBytes(text);
                     Task<DeliveryReport> deliveryReport = topic.Produce(data);
                     var unused = deliveryReport.ContinueWith(task =>
                     {
                         Console.WriteLine("Partition: {" + task.Result.Partition + "}, Offset: {" + task.Result.Offset + "}");
                     });
                  }
             }
             

　　如你所见，当我们在软件的输入框输入hellow world并回车后，控制台的消费者就收到了。

　　

　　如上图，控制台消费者收到了.net生产者发布的消息。

　　

　　.net 消费者

　　我采用的还是RfKafka这个插件，采用的代码如下

 static void Main(string[] args)
         {
             string brokerList = "118.24.184.36:9092";
             List<string> topic = new List<string>();
             topic.Add("test");
             Run(brokerList, topic);
         }
         public static void Run(string brokerList, List<string> topics)
         {
             bool enableAutoCommit = false;
 
             var config = new Config()
             {
                 GroupId = "advanced-csharp-consumer",
                 EnableAutoCommit = enableAutoCommit,
                 StatisticsInterval = TimeSpan.FromSeconds()
             };
 
             using (var consumer = new EventConsumer(config, brokerList))
             {
                 consumer.OnMessage += (obj, msg) =>
                 {
                     string text = Encoding.UTF8.GetString(msg.Payload, , msg.Payload.Length);
                     Console.WriteLine($"Topic: {msg.Topic} Partition: {msg.Partition} Offset: {msg.Offset} {text}");
                     Console.WriteLine("1 Response: Partition {0},Offset {1} : {2}",
                     msg.Partition, msg.Offset, text);
                     if (!enableAutoCommit && msg.Offset %  == )
                     {
                         Console.WriteLine("Committing offset");
                         consumer.Commit(msg).Wait();
                         Console.WriteLine("Committed offset");
                     }
                 };
 
                 consumer.OnConsumerError += (obj, errorCode) =>
                 {
                     Console.WriteLine($"Consumer Error: {errorCode}");
                 };
 
                 consumer.OnEndReached += (obj, end) =>
                 {
                     Console.WriteLine($"Reached end of topic {end.Topic} partition {end.Partition}, next message will be at offset {end.Offset}");
                 };
 
                 consumer.OnError += (obj, error) =>
                 {
                     Console.WriteLine($"Error: {error.ErrorCode} {error.Reason}");
                 };
 
                 if (enableAutoCommit)
                 {
                     consumer.OnOffsetCommit += (obj, commit) =>
                     {
                         if (commit.Error != ErrorCode.NO_ERROR)
                         {
                             Console.WriteLine($"Failed to commit offsets: {commit.Error}");
                         }
                         Console.WriteLine($"Successfully committed offsets: [{string.Join(", ", commit.Offsets)}]");
                     };
                 }
 
                 consumer.OnPartitionsAssigned += (obj, partitions) =>
                 {
                     Console.WriteLine($"Assigned partitions: [{string.Join(", ", partitions)}], member id: {consumer.MemberId}");
                     consumer.Assign(partitions);
                 };
 
                 consumer.OnPartitionsRevoked += (obj, partitions) =>
                 {
                     Console.WriteLine($"Revoked partitions: [{string.Join(", ", partitions)}]");
                     consumer.Unassign();
                 };
 
                 consumer.OnStatistics += (obj, json) =>
                 {
                     Console.WriteLine($"Statistics: {json}");
                 };
 
                 consumer.Subscribe(topics);
                 consumer.Start();
 
                 Console.WriteLine($"Assigned to: [{string.Join(", ", consumer.Assignment)}]");
                 Console.WriteLine($"Subscribed to: [{string.Join(", ", consumer.Subscription)}]");
 
                 Console.WriteLine($"Started consumer, press enter to stop consuming");
                 Console.ReadLine();
             }
         }

　　运行后得到如下效果，以下四个框分别是.net生产者，控制台生产者，.net消费者，控制台消费者。

　　

　　至此.net关于kafka的使用就讲完了。

这里有一篇文章分享给大家，把很多kafka的一些深入理解进行了很通俗的讲解：

http://melanx.com/2019/01/07/深入浅出理解基于-kafka-和-zookeeper-的分布式消息队列/#12kafkatopic

　　如果你在使用上诉代码时遇到了如下问题：

解决方案如下：将工程切到.net4.0,再将工程切到.net4.5或你需要的版本

　　不要问我为什么，我是这样解决的，否则就需要根据缺失的库进行相关插件安装。