创建Kafka0.8.2生产者与消费者

一、下载安装Kafka0.8.2

二、vi config/server.properties

三、修改为advertised.host.name=192.168.1.76

四、rm -rf  /tmp *移除临时目录下的文件

五、修改vi /etc/hosts中的127.0.0.1为192.168.1.76

六、开启zookeeper

1. bin/zookeeper-server-start.sh config/zookeeper.properties

七、开启kafka

bin/kafka-server-start.sh config/server.properties

八、创建主题

bin/kafka-topics.sh --create --zookeeper 192.168.1.76:2181 --replication-factor 1 --partitions 1 --topic mytesttopic

九、开启消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.1.76:2181 --topic mytesttopic --from-beginning 回车

十、生产者代码（0.8.2.1的jar包）

1. import java.util.*;
2. import org.apache.kafka.clients.producer.KafkaProducer;
3. import org.apache.kafka.clients.producer.ProducerRecord;
4. public class SimpleProducer {
5. public static void main(String[] args) {
6. Properties properties = new Properties();
7. properties.put("bootstrap.servers", "192.168.1.76:9092");
8. properties.put("metadata.broker.list", "192.168.1.76:9092");
9. properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
10. properties.put("serializer.class", "kafka.serializer.StringEncoder");
11. properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
12. properties.put("request.required.acks", "1");
13. KafkaProducer<Integer, String> producer = new KafkaProducer<Integer, String>(properties);
14. for (int iCount = 0; iCount < 100; iCount++) {
15. String message = "My Test Message No " + iCount;
16. ProducerRecord<Integer, String> record = new ProducerRecord<Integer, String>("mytesttopic", message);
17. producer.send(record);
18. }
19. producer.close();
20. }
21. }

十一、查看结果

1. My Test Message No 0
2. My Test Message No 1
3. My Test Message No 2
4. My Test Message No 3
5. My Test Message No 4
6. My Test Message No 5
7. My Test Message No 6
8. My Test Message No 7
9. My Test Message No 8
10. My Test Message No 9
11. My Test Message No 10

1. ...................

1. ..................

十、消费者代码（0.8.2.1的jar包）

1. import kafka.consumer.ConsumerConfig;
2. import kafka.consumer.ConsumerIterator;
3. import kafka.consumer.KafkaStream;
4. import kafka.serializer.StringDecoder;
5. import kafka.utils.VerifiableProperties;
6. import java.util.*;
7. public class SimpleConsumerExample {
8. private static kafka.javaapi.consumer.ConsumerConnector consumer;
9. public static void consume() {
10. Properties props = new Properties();
11. // zookeeper 配置
12. props.put("zookeeper.connect", "192.168.1.76:2181");
13. // group 代表一个消费组
14. props.put("group.id", "jd-group");
15. // zk连接超时
16. props.put("zookeeper.session.timeout.ms", "4000");
17. props.put("zookeeper.sync.time.ms", "200");
18. props.put("auto.commit.interval.ms", "1000");
19. props.put("auto.offset.reset", "smallest");
20. // 序列化类
21. props.put("serializer.class", "kafka.serializer.StringEncoder");
22. ConsumerConfig config = new ConsumerConfig(props);
23. consumer = kafka.consumer.Consumer.createJavaConsumerConnector(config);
24. Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
25. topicCountMap.put("mytesttopic", new Integer(1));
26. StringDecoder keyDecoder = new StringDecoder(new VerifiableProperties());
27. StringDecoder valueDecoder = new StringDecoder(new VerifiableProperties());
28. Map<String, List<KafkaStream<String, String>>> consumerMap = consumer.createMessageStreams(topicCountMap,
29. keyDecoder, valueDecoder);
30. KafkaStream<String, String> stream = consumerMap.get("mytesttopic").get(0);
31. ConsumerIterator<String, String> it = stream.iterator();
32. while (it.hasNext())
33. System.out.println(it.next().message());
34. }
35. public static void main(String[] args) {
36. consume();
37. }
38. }

十一、提供下C#版的代码

1. static void Main(string[] args)
2. {
3. //https://github.com/Jroland/kafka-net
4. //生产者
5. //var options = new KafkaOptions(new Uri("http://192.168.1.76:9092"), new Uri("http://192.168.1.76:9092"));
6. //var router = new BrokerRouter(options);
7. //var client = new Producer(router);
8. //client.SendMessageAsync("mytesttopic", new[] { new Message("hello world") }).Wait();
9. //using (client) { }
10. //消费者
11. var options = new KafkaOptions(new Uri("http://192.168.1.76:9092"), new Uri("http://192.168.1.76:9092"));
12. var router = new BrokerRouter(options);
13. var consumer = new Consumer(new ConsumerOptions("mytesttopic", router));
14. //Consume returns a blocking IEnumerable (ie: never ending stream)
15. foreach (var message in consumer.Consume())
16. {
17. Console.WriteLine("Response: P{0},O{1} : {2}",
18. message.Meta.PartitionId, message.Meta.Offset,System.Text.Encoding.ASCII.GetString(message.Value));
19. }
20. Console.ReadLine();
21. }