一、spark-streaming-kafka-0-8_2.11-2.0.2.jar

1、pom.xml



  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.spark.SparkConf;
    8. 

  8. import org.apache.spark.api.java.JavaRDD;
    9. 

  9. import org.apache.spark.api.java.function.Function;
    10. 

  10. import org.apache.spark.api.java.function.VoidFunction;
    11. 

  11. import org.apache.spark.streaming.Durations;
    12. 

  12. import org.apache.spark.streaming.api.java.JavaDStream;
    13. 

  13. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    15. 

  15. import org.apache.spark.streaming.kafka.KafkaUtils;
    16. 

  16. import kafka.serializer.StringDecoder;
    17. 

  17. import scala.Tuple2;
    18. 

  18. public class KafkaConsumer{
    19. 

  19. public static void main(String[] args) throws InterruptedException{
    20. 

  20. /**
    21. 

  21. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    22. 

  22. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    23. 

  23. * Durations.seconds(2)每两秒读取一次kafka
    24. 

  24. */
    25. 

  25. SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    26. 

  26. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    27. 

  27. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/KafkaConsumer");
    28. 

  28. /**
    29. 

  29. * 配置连接kafka的相关参数
    30. 

  30. */
    31. 

  31. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    32. 

  32. Map<String, String> kafkaParams = new HashMap<String, String>();
    33. 

  33. kafkaParams.put("metadata.broker.list", "192.168.168.200:9092");
    34. 

  34. kafkaParams.put("auto.offset.reset", "smallest");//smallest：从最初开始；largest ：从最新开始
    35. 

  35. kafkaParams.put("fetch.message.max.bytes", "524288");
    36. 

  36. JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(jssc, String.class, String.class,
    37. 

  37. StringDecoder.class, StringDecoder.class, kafkaParams, topicsSet);
    38. 

  38. /**
    39. 

  39. * _2()获取第二个对象的值
    40. 

  40. */
    41. 

  41. JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
    42. 

  42. public String call(Tuple2<String, String> tuple2) {
    43. 

  43. return tuple2._2();
    44. 

  44. }
    45. 

  45. });
    46. 

  46. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    47. 

  47. public void call(JavaRDD<String> rdd) throws Exception {
    48. 

  48. rdd.foreach(new VoidFunction<String>() {
    49. 

  49. public void call(String s) throws Exception {
    50. 

  50. System.out.println(s);
    51. 

  51. }
    52. 

  52. });
    53. 

  53. }
    54. 

  54. });
    55. 

  55. // Start the computation
    56. 

  56. jssc.start();
    57. 

  57. jssc.awaitTermination();
    58. 

  58. }
    59. 

  59. }


二、spark-streaming-kafka-0-10_2.11-2.0.2.jar


1、pom.xml




  1. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
    2. 

  2. <dependency>
    3. 

  3. <groupId>org.apache.spark</groupId>
    4. 

  4. <artifactId>spark-core_2.11</artifactId>
    5. 

  5. <version>2.0.2</version>
    6. 

  6. <scope>runtime</scope>
    7. 

  7. </dependency>
    8. 

  8. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
    9. 

  9. <dependency>
    10. 

  10. <groupId>org.apache.spark</groupId>
    11. 

  11. <artifactId>spark-streaming_2.11</artifactId>
    12. 

  12. <version>2.0.2</version>
    13. 

  13. <scope>runtime</scope>
    14. 

  14. </dependency>
    15. 

  15. <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11 -->
    16. 

  16. <dependency>
    17. 

  17. <groupId>org.apache.spark</groupId>
    18. 

  18. <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    19. 

  19. <version>2.0.2</version>
    20. 

  20. <scope>runtime</scope>
    21. 

  21. </dependency>


2、Kafka Consumer类




  1. package com.spark.main;
    2. 

  2. import java.util.Arrays;
    3. 

  3. import java.util.HashMap;
    4. 

  4. import java.util.HashSet;
    5. 

  5. import java.util.Map;
    6. 

  6. import java.util.Set;
    7. 

  7. import org.apache.kafka.clients.consumer.ConsumerRecord;
    8. 

  8. import org.apache.kafka.common.serialization.StringDeserializer;
    9. 

  9. import org.apache.spark.SparkConf;
    10. 

  10. import org.apache.spark.api.java.JavaRDD;
    11. 

  11. import org.apache.spark.api.java.function.Function;
    12. 

  12. import org.apache.spark.api.java.function.VoidFunction;
    13. 

  13. import org.apache.spark.streaming.Durations;
    14. 

  14. import org.apache.spark.streaming.api.java.JavaDStream;
    15. 

  15. import org.apache.spark.streaming.api.java.JavaInputDStream;
    16. 

  16. import org.apache.spark.streaming.api.java.JavaPairInputDStream;
    17. 

  17. import org.apache.spark.streaming.api.java.JavaStreamingContext;
    18. 

  18. import org.apache.spark.streaming.kafka010.ConsumerStrategies;
    19. 

  19. import org.apache.spark.streaming.kafka010.KafkaUtils;
    20. 

  20. import org.apache.spark.streaming.kafka010.LocationStrategies;
    21. 

  21. import kafka.serializer.StringDecoder;
    22. 

  22. import scala.Tuple2;
    23. 

  23. public class Kafka10Consumer{
    24. 

  24. public static void main(String[] args) throws InterruptedException{
    25. 

  25. /**
    26. 

  26. * SparkConf sparkConf = new SparkConf().setAppName("KafkaConsumer").setMaster("local[2]");
    27. 

  27. * setMaster("local[2]")，至少要指定两个线程，一条用于用于接收消息，一条线程用于处理消息
    28. 

  28. * Durations.seconds(2)每两秒读取一次kafka
    29. 

  29. */
    30. 

  30. SparkConf sparkConf = new SparkConf().setAppName("Kafka10Consumer").setMaster("local[2]");
    31. 

  31. JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, Durations.milliseconds(500));
    32. 

  32. jssc.checkpoint("hdfs://192.168.168.200:9000/checkpoint/Kafka10Consumer");
    33. 

  33. /**
    34. 

  34. * 配置连接kafka的相关参数
    35. 

  35. */
    36. 

  36. Set<String> topicsSet = new HashSet<String>(Arrays.asList("TestTopic"));
    37. 

  37. Map<String, Object> kafkaParams = new HashMap<String, Object>();
    38. 

  38. kafkaParams.put("bootstrap.servers", "192.168.168.200:9092");
    39. 

  39. kafkaParams.put("key.deserializer", StringDeserializer.class);
    40. 

  40. kafkaParams.put("value.deserializer", StringDeserializer.class);
    41. 

  41. kafkaParams.put("group.id", "Kafka10Consumer");
    42. 

  42. kafkaParams.put("auto.offset.reset", "earliest");//earliest : 从最早开始；latest ：从最新开始
    43. 

  43. kafkaParams.put("enable.auto.commit", false);
    44. 

  44. //通过KafkaUtils.createDirectStream(...)获得kafka数据，kafka相关参数由kafkaParams指定
    45. 

  45. JavaInputDStream<ConsumerRecord<Object,Object>> messages = KafkaUtils.createDirectStream(
    46. 

  46. jssc,
    47. 

  47. LocationStrategies.PreferConsistent(),
    48. 

  48. ConsumerStrategies.Subscribe(topicsSet, kafkaParams)
    49. 

  49. );
    50. 

  50. /**
    51. 

  51. * _2()获取第二个对象的值
    52. 

  52. */
    53. 

  53. JavaDStream<String> lines = messages.map(new Function<ConsumerRecord<Object,Object>, String>() {
    54. 

  54. @Override
    55. 

  55. public String call(ConsumerRecord<Object, Object> consumerRecord) throws Exception {
    56. 

  56. // TODO Auto-generated method stub
    57. 

  57. return consumerRecord.value().toString();
    58. 

  58. }
    59. 

  59. });
    60. 

  60. lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    61. 

  61. public void call(JavaRDD<String> rdd) throws Exception {
    62. 

  62. rdd.foreach(new VoidFunction<String>() {
    63. 

  63. public void call(String s) throws Exception {
    64. 

  64. System.out.println(s);
    65. 

  65. }
    66. 

  66. });
    67. 

  67. }
    68. 

  68. });
    69. 

  69. // Start the computation
    70. 

  70. jssc.start();
    71. 

  71. jssc.awaitTermination();
    72. 

  72. }
    73. 

  73. }


												


											
spark-streaming-kafka-0-8 和 0-10的使用区别的更多相关文章
	

    
						
  1. Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
		
    这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档. 本文主要讲解了Spark Streaming如何从Kafka接收数据.Spark Streaming从Kafka接 ...
    
		
    2. 
						
  2. Spark踩坑记——Spark Streaming+Kafka
		
    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...
    
		
    3. 
						
  3. Spark Streaming+Kafka
		
    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...
    
		
    4. 
						
  4. spark streaming kafka example
		
    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...
    
		
    5. 
						
  5. spark streaming - kafka updateStateByKey 统计用户消费金额
		
    场景 餐厅老板想要统计每个用户来他的店里总共消费了多少金额,我们可以使用updateStateByKey来实现 从kafka接收用户消费json数据,统计每分钟用户的消费情况,并且统计所有时间所有用户 ...
    
		
    6. 
						
  6. Spark踩坑记：Spark Streaming+kafka应用及调优
		
    前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从k ...
    
		
    7. 
						
  7. Spark streaming + Kafka 流式数据处理，结果存储至MongoDB、Solr、Neo4j（自用）
		
    KafkaStreaming.scala文件 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf impor ...
    
		
    8. 
						
  8. IDEA Spark Streaming Kafka数据源-Consumer
		
    import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apac ...
    
		
    9. 
						
  9. 4、spark streaming+kafka
		
    一.Receiver模式 1. receiver模式原理图 在SparkStreaming程序运行起来后,Executor中会有receiver tasks接收kafka推送过来的数据.数据会被持久化 ...
    
		
    10. 
						
  10. spark.streaming.kafka.maxRatePerPartition的理解
		
    spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数. 假设此项设为1,批次间隔为10s,目标topic只有 ...
    
		
    11. 
		

	


随机推荐
	

    
									
  1. 下载从网页里面提取出来的图片（将url指向的图片下载并保存、从命名）
			
    import os #创建文件夹 from urllib import request #下载图片 if not os.path.exists('文件夹名字'): #创建文件夹名字 os.mkdir( ...
    
			
    2. 
						
  2. Python 带有参数的装饰器
			
    def wrapper_out(flag): # 装饰器本身的参数 def wrapper(fn): # 目标函数 def inner(*args, **kwargs): # 目标函数执行需要的参数  ...
    
			
    3. 
						
  3. Httpclient的学习（一）
			
    1.名词解释 抓包: 抓包(packet capture)就是将网络传输发送与接收的数据包进行截获.重发.编辑.转存等操作,也用来检查网络安全.抓包也经常被用来进行数据截取等. Httpclient: ...
    
			
    4. 
						
  4. J - FatMouse's Speed
			
    p的思路不一定要到最后去找到ans:也可以设置成在中间找到ans:比如J - FatMouse's Speed 这个题,如果要是让dp[n]成为最终答案的话,即到了i,最差的情况也是dp[i-1],就 ...
    
			
    5. 
						
  5. markdown使用问题
			
    1.配置自定义的markdown.css https://github.com/sameer1994kiki/markdown-css 2.代码块 一行`` 多行 ``` <code>&l ...
    
			
    6. 
						
  6. freeSSHd (Auth fail)错误！以及Xmanager的(ssh服务器拒绝了密码，请再试一次)错误！
			
    参考文档:http://blog.csdn.net/zhangliang_571/article/details/45598939 (Auth fail) 以及(ssh服务器拒绝了密码,请再试一次)  ...
    
			
    7. 
						
  7. 02 http,servlet,servletconfig,HttpServletRequest ,HttpServletResponse
			
    Http协议 协议:双方在交互.通讯的时候, 遵守的一种规范.规则.http协议:针对网络上的客户端 与 服务器端在执行http请求的时候,遵守的一种规范. 其实就是规定了客户端在访问服务器端的时候, ...
    
			
    8. 
						
  8. hdu4965 Fast Matrix Calculation 矩阵快速幂
			
    One day, Alice and Bob felt bored again, Bob knows Alice is a girl who loves math and is just learni ...
    
			
    9. 
						
  9. mysql的utf8与utf8mb4 异同；utf8mb4_unicode_ci 与 utf8mb4_general_ci 如何选择
			
    如图,一般使用如下配置 utf8mb4是4个字节.utf8是3个字节.utf8mb4兼容性更好,占用空间更大. 主要从排序准确性和性能两方面看: 准确性utf8mb4_unicode_ci 是基于标准 ...
    
			
    10. 
						
  10. day 04 Java并发多线程
			
    http://www.cnblogs.com/hellocsl/p/3969768.html?utm_source=tuicool&utm_medium=referralPS:而JVM 每遇到 ...
    
			
    11.