spark连接mysql（打jar包方式）

  1. package wujiadong_sparkSQL
  3. import java.util.Properties
  5. import org.apache.spark.sql.SQLContext
  6. import org.apache.spark.{SparkConf, SparkContext}
  8. /**
  9.   * Created by Administrator on 2017/2/14.
  10.   */
  11. object JdbcOperation {
  12.   def main(args: Array[String]): Unit = {
  13.     val conf = new SparkConf().setAppName("JdbcOperation")
  14.     val sc = new SparkContext(conf)
  15.     val sqlContext = new SQLContext(sc)
  16.     val properties = new Properties()
  17.     properties.put("user","feigu")
  18.     properties.put("password","feigu")
  19.     val url = "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
  20.     val stud_scoreDF = sqlContext.read.jdbc(url,"stud_score",properties)
  21.     stud_scoreDF.show()
  23.   }
  25. }

提交集群

  1. hadoop@master:~/wujiadong$ spark-submit --driver-class-path /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar  --class wujiadong_sparkSQL.JdbcOperation  --executor-memory 500m --total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar
  2.  或者
  3. hadoop@master:~/wujiadong$ spark-submit --jars /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar  --class wujiadong_sparkSQL.JdbcOperation  --executor-memory 500m --total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar

运行结果

  1. hadoop@master:~/wujiadong$ spark-submit --driver-class-path /home/hadoop/bigdata/hive/lib/mysql-connector-java-5.1.10-2.jar  --class wujiadong_sparkSQL.JdbcOperation  --executor-memory 500m --total-executor-cores 2 /home/hadoop/wujiadong/wujiadong.spark.jar
  2. 17/02/15 13:21:06 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  3. 17/02/15 13:21:09 INFO Slf4jLogger: Slf4jLogger started
  4. 17/02/15 13:21:09 INFO Remoting: Starting remoting
  5. 17/02/15 13:21:09 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.1.131:40654]
  6. 17/02/15 13:21:13 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
  7. +----------+--------+--------+--------+---------+---------+
  8. | stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
  9. +----------+--------+--------+--------+---------+---------+
  10. |2015101000|   10101|    数学分析|        |       90|     null|
  11. |2015101000|   10102|    高等代数|        |       88|     null|
  12. |2015101000|   10103|    大学物理|        |       67|     null|
  13. |2015101000|   10104|   计算机原理|        |       78|     null|
  14. |2015101000|   10105|     电磁学|        |       89|     null|
  15. |2015101001|   10101|    数学分析|        |       87|     null|
  16. |2015101001|   10102|    高等代数|        |       78|     null|
  17. |2015101001|   10103|    大学物理|        |       88|     null|
  18. |2015101001|   10104|   计算机原理|        |       86|     null|
  19. |2015101001|   10105|     电磁学|        |       91|     null|
  20. |2015101002|   10101|    数学分析|        |       98|     null|
  21. |2015101002|   10102|    高等代数|        |       97|     null|
  22. |2015101002|   10103|    大学物理|        |       95|     null|
  23. |2015101002|   10104|   计算机原理|        |       96|     null|
  24. |2015101002|   10105|     电磁学|        |       90|     null|
  25. |2015101003|   10101|    数学分析|        |       70|     null|
  26. |2015101003|   10102|    高等代数|        |       87|     null|
  27. |2015101003|   10103|    大学物理|        |       65|     null|
  28. |2015101003|   10104|   计算机原理|        |       98|     null|
  29. |2015101003|   10105|     电磁学|        |       76|     null|
  30. +----------+--------+--------+--------+---------+---------+
  31. only showing top 20 rows
  33. 17/02/15 13:21:24 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
  34. 17/02/15 13:21:24 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.

常见报错1

  1. Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql://slave02:3306/testdb
  2. 报错原因是没有jdbc驱动
  4. 解决办法
  5. --driver-class-path xxx.jar 或者
  6. --jars xxx.jar

如果添加了命令和jar运行也不行,则用以下办法

  1. 在%JAVA_HOME%\jre\lib\ext下添加mysql-connector-java-5.1.12-bin.jar 问题解决

常见报错2

  1. java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date
  3. 0000-00-00 ”在MySQL中是作为一个特殊值存在的，但是在Java中， java.sql.Date 会被视为 不合法的值，被JVM认为格式不正确。  
  5. 解决办法：在jdbc的url加上   zeroDateTimeBehavior参数
  7. url = "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"

spark连接mysql（spark shell方式）

方式1


  2. //import sqlContext.implicits._   //有时需要用到，需要时导入
  3. scala> import org.apache.spark.sql.SQLContext
  4. import org.apache.spark.sql.SQLContext
  6. scala> val sqlContext = new SQLContext(sc)
  7. sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@6cd1ee
  9. scala> val url ="jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
  10. url: String = jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull
  12. scala> val prop = new java.util.Properties
  13. prop: java.util.Properties = {}
  15. scala> prop.setProperty("user","feigu")
  16. res3: Object = null
  18. scala> prop.setProperty("password","feigu")
  19. res4: Object = null
  21. scala> val stud_scoreDF = sqlContext.read.jdbc(url,"stud_score",prop)
  22. stud_scoreDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]
  24. scala> stud_scoreDF.show()
  25. +----------+--------+--------+--------+---------+---------+
  26. | stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
  27. +----------+--------+--------+--------+---------+---------+
  28. |2015101000|   10101|    数学分析|        |       90|     null|
  29. |2015101000|   10102|    高等代数|        |       88|     null|
  30. |2015101000|   10103|    大学物理|        |       67|     null|
  31. |2015101000|   10104|   计算机原理|        |       78|     null|
  32. |2015101000|   10105|     电磁学|        |       89|     null|
  33. |2015101001|   10101|    数学分析|        |       87|     null|
  34. |2015101001|   10102|    高等代数|        |       78|     null|
  35. |2015101001|   10103|    大学物理|        |       88|     null|
  36. |2015101001|   10104|   计算机原理|        |       86|     null|
  37. |2015101001|   10105|     电磁学|        |       91|     null|
  38. |2015101002|   10101|    数学分析|        |       98|     null|
  39. |2015101002|   10102|    高等代数|        |       97|     null|
  40. |2015101002|   10103|    大学物理|        |       95|     null|
  41. |2015101002|   10104|   计算机原理|        |       96|     null|
  42. |2015101002|   10105|     电磁学|        |       90|     null|
  43. |2015101003|   10101|    数学分析|        |       70|     null|
  44. |2015101003|   10102|    高等代数|        |       87|     null|
  45. |2015101003|   10103|    大学物理|        |       65|     null|
  46. |2015101003|   10104|   计算机原理|        |       98|     null|
  47. |2015101003|   10105|     电磁学|        |       76|     null|
  48. +----------+--------+--------+--------+---------+---------+
  49. only showing top 20 rows

方式2

  1. scala> import org.apache.spark.sql.SQLContext
  2. import org.apache.spark.sql.SQLContext
  4. scala> val sqlContext = new SQLContext(sc)
  5. sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@351d726c
  7. scala> import sqlContext.implicits._
  8. import sqlContext.implicits._
  10. scala> val url ="jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull"
  11. url: String = jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull
  13. scala> val table = "stud_score"
  14. table: String = stud_score
  16. scala> val reader = sqlContext.read.format("jdbc")
  17. reader: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  19. scala> val reader = sqlContext.read.format("jdbc")
  20. reader: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  22. scala> reader.option("url",url)
  23. res0: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  25. scala> reader.option("dbtable",table)
  26. res4: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  28. scala> reader.option("driver","com.mysql.jdbc.Driver")
  29. res6: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  31. scala> reader.option("user","feigu")
  32. res7: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  34. scala> reader.option("password","feigu")
  35. res8: org.apache.spark.sql.DataFrameReader = org.apache.spark.sql.DataFrameReader@49c37918
  37. scala> val DF = reader.load()
  38. DF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]
  40. scala> DF.show()
  41. +----------+--------+--------+--------+---------+---------+
  42. | stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
  43. +----------+--------+--------+--------+---------+---------+
  44. |2015101000|   10101|    数学分析|        |       90|     null|
  45. |2015101000|   10102|    高等代数|        |       88|     null|
  46. |2015101000|   10103|    大学物理|        |       67|     null|
  47. |2015101000|   10104|   计算机原理|        |       78|     null|
  48. |2015101000|   10105|     电磁学|        |       89|     null|
  49. |2015101001|   10101|    数学分析|        |       87|     null|
  50. |2015101001|   10102|    高等代数|        |       78|     null|
  51. |2015101001|   10103|    大学物理|        |       88|     null|
  52. |2015101001|   10104|   计算机原理|        |       86|     null|
  53. |2015101001|   10105|     电磁学|        |       91|     null|
  54. |2015101002|   10101|    数学分析|        |       98|     null|
  55. |2015101002|   10102|    高等代数|        |       97|     null|
  56. |2015101002|   10103|    大学物理|        |       95|     null|
  57. |2015101002|   10104|   计算机原理|        |       96|     null|
  58. |2015101002|   10105|     电磁学|        |       90|     null|
  59. |2015101003|   10101|    数学分析|        |       70|     null|
  60. |2015101003|   10102|    高等代数|        |       87|     null|
  61. |2015101003|   10103|    大学物理|        |       65|     null|
  62. |2015101003|   10104|   计算机原理|        |       98|     null|
  63. |2015101003|   10105|     电磁学|        |       76|     null|
  64. +----------+--------+--------+--------+---------+---------+
  65. only showing top 20 rows

方式3

  1. scala> import org.apache.spark.sql.SQLContext
  2. import org.apache.spark.sql.SQLContext
  4. scala> val sqlContext = new SQLContext(sc)
  5. sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@fdf029a
  7. scala> val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull","driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "testdb.stud_score","user" -> "feigu","password" -> "feigu")).load()
  8. jdbcDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]
  10. scala> jdbcDF.show()
  11. +----------+--------+--------+--------+---------+---------+
  12. | stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
  13. +----------+--------+--------+--------+---------+---------+
  14. |2015101000|   10101|    数学分析|        |       90|     null|
  15. |2015101000|   10102|    高等代数|        |       88|     null|
  16. |2015101000|   10103|    大学物理|        |       67|     null|
  17. |2015101000|   10104|   计算机原理|        |       78|     null|
  18. |2015101000|   10105|     电磁学|        |       89|     null|
  19. |2015101001|   10101|    数学分析|        |       87|     null|
  20. |2015101001|   10102|    高等代数|        |       78|     null|
  21. |2015101001|   10103|    大学物理|        |       88|     null|
  22. |2015101001|   10104|   计算机原理|        |       86|     null|
  23. |2015101001|   10105|     电磁学|        |       91|     null|
  24. |2015101002|   10101|    数学分析|        |       98|     null|
  25. |2015101002|   10102|    高等代数|        |       97|     null|
  26. |2015101002|   10103|    大学物理|        |       95|     null|
  27. |2015101002|   10104|   计算机原理|        |       96|     null|
  28. |2015101002|   10105|     电磁学|        |       90|     null|
  29. |2015101003|   10101|    数学分析|        |       70|     null|
  30. |2015101003|   10102|    高等代数|        |       87|     null|
  31. |2015101003|   10103|    大学物理|        |       65|     null|
  32. |2015101003|   10104|   计算机原理|        |       98|     null|
  33. |2015101003|   10105|     电磁学|        |       76|     null|
  34. +----------+--------+--------+--------+---------+---------+
  35. only showing top 20 rows
  37. //注册为一个表。这就可以直接进行select等操作样
  38. scala> jdbcDF.registerTempTable("wu_stud_info")
  39. scala> jdbcDF.sqlContext.sql("select sub_name from wu_stud_info").collect.foreach(println)
  40. [数学分析]
  41. [高等代数]
  42. [大学物理]
  43. [计算机原理]
  44. [电磁学]
  45. [数学分析]
  46. [高等代数]
  47. [大学物理]
  48. [计算机原理]
  49. [电磁学]
  50. [数学分析]
  51. [高等代数]
  52. [大学物理]
  53. [计算机原理]
  54. [电磁学]
  55. [数学分析]
  56. [高等代数]
  57. [大学物理]
  58. [计算机原理]
  59. [电磁学]
  60. [数学分析]
  61. [高等代数]
  62. [大学物理]
  63. [计算机原理]
  64. [电磁学]
  65. [数学分析]
  66. [高等代数]
  67. [大学物理]
  68. [计算机原理]
  69. [电磁学]
  70. [数学分析]
  71. [高等代数]
  72. [大学物理]
  73. [计算机原理]
  74. [电磁学]
  75. [数学分析]
  76. [高等代数]
  77. [大学物理]
  78. [计算机原理]
  79. [电磁学]
  80. [数学分析]
  81. [高等代数]
  82. [大学物理]
  83. [计算机原理]
  84. [电磁学]
  85. [数学分析]
  86. [高等代数]
  87. [大学物理]
  88. [计算机原理]
  89. [电磁学]
  90. [数学分析]
  91. [高等代数]
  92. [大学物理]
  93. [计算机原理]
  94. [电磁学]
  95. [计算机软件与理论]
  96. [计算机系统结构]
  97. [操作系统]
  98. [概率统计]
  99. [汇编语言]
  100. [数据结构]
  101. [计算机软件与理论]
  102. [计算机系统结构]
  103. [操作系统]
  104. [概率统计]
  105. [汇编语言]
  106. [数据结构]
  107. [计算机软件与理论]
  108. [计算机系统结构]
  109. [操作系统]
  110. [概率统计]
  111. [汇编语言]
  112. [数据结构]
  113. [计算机软件与理论]
  114. [计算机系统结构]
  115. [操作系统]
  116. [概率统计]
  117. [汇编语言]
  118. [数据结构]
  119. [计算机软件与理论]
  120. [计算机系统结构]
  121. [操作系统]
  122. [概率统计]
  123. [汇编语言]
  124. [数据结构]
  125. [计算机软件与理论]
  126. [计算机系统结构]
  127. [操作系统]
  128. [概率统计]
  129. [汇编语言]
  130. [数据结构]
  131. [计算机软件与理论]
  132. [计算机系统结构]
  133. [操作系统]
  134. [概率统计]
  135. [汇编语言]
  136. [数据结构]
  137. [计算机软件与理论]
  138. [计算机系统结构]
  139. [操作系统]
  140. [概率统计]
  141. [汇编语言]
  142. [数据结构]
  143. [计算机软件与理论]
  144. [计算机系统结构]
  145. [操作系统]
  146. [概率统计]
  147. [汇编语言]
  148. [数据结构]
  149. [计算机软件与理论]
  150. [计算机系统结构]
  151. [操作系统]
  152. [概率统计]
  153. [汇编语言]
  154. [数据结构]
  155. [计算机软件与理论]
  156. [计算机系统结构]
  157. [操作系统]
  158. [概率统计]
  159. [汇编语言]
  160. [数据结构]

spark SQL学习（spark连接 mysql）的更多相关文章

  1. IDEA 中Spark SQL通过JDBC连接mysql数据库

    一.IDEA装驱动: 1.下载一个MySQL的JDBC驱动:mysql-connector-java-5.1.44.tar.gz2.在idea Open Moudle Settings 在 Moudl ...

  2. spark SQL学习（认识spark SQL）

    spark SQL初步认识 spark SQL是spark的一个模块,主要用于进行结构化数据的处理.它提供的最核心的编程抽象就是DataFrame. DataFrame:它可以根据很多源进行构建,包括 ...

  3. spark SQL学习（spark连接hive）

    spark 读取hive中的数据 scala> import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql. ...

  4. spark SQL学习（综合案例-日志分析）

    日志分析 scala> import org.apache.spark.sql.types._ scala> import org.apache.spark.sql.Row scala&g ...

  5. spark SQL学习（案例-统计每日销售）

    需求:统计每日销售额 package wujiadong_sparkSQL import org.apache.spark.sql.types._ import org.apache.spark.sq ...

  6. spark SQL学习（案例-统计每日uv）

    需求:统计每日uv package wujiadong_sparkSQL import org.apache.spark.sql.{Row, SQLContext} import org.apache ...

  7. spark SQL学习（数据源之json）

    准备工作 数据文件students.json {"id":1, "name":"leo", "age":18} {&qu ...

  8. spark SQL学习（数据源之parquet）

    Parquet是面向分析型业务得列式存储格式 编程方式加载数据 代码示例 package wujiadong_sparkSQL import org.apache.spark.sql.SQLConte ...

  9. spark SQL学习（load和save操作）

    load操作:主要用于加载数据,创建出DataFrame save操作:主要用于将DataFrame中的数据保存到文件中 代码示例(默认为parquet数据源类型) package wujiadong ...

随机推荐

  1. dstat命令--检查linux系统性能

    系统性能的相关工具:vmstat.netstat.iostat.ifstat. dstat命令可以查看虚拟内存.网络连接和接口.cpu活动.输入/输出设备等.

  2. 【转】UML中类与类之间的5种关系表示

    一.继承关系      继承指的是一个类(称为子类.子接口)继承另外的一个类(称为父类.父接口)的功能,并可以增加它自己的新功能的能力.在Java中继承关系通过关键字extends明确标识,在设计时一 ...

  3. BitTrex行情查看与技术指标系统

    上个月的时候,向TradingView申请K线图行情插件,填了各种资料,被问了N多问题,结果却仍是不愿意提供插件给我们. 于是,我们自己开发了一个BitTre行情查看与技术指标系统, 这套系统被国内多 ...

  4. Yii框架2.0的过滤器

    过滤器是 控制器 动作 执行之前或之后执行的对象. 例如访问控制过滤器可在动作执行之前来控制特殊终端用户是否有权限执行动作, 内容压缩过滤器可在动作执行之后发给终端用户之前压缩响应内容. 过滤器可包含 ...

  5. Cyclic Nacklace ---hdu3746（循环节，kmp）

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=3746 给你一个字符串,让你在后面加尽量少的字符,使得这个字符串成为一个重复串. abca---添加bc ...

  6. #define宏定义

    1 #define的概念  #define命令是C语言中的一个宏定义命令,它用来将一个标识符定义为一个字符串,该标识符被称为宏名,被定义的字符串称为替换文本.  该命令有两种格式:一种是简单的宏定义, ...

  7. python常见模块之time模块

    一.模块简介 在Python中,通常有这几种方式来表示时间: 时间戳(timestamp):通常来说,时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量.我们运行“type(tim ...

  8. java并发深入

    对象由数据+行为组成.数据就是字段,行为就是方法. 并发须要保证这些可被多个线程訪问的共享对象数据的完整性,以及某些特定完整性语义. 比方一个类有一个字段count＝0,两个线程同一时候对它做加1操作 ...

  9. 004-hadoop家族概述

    hadoop家族 名称 简介   Hadoop 分布式基础架构 Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了 ...

  10. sql中的连接表达式，视图，事务等。

    给定两张表 表A ),description )); ,'N1','AD1'); ,'N2','AD2'); mysql> SELECT * FROM a; +----+------+----- ...