转自:https://blog.csdn.net/qq_33792843/article/details/83750025 val nullStr = org.apache.spark.sql.functions.lit(null).cast(StringType) 在sparkSQL代码中用 $nullStr 使用…

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 大家都知道用mapreduce或者spark写入已知的hbase中的表时,直接在mapreduce或者spark的driver class中声明如下代码 job.getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, tablename); 随后mapreduce在mapper或者reducer中直接context写入即可,而spark则是…

原因: oracle 10g的驱动执行的批量提交只支持32768个参数,如果表的字段多于32个,就会出现该异常 解决办法: 升级oracle的驱动版本,换成ojdbc6.jar…

目标: 监控Oracle某张记录表,有新增数据则获取表数据,并推送到微信企业. 流程: Kafka实时监控Oracle指定表,获取该表操作信息(日志),使用Spark Structured Streaming消费Kafka,获取数据后清洗后存入指定目录,Python实时监控该目录,提取文本里面数据并推送到微信.(Oracle一台服务器,Kafka及Spark在另外一台服务器) 架构: Oracle+Kafka+Spark Structured Streaming+Python centos7 o…

oracle认为 null 最大. 升序排列,默认情况下,null值排后面. 降序排序,默认情况下,null值排前面. 改变空值办法: (1)用nvl函数或decode函数将null转换为一特定值 替换null: nvl(arg,value) (2)用case语法将null转换为一特定值(oracle9i以后版本支持.和sqlserver类似): order by (case mycol when null then‘北京漂客’else mycol end) (3)使用nulls first 或…

oracle认为 null 最大. 升序排列,默认情况下,null值排后面. 降序排序,默认情况下,null值排前面. 改变空值办法: (1)用nvl函数或decode函数将null转换为一特定值 替换null: nvl(arg,value) (2)用case语法将null转换为一特定值(oracle9i以后版本支持.和sqlserver类似): order by (case mycol when null then‘北京漂客’else mycol end) (3)使用nulls first 或…

引言: spark项目中通常我们需要将我们处理之后数据保存到文件中,比如将处理之后的RDD保存到hdfs上指定的目录中,亦或是保存在本地 spark保存文件: 1.rdd.saveAsTextFile("file:///E:/dataFile/result") 2.rdd.saveAsHadoopFile("file:///E:/dataFile/result",classOf[T],classOf[T],classOf[outputFormat.class]) 3…

在使用Spark时经常需要把数据落入HBase中,如果使用普通的Java API,写入会速度很慢.还好Spark提供了Bulk写入方式的接口.那么Bulk写入与普通写入相比有什么优势呢? BulkLoad不会写WAL,也不会产生flush以及split. 如果我们大量调用PUT接口插入数据,可能会导致大量的GC操作.除了影响性能之外,严重时甚至可能会对HBase节点的稳定性造成影响.但是采用Bulk就不会有这个顾虑. 过程中没有大量的接口调用消耗性能 下面给出完整代码: import org.a…

package com.grady.geomesa import org.apache.spark.sql.jts.PointUDT import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.{SparkConf, sql} import or…

使用es-hadoop插件,主要使用elasticsearch-spark-20_2.11-6.2.x.jar 官网:https://www.elastic.co/guide/en/elasticsearch/hadoop/current/reference.html 关于ES详细的配置参数 大家可以看下面的这个类: org.elasticsearch.hadoop.cfg.ConfigurationOptions sparkstreaming写入ES:   SparkConf conf = n…