*以下内容由<Spark快速大数据分析>整理所得. 读书笔记的第三部分是讲的是Spark有哪些常见数据源?怎么读取它们的数据并保存. Spark有三类常见的数据源: 文件格式与文件系统:它们是存储在本地文件系统或分布式文件系统(比如 NFS.HDFS.Amazon S3 等)中的 数据,例如:文本文件.JSON.SequenceFile, 以及 protocol buffer. Spark SQL中的结构化数据源:它针对包括JSON和Apache Hive在内的结构化数据源. 数据库与键值存储…

Spring自带了一组数据访问框架,集成了多种数据访问技术.无论我们是直接通过 JDBC 还是像Hibernate或Mybatis那样的框架实现数据持久化,Spring都可以为我们消除持久化代码中那些单调枯燥的数据访问逻辑.Spring对大多数的持久化方式提供支持. ​ Spring在数据访问中使用模板的模式,将访问过程中固定的和可变的部分明确划分为两个不同的类:模板(template)和回调(callback).模板处理数据访问中固定的部分——事务控制.管理资源及处理异常,而回调处理应用程序相…

[TOC] 背景 Spark SQL是Spark的一个模块,用于结构化数据的处理. ++++++++++++++ +++++++++++++++++++++ | SQL | | Dataset API | ++++++++++++++ +++++++++++++++++++++ +++++++++++++++++++++++++++++++++++++ | Spark SQL | +++++++++++++++++++++++++++++++++++++ 使用Spark SQL的方式有2种,可以…

目录 1.数据倾斜 2.TopN 3.Join优化 预排序的join cross join 考虑Join顺序 4.根据HashMap.DF等数据集进行filter 5.Join去掉重复的列 6.展开NestedDF 7.计算session/组内时间差 8.用flatMap替代map + filter 9.分层抽样 10.SQL与DF API 11.Shuffle后的分区 12.多维分析的优化 1.数据倾斜 来源:读取数据之后,包括从数据源读取和shuffle后读取 后果:大部分task和小部分t…

4.1 通用加载/保存方法 4.1.1手动指定选项 Spark SQL的DataFrame接口支持多种数据源的操作.一个DataFrame可以进行RDDs方式的操作,也可以被注册为临时表.把DataFrame注册为临时表之后,就可以对该DataFrame执行SQL查询 Spark SQL的默认数据源为Parquet格式.数据源为Parquet文件时,Spark SQL可以方便的执行所有的操作.修改配置项spark.sql.sources.default,可修改默认数据源格式 val df = s…

目录 1. 简介 1.1 ODBC和JDBC 1.2 ODBC配置工具 1.3 ODBC 数据源连接配置 2. MySQL 数据源配置 2.1 配置步骤 2.2 链接参数配置 3. SQLServer 数据源配置 3.1 配置步骤 3.2 链接参数配置 4. ACCESS 数据源配置 4.1 配置步骤 4.2 链接参数配置 1. 简介 我们用golang做odbc驱动开发的任务并不多,隔段时间可能会来一个.每次开发会忘记如何配置数据源和对应的数据源链接参数配置.这里做一个整理. 1.1 ODBC…

在hadoop上创建目录/spark-study/users/gender=male/country=US/users.parquet(并且把文件put上去) code: package cn.spark.study.core.mycode_dataFrame; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFr…

1. Spark Driver cannot bind on port0, SparkContext initialized failed 如果是通过spark-submit等命令行提交的任务,在spark的conf目录下,修改spark-env.sh(如果没有此文件,从spark-env-template.sh拷贝一份),添加 export SPARK_LOCAL_IP=127.0.0.1即可 如果是通过Idea等IDE来提交任务,调试,运行的时候,修改/etc/hosts, 添加或修改机器名…

错误1.错误: 找不到或无法加载主类 idea.scala代码 idea 导入的scala工程,编写代码后报该错误. 原因:\src\main\scala 包路径下没有将scala这个包设置成Sources root 解决:设置scala的文件夹属性 错误2. ERROR scheduler.LiveListenerBus: Listener SQLListener threw an exception java.lang.NullPointerException WARN spark.Exec…

使用的是idea编辑器 spark sql从hive中读取数据的步骤:1.引入hive的jar包 2.将hive-site.xml放到resource下 3.spark sql声明对hive的支持 案例: def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .appName(s"${this.getClass.getSimpleName}") .master(…