【sparksql hive作为数据源】的更多相关文章

sparksql hive作为数据源

根据官方文档的说法,要把hive-site.xml,core-site.xml,hdfs-site.xml拷贝到spark的conf目录下,保证mysql已经启动 java public class Demo { private static SparkSession session = SparkSession.builder().appName("demo").enableHiveSupport() .config("spark.sql.warehouse.dir&quo…

SparkSQL读写外部数据源--数据分区

import com.twq.dataset.Utils._ import org.apache.spark.sql.{SaveMode, SparkSession} object FilePartitionTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("FilePartitionTest") .getOrCreate() val sessions…

SparkSQL读写外部数据源-基本操作load和save

数据源-基本操作load和save object BasicTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("BasicTest") .master("local") .getOrCreate() //最基本的读取(load)和保存(write)操作,操作的文件的数据格式默认是parquet val sessionDF = spar…

SparkSQL读写外部数据源-jext文件和table数据源的读写

object ParquetFileTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("ParquetFileTest") .getOrCreate() //1: 将json文件数据转化成parquet文件数据 val df = spark.read.json(s"${BASE_PATH}/people.json") df.show(…

SparkSQL读写外部数据源-通过jdbc读写mysql数据库

object JdbcDatasourceTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("JdbcDatasourceTest") .master("local") .getOrCreate() //url: // jdbc:mysql://master:3306/test // jdbc:oracle://master:3306…

SparkSQL读写外部数据源--csv文件的读写

object CSVFileTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("CSVFileTest") .master("local") .getOrCreate() import spark.implicits._ val df = spark.read.json(s"${BASE_PATH}/people.json&…

SparkSQL读写外部数据源-json文件的读写

object JsonFileTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .master("local") .appName("JsonFileTest") .getOrCreate() import spark.implicits._ //将parquet文件数据转化成json文件数据 val sessionDf = spark.read.pa…

报表使用hive数据源报java.net.SocketTimeoutException: Read timed out

数据库表的数据量大概50W左右,在报表设计器下创建了hive的数据源,连接正常,由于数据量比较大,就用了润乾报表的大数据报表功能,报表设置好后,发布到页面中报错: 数据集ds1中,SQL语句SELECT *  FROM general_bil::org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out执行错误,SQL参数异常或者SQL语句语法错误 从报错看应该是…

Sparksql 取代 Hive？

sparksql  hive https://databricks.com/blog/2014/07/01/shark-spark-sql-hive-on-spark-and-the-future-of-sql-on-spark.html https://cwiki.apache.org/confluence/display/Hive/Home [服务数仓,支持sql强标准] Apache Hive The Apache Hive™ data warehouse software facilit…

SparkSQL程序设计

1.创建Spark Session val spark = SparkSession.builder . master("local") .appName("spark session example") .getOrCreate()注:下面的 spark 都指的是 sparkSession 2.将RDD隐式转换为DataFrame import spark.implicits._ 3.SparkSession 介绍 spark中包含 sparkContext和 s…