查看当前环境SQL参数的配置

spark.sql("SET -v")

key value
spark.sql.hive.version 1.2.1
spark.sql.sources.parallelPartitionDiscovery.threshold 32
spark.sql.hive.metastore.barrierPrefixes  
spark.sql.shuffle.partitions 200
spark.sql.hive.metastorePartitionPruning FALSE
spark.sql.broadcastTimeout 300
spark.sql.sources.bucketing.enabled TRUE
spark.sql.parquet.filterPushdown TRUE
spark.sql.statistics.fallBackToHdfs FALSE
spark.sql.adaptive.enabled FALSE
spark.sql.parquet.cacheMetadata TRUE
spark.sql.hive.metastore.sharedPrefixes com.mysql.jdbc
spark.sql.parquet.respectSummaryFiles FALSE
spark.sql.warehouse.dir hdfs:///user/spark/warehouse
spark.sql.orderByOrdinal TRUE
spark.sql.hive.convertMetastoreParquet TRUE
spark.sql.groupByOrdinal TRUE
spark.sql.hive.thriftServer.async TRUE
spark.sql.thriftserver.scheduler.pool <undefined>
spark.sql.orc.filterPushdown FALSE
spark.sql.adaptive.shuffle.targetPostShuffleInputSize 67108864b
spark.sql.sources.default parquet
spark.sql.parquet.compression.codec snappy
spark.sql.hive.metastore.version 1.2.1
spark.sql.sources.partitionDiscovery.enabled TRUE
spark.sql.crossJoin.enabled FALSE
spark.sql.parquet.writeLegacyFormat FALSE
spark.sql.hive.verifyPartitionPath FALSE
spark.sql.variable.substitute TRUE
spark.sql.thriftserver.ui.retainedStatements 200
spark.sql.hive.convertMetastoreParquet.mergeSchema FALSE
spark.sql.parquet.enableVectorizedReader TRUE
spark.sql.parquet.mergeSchema FALSE
spark.sql.parquet.binaryAsString FALSE
spark.sql.columnNameOfCorruptRecord _corrupt_record
spark.sql.files.maxPartitionBytes 134217728
spark.sql.streaming.checkpointLocation <undefined>
spark.sql.variable.substitute.depth 40
spark.sql.parquet.int96AsTimestamp TRUE
spark.sql.autoBroadcastJoinThreshold 10485760
spark.sql.pivotMaxValues 10000
spark.sql.sources.partitionColumnTypeInference.enabled TRUE
spark.sql.hive.metastore.jars builtin
spark.sql.thriftserver.ui.retainedSessions 200
spark.sql.sources.maxConcurrentWrites 1
spark.sql.parquet.output.committer.class org.apache.parquet.hadoop.ParquetOutputCommitter
												

Spark2 SQL configuration参数配置的更多相关文章

  1. [sql]mysql参数(配置)手册

    my-innodb-heavy-4G.cnf配置文件注解 [client] #客户端 port = 3306 #mysql客户端连接时的默认端口号 socket = /application/mysq ...

  2. 自制xml实现SQL动态参数配置

    此文章是基于 搭建SpringMVC+Spring+Hibernate平台 一. 准备工作 1. 点击此找到并下载 commons-digester3-3.2.jar 2. 点击此找到并下载 comm ...

  3. Hive命令行及参数配置

    1 . Hive  命令行 输入$HIVE_HOME/bin/hive –H 或者 –help 可以显示帮助选项: 说明: 1. -i 初始化 HQL 文件. 2. -e 从命令行执行指定的 HQL ...

  4. 教你如何利用分布式的思想处理集群的参数配置信息——spring的configurer妙用

    引言 最近LZ的技术博文数量直线下降,实在是非常抱歉,之前LZ曾信誓旦旦的说一定要把<深入理解计算机系统>写完,现在看来,LZ似乎是在打自己脸了.尽管LZ内心一直没放弃,但从现状来看,需要 ...

  5. IIS 7.5 高并发参数配置

    IIS 7.5 高并发参数配置 由于之前使用的是默认配置,服务器最多只能处理5000个同时请求,对于高并发请求,参照文档设置10万并发 1. 调整IIS 7应用程序池队列长度 由原来的默认1000改为 ...

  6. SQL SERVER 2008配置Database Mail –用SQL 数据库发邮件

    SQL SERVER 2008配置Database Mail –用SQL  数据库发邮件 https://blogs.msdn.microsoft.com/apgcdsd/2011/06/28/sql ...

  7. Sqlserver推荐参数配置及日志收缩问题

    最近不定期有项目反馈周期性的系统整体性能下降情况,经分析存在因数据库环境.参数配置不佳造成的.比如,sqlserver日志文件缺省按百分比增长,当日志文件已经比较大时,每次扩展时耗时较长,系统整体卡顿 ...

  8. Liferay中SQL打印参数

      XX\tomcat-7.0.42\webapps\ROOT\WEB-INF\classes\log4j.properties log4j.rootLogger=INFO, CONSOLE log4 ...

  9. 14.6.1 InnoDB Startup Configuration 启动配置

    14.6.1 InnoDB Startup Configuration 启动配置 首先描述关于InnoDB 配置设计数据库文件,日志文件,page size 和内存buffer 的配置. 推荐你定义数 ...

随机推荐

  1. Android ScrollView 和ListView 一起使用的问题汇总

    1.ScrollView 嵌套 ListView  ,touch事件的截获问题. 参考 http://www.cnblogs.com/lqminn/archive/2013/03/02/2940194 ...

  2. 怎么用ABBYY在线浏览PDF文件

    ABBYY FineReader 让您可以从在线存储服务中打开图像或 PDF 文件,并将已识别文本保存至在线存储服务中,如 Dropbox.SkyDrive 或 Google Drive 等.通过在 ...

  3. 如何破解银行O2O模式创新

    文/赵志宏 摩 根大通的买房APP,使客户可根据自己的位置选择合适的贷款经理:华道数据提供的卡惠APP,使客户可随时查询自己周围信用卡刷卡打折的商户信息:民生银 行的微信预约叫号功能,使客户根据可自己 ...

  4. 阿里云提出的漏洞(Phpcms V9某处逻辑问题导致getshell漏洞解决方法)的问题

    最近从阿里云云盾检测流出来的,相比使用阿里云服务器的朋友已经收到漏洞提醒:Phpcms V9某处逻辑问题导致getshell漏洞解决方法,这个漏洞怎么办呢?CMSYOU在这里找到针对性解决办法分享给大 ...

  5. 使用a标签制作tooltips

    摘要: 前面已经分享了三种方法制作tooltips,今天再来分享一个借助a标签来实现tooltips的方法. 效果如下:

  6. 【函数式】Monads模式初探——for解析式

    for表达式是monad语法糖 先看一组演示样例: case class Person(name: String, isMale: Boolean, children: Person*) val la ...

  7. trim思考

    今天发现后台订单商品名称没有的时候出现了HTML代码,然后看了一下源代码(下图是简化版本的) <?php $name = trim('<span style="font-weig ...

  8. Docker应用之镜像

    一.Docker包括三个基本概念 1.镜像(Image):Docker镜像是一个只读模板,例如一个镜像可以包含完整的Linux系统环境,里面仅仅安装了Apache或用户其他应用程序:镜像可以用来创建D ...

  9. LINK : warning LNK4098: 默认库“LIBCMT”与其他库的使用冲突;请使用 /NODEFAULTLIB:library

    解决方法 属性=>配置属性=>输入=>忽略特定库LIBCMT

  10. 《转》Python学习(16)-python异常

    转自 http://www.cnblogs.com/BeginMan/p/3171445.html 一.什么是错误,什么是异常,它们两者区别 这里解释如下:个人觉得很通俗易懂 错误是指在执行代码过程中 ...