Spark2 SQL configuration参数配置
查看当前环境SQL参数的配置
spark.sql("SET -v")
key | value |
spark.sql.hive.version | 1.2.1 |
spark.sql.sources.parallelPartitionDiscovery.threshold | 32 |
spark.sql.hive.metastore.barrierPrefixes | |
spark.sql.shuffle.partitions | 200 |
spark.sql.hive.metastorePartitionPruning | FALSE |
spark.sql.broadcastTimeout | 300 |
spark.sql.sources.bucketing.enabled | TRUE |
spark.sql.parquet.filterPushdown | TRUE |
spark.sql.statistics.fallBackToHdfs | FALSE |
spark.sql.adaptive.enabled | FALSE |
spark.sql.parquet.cacheMetadata | TRUE |
spark.sql.hive.metastore.sharedPrefixes | com.mysql.jdbc |
spark.sql.parquet.respectSummaryFiles | FALSE |
spark.sql.warehouse.dir | hdfs:///user/spark/warehouse |
spark.sql.orderByOrdinal | TRUE |
spark.sql.hive.convertMetastoreParquet | TRUE |
spark.sql.groupByOrdinal | TRUE |
spark.sql.hive.thriftServer.async | TRUE |
spark.sql.thriftserver.scheduler.pool | <undefined> |
spark.sql.orc.filterPushdown | FALSE |
spark.sql.adaptive.shuffle.targetPostShuffleInputSize | 67108864b |
spark.sql.sources.default | parquet |
spark.sql.parquet.compression.codec | snappy |
spark.sql.hive.metastore.version | 1.2.1 |
spark.sql.sources.partitionDiscovery.enabled | TRUE |
spark.sql.crossJoin.enabled | FALSE |
spark.sql.parquet.writeLegacyFormat | FALSE |
spark.sql.hive.verifyPartitionPath | FALSE |
spark.sql.variable.substitute | TRUE |
spark.sql.thriftserver.ui.retainedStatements | 200 |
spark.sql.hive.convertMetastoreParquet.mergeSchema | FALSE |
spark.sql.parquet.enableVectorizedReader | TRUE |
spark.sql.parquet.mergeSchema | FALSE |
spark.sql.parquet.binaryAsString | FALSE |
spark.sql.columnNameOfCorruptRecord | _corrupt_record |
spark.sql.files.maxPartitionBytes | 134217728 |
spark.sql.streaming.checkpointLocation | <undefined> |
spark.sql.variable.substitute.depth | 40 |
spark.sql.parquet.int96AsTimestamp | TRUE |
spark.sql.autoBroadcastJoinThreshold | 10485760 |
spark.sql.pivotMaxValues | 10000 |
spark.sql.sources.partitionColumnTypeInference.enabled | TRUE |
spark.sql.hive.metastore.jars | builtin |
spark.sql.thriftserver.ui.retainedSessions | 200 |
spark.sql.sources.maxConcurrentWrites | 1 |
spark.sql.parquet.output.committer.class | org.apache.parquet.hadoop.ParquetOutputCommitter |
Spark2 SQL configuration参数配置的更多相关文章
- [sql]mysql参数(配置)手册
my-innodb-heavy-4G.cnf配置文件注解 [client] #客户端 port = 3306 #mysql客户端连接时的默认端口号 socket = /application/mysq ...
- 自制xml实现SQL动态参数配置
此文章是基于 搭建SpringMVC+Spring+Hibernate平台 一. 准备工作 1. 点击此找到并下载 commons-digester3-3.2.jar 2. 点击此找到并下载 comm ...
- Hive命令行及参数配置
1 . Hive 命令行 输入$HIVE_HOME/bin/hive –H 或者 –help 可以显示帮助选项: 说明: 1. -i 初始化 HQL 文件. 2. -e 从命令行执行指定的 HQL ...
- 教你如何利用分布式的思想处理集群的参数配置信息——spring的configurer妙用
引言 最近LZ的技术博文数量直线下降,实在是非常抱歉,之前LZ曾信誓旦旦的说一定要把<深入理解计算机系统>写完,现在看来,LZ似乎是在打自己脸了.尽管LZ内心一直没放弃,但从现状来看,需要 ...
- IIS 7.5 高并发参数配置
IIS 7.5 高并发参数配置 由于之前使用的是默认配置,服务器最多只能处理5000个同时请求,对于高并发请求,参照文档设置10万并发 1. 调整IIS 7应用程序池队列长度 由原来的默认1000改为 ...
- SQL SERVER 2008配置Database Mail –用SQL 数据库发邮件
SQL SERVER 2008配置Database Mail –用SQL 数据库发邮件 https://blogs.msdn.microsoft.com/apgcdsd/2011/06/28/sql ...
- Sqlserver推荐参数配置及日志收缩问题
最近不定期有项目反馈周期性的系统整体性能下降情况,经分析存在因数据库环境.参数配置不佳造成的.比如,sqlserver日志文件缺省按百分比增长,当日志文件已经比较大时,每次扩展时耗时较长,系统整体卡顿 ...
- Liferay中SQL打印参数
XX\tomcat-7.0.42\webapps\ROOT\WEB-INF\classes\log4j.properties log4j.rootLogger=INFO, CONSOLE log4 ...
- 14.6.1 InnoDB Startup Configuration 启动配置
14.6.1 InnoDB Startup Configuration 启动配置 首先描述关于InnoDB 配置设计数据库文件,日志文件,page size 和内存buffer 的配置. 推荐你定义数 ...
随机推荐
- Adb 获取手机信息
adb shell getprop [ro.product.board]: [herring][ro.product.brand]: [google][ro.product.cpu.abi2]: [a ...
- GitHub 二次验证收不到短信咋办?
身在天朝,用了国外的代码托管服务,会有些烦恼的. 网速慢就不说了,如果启用了二次验证,短信收不到那就悲催了. 之前的都能收到短信的,突然间尝试了很多天都不行,联系github的客服,几次的答复如下: ...
- PDF文件可以转换成txt文档吗
PDF是一种便携式的文件格式,传送和阅读都非常方便,是Adobe公司开发的跨平台文件格式,它无论在哪种打印机上都可以保证精确的颜色和准确的打印效果.可是有点遗憾的是PDF格式一般不能在手机上打开,或者 ...
- Struts2_day04讲义_使用Struts2完成用户登录的权限拦截器的代码编写
- [SublimeText] 如何创建工程
Sublime Text 可以很方便地管理多个工程.使用Sublime Text的Projects,可以将不同根目录的文件组织起来成为一个工程,而不用将所有的文件都放到一个根目录下面. 1. 创建工程 ...
- lua_gc源码学习
最近发现在大数据量的 lua 环境中,GC 占据了很多的 CPU .差不多是整个 CPU 时间的 20% 左右.希望着手改进.这样,必须先对 lua 的 gc 算法极其实现有一个详尽的理解.我之前读过 ...
- 汉字按首字母排序(javascript,php,mysql实现)
1.javascript实现 var a = ["啊","得啊_123","得啊_0124","波啊","婆& ...
- 微信小程序的图片懒加载
在普通的web页面当中,我们都知道图片懒加载可以提升浏览器的加载速度.原理是图片用空或者占位图片进行显示,当屏幕移动到图片位置的时候,再把图片的地址换成它的地址.那么,在小程序当中呢,最近老大让看一下 ...
- Lua中的控制结构
Lua提供了一组传统的.小巧的控制结构,包括用于条件执行的if,用于迭代的while.repeat和for.所有的控制结构都有意个显式的终止符:if.for和while以end作为结尾,repeat以 ...
- 【Java并发编程一】线程安全和共享对象
一.什么是线程安全 当多个线程访问一个类时,如果不用考虑这些线程在运行时环境下的调度和交替执行,并且不需要额外的同步及在调用代码代码不必作其他的协调,这个类的行为仍然是正确的,那么称这个类是线程安全的 ...