Spark DataSource Option 参数

Spark DataSource Option 参数

• 1.parquet
• 2.orc
• 3.csv
• 4.text
• 5.jdbc
• 6.libsvm
• 7.image
• 8.json
• 9.xml
• 9.1读选项
• 9.2写选项
• 10.excel

1.parquet

https://spark.apache.org/docs/latest/sql-data-sources-parquet.html

2.orc

https://spark.apache.org/docs/latest/sql-data-sources-orc.html

3.csv

https://docs.databricks.com/spark/latest/data-sources/read-csv.html#supported-options

4.text

属性名称	默认值	含义
wholetext	false	默认情况下，文本文件中的每一行都是生成的DataFrame中的新行。如果为true，则将文件作为单行读取，而不是按"\n"拆分。

5.jdbc

http://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

属性名称	默认值	含义
url		要连接的JDBC URL，可以再URL中指定特定于源的连接属性
dbtable		应该读取或写入的JDBC表
query		将数据读入Spark的查询语句
driver	“com.mysql.jdbc.Driver”	用于连接到此URL的JDBC驱动程序的类名
numPartitions		表读取和写入中可用于并行的最大分区数，同时确定了最大并发的JDBC连接数
partitionColumn,lowerBound,upperBound		如果指定了任一选项，则必须指定全部选项。此外，还必须指定numPartitions。partitionColumn必须是表中的数字，日期或时间戳列。注意：lowerBound和upperBound（仅用于决定分区步幅，而不是用于过滤表中的行。因此，表中的所有行都将被分区并返回，这些选项仅用于读操作。）
queryTimeout	0	超时时间（单位：秒），零意味着没有限制
fetchsize		用于确定每次往返要获取的行数（例如Oracle是10行），可以用于提升JDBC驱动程序的性能。此选项仅适用于读
batchsize	1000	JDBC批处理大小，用于确定每次往返要插入的行数。 这 可以 用于 提升 JDBC 驱动程序的性能。此选项仅适用于写。
isolationLevel	READ_UNCOMMITTED	事务隔离级别，适用于当前连接。它可以是 NONE，READ_COMMITTED，READ_UNCOMMITTED，REPEATABLE_READ 或 SERIALIZABLE 之一，对应于 JDBC的Connection 对象定义的标准事务隔离级别，默认值为 READ_UNCOMMITTED。此选项仅适用于写。
sessionInitStatement		在向远程数据库打开每个数据库会话之后，在开始读取数据之前，此选项将执行自定义SQL语句（或PL / SQL块）。 使用它来实现会话初始化，例如：option(“sessionInitStatement”, “”“BEGIN execute immediate ‘alter session set “_serial_direct_read”=true’; END;”"")
truncate	false	当启用SaveMode.Overwrite时，此选项会导致 Spark 截断现有表，而不是删除并重新创建它。这样更高效，并且防止删除表元数据（例如，索引）。但是，在某些情况下，例如新数据具有不同的 schema 时，它将无法工作。此选项仅适用于写。
cascadeTruncate	false	如果JDBC数据库（目前为 PostgreSQL和Oracle）启用并支持，则此选项允许执行TRUNCATE TABLE t CASCADE（在PostgreSQL的情况下，仅执行TRUNCATE TABLE t CASCADE以防止无意中截断表）。这将影响其他表，因此应谨慎使用。此选项仅适用于写。
createTableOptions		此选项允许在创建表时设置特定于数据库的表和分区选项（例如，CREATE TABLE t (name string) ENGINE=InnoDB）。此选项仅适用于写。
createTableColumnTypes		创建表时要使用的数据库列数据类型而不是默认值。（例如：name CHAR（64），comments VARCHAR（1024））。指定的类型应该是有效的 spark sql 数据类型。 此选项仅适用于写。
customSchema		用于从JDBC连接器读取数据的自定义 schema。例如，id DECIMAL(38, 0), name STRING。您还可以指定部分字段，其他字段使用默认类型映射。 例如，id DECIMAL（38,0）。列名应与JDBC表的相应列名相同。用户可以指定Spark SQL的相应数据类型，而不是使用默认值。 此选项仅适用于读。
pushDownPredicate	true	用于 启用或禁用 谓词下推 到 JDBC数据源的选项。默认值为 true，在这种情况下，Spark会尽可能地将过滤器下推到JDBC数据源。否则，如果设置为 false，则不会将过滤器下推到JDBC数据源，此时所有过滤器都将由Spark处理。

6.libsvm

https://spark.apache.org/docs/latest/api/java/org/apache/spark/ml/source/libsvm/LibSVMDataSource.html

对数据格式有要求，比如：

1 1:-0.222222 2:0.5 3:-0.762712 4:-0.833333
1 1:-0.555556 2:0.25 3:-0.864407 4:-0.916667
1 1:-0.722222 2:-0.166667 3:-0.864407 4:-0.833333
1 1:-0.722222 2:0.166667 3:-0.694915 4:-0.916667
0 1:0.166667 2:-0.416667 3:0.457627 4:0.5
1 1:-0.833333 3:-0.864407 4:-0.916667
2 1:-1.32455e-07 2:-0.166667 3:0.220339 4:0.0833333
2 1:-1.32455e-07 2:-0.333333 3:0.0169491 4:-4.03573e-08

属性名	默认值	含义
numFeatures		特征数：如果未指定或非正数，则将自动确定特征的数量，这会有额外的性能损耗。
vectorType	sparse	特征向量类型：sparse（稀疏）或者 dense（密集）。

7.image

https://spark.apache.org/docs/latest/ml-datasource#image-data-source

8.json

https://docs.databricks.com/spark/latest/data-sources/read-json.html

属性名称	默认值	含义
primitivesAsString	false	将所有 原始类型 推断为 字符串类型
prefersDecimal	false	将所有 浮点类型 推断为 decimal 类型，如果不适合，则 推断为 double 类型
allowComments	false	忽略JSON记录中的Java / C ++样式注释
allowUnquotedFieldNames	false	允许不带引号的JSON字段名称
allowSingleQuotes	true	除双引号外，还允许使用单引号
allowNumericLeadingZeros	false	允许数字前有零
allowBackslashEscapingAnyCharacter	false	允许反斜杠转义任何字符
allowUnquotedControlChars	false	允许JSON字符串包含不带引号的控制字符（值小于32的ASCII字符，包括制表符和换行符）或不包含。
mode	PERMISSIVE	PERMISSIVE：允许在解析过程中处理损坏记录； DROPMALFORMED：忽略整个损坏的记录；FAILFAST：遇到损坏的记录时抛出异常。
columnNameOfCorruptRecord		columnNameOfCorruptRecord（默认值是spark.sql.columnNameOfCorruptRecord中指定的值）：允许重命名由PERMISSIVE 模式创建的新字段（存储格式错误的字符串）。这会覆盖spark.sql.columnNameOfCorruptRecord。
dateFormat		dateFormat（默认yyyy-MM-dd）：设置表示日期格式的字符串。自定义日期格式遵循java.text.SimpleDateFormat中的格式。
timestampFormat		timestampFormat（默认yyyy-MM-dd’T’HH：mm：ss.SSSXXX）：设置表示时间戳格式的字符串。 自定义日期格式遵循java.text.SimpleDateFormat中的格式。
multiLine	false	解析可能跨越多行的一条记录

9.xml

https://github.com/databricks/spark-xml

9.1读选项

属性名称	默认值	含义
path		读文件路径
rowTag	ROW	处理的 xml文件 的行标记。 例如，在xml … </ books> 中，rowTag 是 book。
samplingRatio	1.0	推断模式的采样率（0.0 ~ 1）。可能的类型是StructType，ArrayType，StringType，LongType，DoubleType，BooleanType，TimestampType 和 NullType
excludeAttribute	false	是否要排除元素中的属性
nullValue	“null”	读入空值的值，默认值为字符串 null
mode	PERMISSIVE	PERMISSIVE：允许在解析过程中处理损坏记录； DROPMALFORMED：忽略整个损坏的记录；FAILFAST：遇到损坏的记录时抛出异常。
inferSchema	true	如果为true，则尝试为每个生成的DataFrame列推断适当的类型，如布尔值，数字或日期类型。 如果为false，则所有结果列都是字符串类型。
columnNameOfCorruptRecord	_corrupt_record	存储格式错误字符串的新字段的名称
attributePrefix	_	属性的前缀，以便我们可以区分属性和元素。这将是字段名称的前缀。
valueTag	_VALUE	当元素中没有子元素的属性时，用于值的标记。
charset	UTF-8	编码
ignoreSurroundingSpaces	false	定义 是否应跳过 正在读取的值 的 周围空格。

9.2写选项

属性名称	默认值	含义
path		写文件路径
rowTag	ROW	处理的 xml文件 的行标记。 例如，在xml … </ books> 中，rowTag 是 book。
rootTag	ROWS	处理的xml文件的根标记。 例如，在xml … </ books> 中，rootTag 是 books。
nullValue	“null”	入空值的值。默认值 为 字符串 null。如果 为 null，则不会 为字段 写入 属性和元素。
attributePrefix	_	属性的前缀，以便我们可以区分属性和元素。这将是字段名称的前缀。
valueTag	_VALUE	当元素中没有子元素的属性时，用于值的标记。
compression		保存到文件时使用的压缩编解码器。应该是实现 org.apache.hadoop.io.compress.CompressionCodec 的某个类的完全限定名，或者是一个不区分大小写的简写（bzip2，gzip，lz4 和 snappy）。未指定编解码器时，默认为无压缩。

10.excel

https://github.com/crealytics/spark-excel