SparkSQL之数据源

准备json文件：

cat /root/1.json
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

可以尝试传统方法：

val people = sqlContext.read.json("file:///root/1.json");
people.printSchema();
people.registerTempTable("people3");

这是DataFrame的定义方法。

下面可以定义成数据源：

CREATE TABLE persons
USING org.apache.spark.sql.json
OPTIONS (
  path 'file:///root/1.json'
);

这个时候可以 spark-sql：

spark-sql> select * from persons;
NULL    Michael
30  Andy
19  Justin