Spark 问题总结

1 创建hive外部表

其实这个问题应该是hive的问题。就是外部表在创建的时候需要指定目录。举例说明

我们要创建一个外部表，其来源是test_tab这个文件，那么在LOCATION处是不是这样写呢？

/user/hadoop-fd/shenchengguang/test_tab

不是的。test_tab是文件，不是目录，会报错。所以需要先创建一个test目录，然后把文件放入.

例如

"""
    create external table if not exists test.fd_people
        (
          name string comment '姓名',
          age int comment '年龄'
        )
        ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
        LOCATION '/user/hadoop-user/name/test'
  """

这里还说明几个问题，那就是三个名字(1) 表名（2）目录名（3）文件名，实践表名三者并不需要相等，三者都不相等也能执行成功