Kylin构建Cube的时候老是报错，说是有空值，其实源数据中是不存在空值的。为什么建Cube的时候会有呢？

执行完毕后使用Hive查询发现多了好几行全部是null的行。

这在源数据中是不存在的。分析可能的原因是文本类型中存在特殊字符，例如 Tab，回车，换行字符。所以在抽取源数据中增加过滤。

Sql中的特殊字符

char(9) 水平制表符
char(10)换行键
char(13)回车键

原来的SQL
 select FItemID,FParentID

,FNumber

,FName

from  表名

换成

 select FItemID,FParentID

,replace(replace(replace(FNumber,char(9),''),char(10),''),char(13),'') FNumber

,replace(replace(replace(FName,char(9),''),char(10),''),char(13),'') FName

from  表名

修改完毕后重新抽取数据，建模OK。

												


											
Kettle导入数据到Hive 出现多余的几行全部是null值的情况的更多相关文章
	

    
								
  1. 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟
		
    使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 Sqoop 大数据 Hive HBase ETL 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 基础环境  ...
    
		
    2. 
						
  2. 使用sqoop从mysql导入数据到hive
		
      目录 前言 一.使用的导入命令 二.遇到的问题及解决 1. 用文本字段进行分区的问题 2. Hadoop历史服务器Hadoop JobHistory没开启的问题 3. 连接元数据存储数据库报错 4 ...
    
		
    3. 
						
  3. 教程 | 使用Sqoop从MySQL导入数据到Hive和HBase
		
    基础环境 sqoop:sqoop-1.4.5+cdh5.3.6+78, hive:hive-0.13.1+cdh5.3.6+397, hbase:hbase-0.98.6+cdh5.3.6+115 S ...
    
		
    4. 
						
  4. sqoop导入数据到hive
		
    1.1hive-import参数 使用--hive-import就可以将数据导入到hive中,但是下面这个命令执行后会报错,报错信息如下: sqoop import --connect jdbc:my ...
    
		
    5. 
						
  5. sqoop导入数据到hive中元数据问题
		
    简单配置了sqoop之后开始使用,之前用的时候很好用,也不记得有没有启动hivemetastore,今天用的时候没有启动,结果导入数据时,如果使用了db.tablename,就会出现找不到数据库的错, ...
    
		
    6. 
						
  6. 使用sqoop1.4.4从oracle导入数据到hive中错误记录及解决方案
		
    在使用命令导数据过程中,出现如下错误 sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb  ...
    
		
    7. 
						
  7. 使用sqoop往hdfs中导入数据供hive使用
		
    sqoop import -fs hdfs://x.x.x.x:8020 -jt local --connect "jdbc:oracle:thin:@x.x.x.x:1521:testdb ...
    
		
    8. 
						
  8. sqoop导入数据到hive表中的相关操作
		
    1.使用sqoop创建表并且指定对应的hive表中的字段的数据类型,同时指定该表的分区字段名称 sqoop create-hive-table --connect "jdbc:oracle: ...
    
		
    9. 
						
  9. 第3节 sqoop：4、sqoop的数据导入之导入数据到hdfs和导入数据到hive表
		
    注意: (1)\001 是hive当中默认使用的分隔符,这个玩意儿是一个asc 码值,键盘上面打不出来 (2)linux中一行写不下,可以末尾加上 一些空格和 “ \ ”,换行继续写余下的命令: bi ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. spring4-3-AOP-AspectJ注解-01-简单使用
			
    1.引入类库 <dependency> <groupId>org.springframework</groupId> <artifactId>sprin ...
    
			
    2. 
						
  2. 魔法变量*args 和 **kwargs
			
    其实并不是必须写成*args 和**kwargs. 只有变量前面的 *(星号)才是必须的. 你也可以写成*var 和**vars. 而写成*args 和**kwargs只是一个通俗的命名约定. *ar ...
    
			
    3. 
						
  3. scala开发环境
			
    1. Intellij IDEA Scala开发环境搭建 Intellij IDEA 15.0.3 默认配置里面没有Scala插件,需要手动安装,在Intellij IDEA 15.0.3 第一次运行 ...
    
			
    4. 
						
  4. [GO]结构体的值传递和地址传递
			
    package main import "fmt" type student struct { id int name string sex byte age int addr s ...
    
			
    5. 
						
  5. oracle11g客户端配置及使用（Instant Client）
			
      http://www.oracle.com/technetwork/topics/winx64soft-089540.html http://www.cnblogs.com/ychellboy/a ...
    
			
    6. 
						
  6. critical section的用法
			
    critical section Critical Section: 不论是硬件临界资源,还是软件临界资源,多个进程必须互斥地对它进行访问.每个进程中访问临界资源的那段代码称为临界区(Critical ...
    
			
    7. 
						
  7. Mac下默认JDK路径
			
    2.JDK8以及JDK7安装的默认路径为:/Library/Java/JavaVirtualMachines/jdk1.8.0.jdk
    
			
    8. 
						
  8. 构造复杂Lambda困惑之学会用LinqPad和Linqer实现Sql 和 Lambda之间的互转
			
    一:linq的话我们可能会遇到两个问题: 1. 我们的linq出现性能低下的时候,如果优化???? 我们写的linq所生成的sql是无法控制的... (要做性能优化,必须预先知道sql会生成啥样的?? ...
    
			
    9. 
						
  9. Backup--清理MSDB中的备份记录
			
    每次数据库备份或日志备份,都会向msdb中多多张表插入数据,如果备份比较频繁的话,需要定期清理. 使用sp_delete_backuphistory来清理以下表中数据: backupfile back ...
    
			
    10. 
						
  10. C#和JAVA 访问修饰符
			
    JAVA ----------------------------------------------- 访问修饰符        描述 ------------------------------- ...
    
			
    11.