1. 描述 Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具.一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,这样的模式用来做一些测试比较合适,并不适合做产品的开发和应用. 因此,就产生了Hive的JDBC连接的方式.本文介绍报表开发工具FineReport中,hadoop.hive数据库连接方法. 2. 步骤 Hive提供了jdbc驱动,使得我们可以连接Hive并进行…

Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录     Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 配置 HDFS : etc/hadoop/core-site.xml: <con…

在使用命令导数据过程中,出现如下错误 sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --table T_USERINFO 错误1:File does not exist: hdfs://opt/sqoop-1.4.4/lib/commons-io-1.4.jar FileNotFoundEx…

报表开发工具Finereport中,对于Informix数据库,定义数据连接处进行如下配置: 数据库:Others 驱动器:com.informix.jdbc.IfxDriver URL: jdbc:informix-sqli://localhost:port/mydatabase:INFORMIXSERVER=mydatabase 用户名:username 密码:password 说明: 1. 在WebReport工程下的WEB-INF\lib下,已有JDBC驱动包:Informix的jar包…

1. 概述 Domino是文档型数据库而非关系型数据库,连接Domino可以使用JDBC方式或者ODBC方式,使用JDBC方式需要安装Lotus Domino Driver for JDBC并且此方法已经被IBM抛弃了多年,因此下面为大家介绍报表开发工具FineReport中,以ODBC方式连接Domino数据库的方法. 2. 连接步骤 2.1 Notes SQL安装与设置 下载Notes SQL(IBM Lotus Notes SQL Driver)安装包,并安装完成. 在开始菜单中找到Not…

hive使用drop table 表名删除表时报错,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException 刚开始使用mysql-connector-java-5.0.4-bin.jar报错,换成了mysql-connector-java-5.1.43-bin.jar好了,应该是jar包版本问题…

在成功启动Hive之后感慨这次终于没有出现Bug了,满怀信心地打了长长的创建表格的命令,结果现实再一次给了我一棒,报了以下的错误Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException,看了一下错误之后,先是楞了一下,接着我就发出感慨,自从踏上编程这条不归路之后,就没有一天不是在找Bug的路上就是在处理Bug,给自己贴了个标签:找Bug就跟吃饭一样的男人.抒发心中的感慨之后,该干活还是的干活.…

连接池原理 在帆软报表FineReport中,连接池主要由三部分组成:连接池的建立.连接池中连接使用的治理.连接池的关闭.下面就着重讨论这三部分及连接池的配置问题. 1. 连接池原理 连接池技术的核心思想,是连接复用,通过建立一个数据库连接池以及一套连接使用.分配.治理策略,使得该连接池中的连接可以得到高效.安全的复用,避免了数据库连接频繁建立.关闭的开销. 另外,由于对JDBC中的原始连接进行了封装,从而方便了数据库应用对于连接的使用(特别是对于事务处理),提高了开发效率,也正是因为这个封装层…

问题排查方式  一般的错误,查看错误输出,按照关键字google 异常错误(如namenode.datanode莫名其妙挂了):查看hadoop($HADOOP_HOME/logs)或hive日志 hadoop错误 1.datanode无法正常启动 添加datanode后,datanode无法正常启动,进程一会莫名其妙挂掉,查看namenode日志显示如下:  -06-21 18:53:39,182 FATAL org.apache.hadoop.hdfs.StateChange: BLOCK*…

FineReport在使用方法和解决方案常见错误遇到(一) 这里写的开胃菜.我希望我们能理清自己的问题和解决办法干出来的,Mark一点点.有利于所有. 失败搜索出,如果有一个文件,看看你的度娘那里.看论坛里面. 有报错要看日志.以下简单罗列下常见的问题.大多文档上都有提到的. 1.address pool is full: 含义:地址池满.连接数超过并发数上限. 解决的方法: 若在FineReport的连接池属性的设置中.已将最大连接数设置得过大,还出现如上的报错,此时通常就是数据库进程(pro…