前两天,由于系统的架构设计的原因,想通过Java直接访问Hive数据库,对于我这个Java以及Hadoop平台的菜鸟来说,的确是困难重重,不过,还好是搞定了.感觉也不是很麻烦.这篇文章,作为一个感想记录下来.( 作者:yangyang8848) 一.Hive的访问方式 一般情况下,Hive是不能直接Java连接并访问的,后来出现来一个SparkSQL的东东,变得可以通过JDBC的方式访问连接.首先,我先介绍一些从Linux下访问的方法: 1.远程登录到Linux平台: 2.进入到hive数据库中

Java连接Hive的方式就是通过JDBC的方式来连接,URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等,这种方式是直接连接HiveServer2服务的,但是在现实中,还有一种以Zookeeper的方式去连接,例如: jdbc:hive2://zk01:2181,zk02:2181,zk03:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2 那么,这种

最近尝试这用用eclipse连接CDH的集群,由于之前尝试过很多次都没连上,有一次发现Cloudera Manager是将连接的端口修改了,所以才导致连接不上CDH的集群,之前Apache hadoop采用的端口是9000和9001,而Cloudera Manager采用的端口是8020端口,于是通过eclipse中的MapReduce选项卡,edit一个选项连接,发现连上了.这给我带来了一些意外. 在这里有一个问题需要说明一下,这个eclipse的插件我还是用的Apache hadoop的ha

这里所说的在Java中运行Hive命令或HiveQL并非指Hive Client通过JDBC的方式连接HiveServer(or HiveServer2)运行查询,而是简单的在部署了HiveServer的server上运行Hive命令.当然这是一个简单的事情.寻常我们通过Hive做简单的数据分析实验的时候,都是直接进入Hive运行HiveQL,那我们为什么还要在程序中运行呢? 这里涉及到了一个问题.通过进入Hive运行HiveQL.我们仅仅能将分析结果打印到屏幕或是存入暂时表,那假设我们想吧分析

redis-server &  //后台启动redis redis-cli //使用redis   打开redis.conf文件在NETWORK部分有说明   /usr/local/src   ################################## NETWORK #####################################   # By default, if no "bind" configuration directive is specifi

今天我一学妹问我,Java连接SQLServer2008数据库的问题,一直无法连接成功.想起自己刚开始学习的时候,在网上找各种文章,然后实际上机验证操作,花了一两天时间才搞定,一把辛酸泪呀!记得当时是找了一篇很好的博客,按照那篇博客的步骤配置,最后顺利解决问题.然而,今天下午重新来解决这个问题,距离我开始学习的时候差不多有一年了,对具体配置步骤也记得不是很清楚.好吧,又得重新在网上找配置文章,这次又花了我三个多小时时间,其中的痛苦无法言喻啊,只能说SQLServer这个软件,安装麻烦,占用内存大

Java 连接 MySQL 需要驱动包,最新版下载地址为:http://dev.mysql.com/downloads/connector/j/,解压后得到jar库文件,然后在对应的项目中导入该库文件. 下载步骤: 链接:http://pan.baidu.com/s/1o8PhY2Y 密码:a1g1 连接代码示例: package com.josft.test; import java.sql.*; public class MySQLDemo { // JDBC 驱动名及数据库 URL sta

java连接mysql数据库详细步骤解析      第一步:下载一个JDBC驱动包,例如我用的是:mysql-connector-java-5.1.17-bin.jar      第二步:导入下载的JDBC驱动包,我用的是myeclipse,选中自己要导包的项目,右击选中propertise,再选JavaBuild Path, 右边会出现libreries,点进去,再点Add External JARs  然后再找到你要导入的驱动包.完了之后再点Order andExport,下面再选中你导入的

Java连接SqlServer2008数据库 首先下载JDBC:下载地址:http://www.microsoft.com/zh-cn/download/details.aspx?id=21599 下载 完成后,是个exe文件,点击运行,会提示你选择解压目录. 解压完成后,进入 <你解压到得目录>\sqljdbc_3.0\chs,里边有两个我们需要的东东 一个是:sqljdbc.jar,另外一个是sqljdbc4.jar 这里使用sqljdbc4.jar 首先配置sa身份验证: 由于安装sql

池(Pool)技术在一定程度上可以明显优化服务器应用程序的性能,提高程序执行效率和降低系统资源开销.这里所说的池是一种广义上的池,比如数据库连接池.线程池.内存池.对象池等.其中,对象池可以看成保存对象的容器,在进程初始化时创建一定数量的对象.需要时直接从池中取出一个空闲对象,用完后并不直接释放掉对象,而是再放到对象池中以方便下一次对象请求可以直接复用.其他几种池的设计思想也是如此,池技术的优势是,可以消除对象创建所带来的延迟,从而提高系统的性能. 要了解Java连接池我们先要了解数据库连接池(

java 连接 MySQL 1.准备工作 需要下载的工具: MySQL:http://www.mysql.com/downloads/ MySQL的可视化工具SQLyog:https://www.webyog.com/ java与MySQL进行连接的驱动:http://www.mysql.com/products/connector/ eclipse:http://www.eclipse.org/downloads/ MySQL默认安装,填写的密码要记住. SQLyog安装后,新建一个MySQL

接触Java或者JSP,难免会使用到数据库SQL Server 2000/2005(我使用2005标准版[9.0.3054]测试),经过自己的搜索和研究,使用JDBC连接SQL Server成功,特此整理方法(使用Eclipse 3.2)如下. 准备工作 首先,操作系统中安装好SQL Server 2000/2005,如果系统中都装有2000和2005版,记得停用一个,只开一个行了. 然后,到微软网站下载Microsoft SQL Server 2005 JDBC Driver 1.1,也可以使

1.驱动 通过java连接MongoDB需要一个java版的驱动 下载地址:http://mongodb.github.io/mongo-java-driver/ 2.连接MongoDB 通过 com.mongodb.MongoClient类来连接一个Mongod实例,通过 com.mongodb.client.MongoDatabase接口来操作具体的数据库 连接本地数据库(主机:localhost,端口:27017) MongoClient mongoClient = new MongoCl

1.java程序操作Oracle java连接Oracle JDBC_ODBC桥连接 1.加载驱动: Class.forName("sun.jdbc.odbc.JdbcodbcDriver"); 2.得到连接:(和SQL Server一样) 首先,引用数据包: import java.sql.*; 连接: Connection ct=DriverManager.getConnection("jdbc:odbc:testds","用户名",&quo

1.Java连接MySQL数据库 Java连接MySql需要下载JDBC驱动MySQL-connector-java-5.0.5.zip(举例,现有新版本).然后将其解压缩到任一目录.我是解压到D盘,然后将其目录下的MySQL-connector-java-5.0.5-bin.jar加到classpath里,具体如下: “我的电脑”-> “属性” -> “高级” -> “环境变量”,在系统变量那里编辑classpath,将D:\MySQL-connector-java-5.0.5\MyS

Java连接redis的使用演示样例 Redis是开源的key-value存储工具,redis通经常使用来存储结构化的数据,由于redis的key能够包括String.hash.listset和sorted list. Redisserver眼下最稳定的版本号是2.8.9,能够到官网http://redis.io/download下载.依据机器的类型及位数下载相应的版本号安装就可以,reids支持linux和windows操作系统. Redisclient支持多种语言,包含:c.C++.C#.p

环境 开发包:appserv-win32-2.5.10 服务器:Apache2.2 数据库:phpMyAdmin 语言:php5,java 平台:windows 10 java驱动:mysql-connector-java-5.1.37 需求 编写一个PHP脚本语言,连接到phpMyAdmin数据库的test库 编写一个java web服务端,连接到phpMyAdmin数据库的test库 代码 php连接方式 mysql.php <?php /**************************

package connectionOracleDatabase; import java.sql.Connection; import java.sql.DatabaseMetaData; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; public class ConnectionOracleDa

转载网址:http://www.bitscn.com/pdb/mysql/201005/186551.html       以下的文章主要介绍的是Java连接MySQL 数据库(以MySQL数据库为例),我们主要是以MySQL数据库为例讲下Java正确连接MySQL数据库的实际操作流程,以下就是对其详细内容的描述. 当然,首先要安装有JDK(一般是JDK1.5.X).然后安装MySQL,这些都比较简单,具体过程就不说了.配置好这两个环境后,下载JDBC驱动MySQL-connector-java

web项目中有时候客户要求我们使用ad域进行身份确认,不再另外做一套用户管理系统.事实上客户就是仅仅要一套账号能够訪问全部的OA.CRM等办公系统. 这就是第三方验证.一般有AD域,Ldap,Radius,邮件server等.最经常使用的要数AD域了.由于window系统在国内占领了大量的江山. 做起来也非常方便. 我这篇文章就是写.怎样用java去实现AD域的身份验证. 好了,直接看代码吧: package com.test; import java.util.Hashtable; impor

Java连接SQL Server 2000数据库时,有两种方法: (1)通过Microsoft的JDBC驱动连接.此JDBC驱动共有三个文件,分别 是mssqlserver.jar.msutil.jar和msbase.jar.但是Microsoft官网上已经找不到这些驱动,其提供的 sqljdbc.jar和sqljdbc4.jar并不支持SQL Server 2000. 驱动程序名称:com.microsoft.jdbc.sqlserver.SQLServerDriver(即下面的classfo