这是两个功能,都很简单就写一块了.. 简单到什么程度呢,简单到只贴代码就可以了... HBase package com.miras.data; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.C

一.准备工作 1.eclipse连接hadoop的插件,需要版本匹配,这有几个常用的 2 版本的插件 hadoop2x-eclipse-plugin-master 密码:feg1 2.hadoop-common-2.2.0-bin-master,这个跟版本无关,直接用就可以. hadoop-common-2.2.0-bin-master 密码:nr3h 二.环境搭建 1.将 hadoop2x-eclipse-plugin-master 中对应的插件放到 eclipse 目录中的 plugin 下

唉,网上的资料比较少,找了好久,压根不知道如入告诉 phoenix 客户端来使用 kerberos 啊.. 然后就想到了,这东西开源的应该有相关的单元测试吧..啊哈哈哈哈哈哈,果然 https://github.com/apache/phoenix/blob/master/phoenix-core/src/test/java/org/apache/phoenix/jdbc/SecureUserConnectionsTest.java private String joinUserAuthenti

在VMware虚拟机下搭建了hadoop集群,ubuntu-12.04,一台master,三台slave.hadoop-0.20.2版本.在 master机器上利用eclipse-3.3连接hadoop并运行mapreduce实例可以成功.但是当在windows下eclipse-3.3 远程连接hadoop,DFS locations可以连接上,但运行mapreduce实例时报错,如下: 13/07/02 13:37:04 WARN conf.Configuration: DEPRECATED:

原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程hadoop集群(我的master地址为192.168.85.2) 2.本地myeclipse及myeclipse连接hadoop的插件 3.本地hadoop(我用的是hadoop-2.7.2) 先下载插件hadoop-eclipse-plugin,我用的是hadoop-eclipse-plugin-2.

docker 安装 https://hub.docker.com/editions/community/docker-ce-desktop-mac 下载地址 下载完之后,安装app一样安装就好 安装完 配置 Docker 镜像站 mac 国内镜像站 http://f1361db2.m.daocloud.io             hbase 安装 https://www.jianshu.com/p/71db312807c7 参考连接 docker search hbase # 查找hbase

IDEA远程连接Hadoop Win 1.Hadoop配置 下载并配置到本地环境 HADOOP_HOME D:\Tools\hadoop-2.7.7\hadoop-2.7.7 HADOOP_PREFIX D:\Tools\hadoop-2.7.7\hadoop-2.7.7 PATH += %HADOOP_HOME%\bin 2.Maven pom.xml <dependency> <groupId>org.apache.hadoop</groupId> <arti

2017-08-16 11:57:28,237 WARN [org.apache.hadoop.hdfs.LeaseRenewer][458] - <Failed to renew lease for [DFSClient_NONMAPREDUCE_-1756242047_26] for 30 seconds. Will retry shortly ...> org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyE

在我们学习或者工作中开始hadoop程序的时候,往往会遇到一个问题,我们写好的程序需要打成包放在集群中运行,这无形中在浪费我们的时间,因为程序可以需要不断的调试,然后把最终程序放在集群中即可.为了解决这个问题,现在我们配置远程连接hadoop,远程调试的方法. 一段程序如下:获取更多大数据视频资料请加QQ群:947967114       当我们在运行的时候会有如下众多的错误: 1.基础环境配置:首先需要注意自己使用的hadoop的版本:   这说明是2.6.0的所以需要下载一个连接包:hado

转载请注明出处,谢谢 2017-10-22 17:14:09  之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此,总结这个过程,希望能够帮助有需要的朋友. 用Hadoop eclipse plugin,可以浏览管理HDFS,自动创建MR程序的模板文件,最爽的就是可以直接Run on hadoop. 1.安装插件 下载hadoop-eclipse-plugin-1.2.1.jar,并把它放到 F:\eclip

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[HANA系列]SAP HANA 2.0 SPS00 SDA(Smart Data Access)连接Hadoop   前言部分 大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分 这一篇介绍一下SDA,用于大数据Hadoop等平台的 还可以用另一种方式,请参考我的另一篇文章 点击进入:SAP Vora(SAP HANA和Hado

redis-server &  //后台启动redis redis-cli //使用redis   打开redis.conf文件在NETWORK部分有说明   /usr/local/src   ################################## NETWORK #####################################   # By default, if no "bind" configuration directive is specifi

今天我一学妹问我,Java连接SQLServer2008数据库的问题,一直无法连接成功.想起自己刚开始学习的时候,在网上找各种文章,然后实际上机验证操作,花了一两天时间才搞定,一把辛酸泪呀!记得当时是找了一篇很好的博客,按照那篇博客的步骤配置,最后顺利解决问题.然而,今天下午重新来解决这个问题,距离我开始学习的时候差不多有一年了,对具体配置步骤也记得不是很清楚.好吧,又得重新在网上找配置文章,这次又花了我三个多小时时间,其中的痛苦无法言喻啊,只能说SQLServer这个软件,安装麻烦,占用内存大

Java 连接 MySQL 需要驱动包,最新版下载地址为:http://dev.mysql.com/downloads/connector/j/,解压后得到jar库文件,然后在对应的项目中导入该库文件. 下载步骤: 链接:http://pan.baidu.com/s/1o8PhY2Y 密码:a1g1 连接代码示例: package com.josft.test; import java.sql.*; public class MySQLDemo { // JDBC 驱动名及数据库 URL sta

java连接mysql数据库详细步骤解析      第一步:下载一个JDBC驱动包,例如我用的是:mysql-connector-java-5.1.17-bin.jar      第二步:导入下载的JDBC驱动包,我用的是myeclipse,选中自己要导包的项目,右击选中propertise,再选JavaBuild Path, 右边会出现libreries,点进去,再点Add External JARs  然后再找到你要导入的驱动包.完了之后再点Order andExport,下面再选中你导入的

Java连接SqlServer2008数据库 首先下载JDBC:下载地址:http://www.microsoft.com/zh-cn/download/details.aspx?id=21599 下载 完成后,是个exe文件,点击运行,会提示你选择解压目录. 解压完成后,进入 <你解压到得目录>\sqljdbc_3.0\chs,里边有两个我们需要的东东 一个是:sqljdbc.jar,另外一个是sqljdbc4.jar 这里使用sqljdbc4.jar 首先配置sa身份验证: 由于安装sql

池(Pool)技术在一定程度上可以明显优化服务器应用程序的性能,提高程序执行效率和降低系统资源开销.这里所说的池是一种广义上的池,比如数据库连接池.线程池.内存池.对象池等.其中,对象池可以看成保存对象的容器,在进程初始化时创建一定数量的对象.需要时直接从池中取出一个空闲对象,用完后并不直接释放掉对象,而是再放到对象池中以方便下一次对象请求可以直接复用.其他几种池的设计思想也是如此,池技术的优势是,可以消除对象创建所带来的延迟,从而提高系统的性能. 要了解Java连接池我们先要了解数据库连接池(

java 连接 MySQL 1.准备工作 需要下载的工具: MySQL:http://www.mysql.com/downloads/ MySQL的可视化工具SQLyog:https://www.webyog.com/ java与MySQL进行连接的驱动:http://www.mysql.com/products/connector/ eclipse:http://www.eclipse.org/downloads/ MySQL默认安装,填写的密码要记住. SQLyog安装后,新建一个MySQL

接触Java或者JSP,难免会使用到数据库SQL Server 2000/2005(我使用2005标准版[9.0.3054]测试),经过自己的搜索和研究,使用JDBC连接SQL Server成功,特此整理方法(使用Eclipse 3.2)如下. 准备工作 首先,操作系统中安装好SQL Server 2000/2005,如果系统中都装有2000和2005版,记得停用一个,只开一个行了. 然后,到微软网站下载Microsoft SQL Server 2005 JDBC Driver 1.1,也可以使

1.驱动 通过java连接MongoDB需要一个java版的驱动 下载地址:http://mongodb.github.io/mongo-java-driver/ 2.连接MongoDB 通过 com.mongodb.MongoClient类来连接一个Mongod实例,通过 com.mongodb.client.MongoDatabase接口来操作具体的数据库 连接本地数据库(主机:localhost,端口:27017) MongoClient mongoClient = new MongoCl

在使用java编写hadoop处理程序时遇到了,java使用依赖的第三方libxx.so库的情况,找到了一种可行的方法,记录一下,希望对别人也有帮助: 加入需要使用的lib库为libxxx.so 1.先将该库放到hdfs中. /user/xx/libxxx.so 2.在java代码中添加如下代码 DistributedCache.addCacheFile(new URI("hdfs://hdfsip:port/user/xx/libxxx.so#libxxx.so")); Distri