前面已经学习了如何将数据从关系型数据库导入到Hive/HDFS,并且在Windows客户端查询导入的数据,接下来继续学习CDH,知识点: 1.Hue环境中DB Query如何使用,DB Query这个功能是在Hue这个Web界面可以直接查询其他关系型数据库的数据,Hue在默认装完后是无法直接使用DB Query的,需要配置,详细可参照http://www.cnblogs.com/qingyunzong/p/9487952.html 2.Impapa,又一个新名词,百度了一下其实这个还比较易学,只…

上一章讲过,Hue集成环境是可以直接操作Hbase,但是公司的环境一直报错,虽然也可以透过写代码访问Hbase,但是看到Hue环境中无法访问,还是觉得不爽,因此决定再花些力气找找原因. 找原因要先查Log,百度里查Hue Log,发现以管理员身份登入Hue,点击About是可以看到Log的,同时还有更惊奇的发现,About的第一步就是自检(Check Configuration),如下图,会将配置错误的部分列出来 看到这里就明白了为什么在Hue 里Hbase Browser一直在转圈圈跑不出来,…

linux版本为CentOs6.5,php集成环境为lanmp_v3.1,集成环境中默认的pdo扩展为:mysql, sqlite, sqlite2,现在有需求想链接微软的Access数据库,所以需要pdo_odbc模块的支持.查询了很多资料,如下: 编译模块不求人,编译助手诞生支持curl,memcache,bcmath,pdo_mysql等,主要是参照这个,但是这个可能是旧的lanmp版本的并不全适用,但可以参照其原理,其shell脚本如下: #!/bin/bash # ext instal…

安装完CDH后,发现里面的东东实在是太多了,对于一个初学大数据的来说就犹如刘姥姥进了大观园,很新奇,这些东东每个单拿出来都够喝一壶的. 接来来就是一步一步地学习了,先大致学习了每个模组大致做什么用的,然后再按模组一个一个细致学习,并实际演练. 我给自已的第一个课题是如何将Sql Server的一个表数据导入到HDFS中,网上有很多这样的教程,不过我觉得最有用的还是官网的User Guide,网上的教程直接把命令列出来,后面的参数基本没有用,因此可以考虑官网User Gruide进行详细了解. 步…

在已经安装了XAMPP之后,会在你安装的目录下面出现”XAMPP“文件夹,这个文件夹就是整个XAMPP集成环境的目录. 我们先进入这个目录,然后会看到带有XAMPP标志的xampp-control.exe执行文件. 双击打开xampp-control.exe,会出现以下界面,点击开启Apache和MySQL,这样我们就开启服务了,之后我们可以通过图形界面或者DOS界面使用MySQL数据库,首先介绍DOS界面使用. 使用XAMPP下的DOS界面,用命令操作MySQL,我们可以在开启服务后,从图中红…

在Hue环境中本身是可以直接操作Hbase数据库的,但是公司的环境不知道什么原因一直提示"Api Error:timed out",进度条一直在跑,却显示不出表. 但是在CDH后台管理里,Hbase相关服务都是显示正常运行的,因此就绕过Hue查看Hbase,直接使用Python写代码连Hbase数据库 主要参考的链接 1.python 操作 hbase 2.用Python操作HBase之HBase-Thrift 3.Python基础教程 本地环境是Windows 7 + Anacond…

由于公司新项目比较忙,有好长一段时间没碰Android开发咯! 近期闲来在网上下了个开源的应用想拿来自己学习下其中的源码及整体设计,当我把下下来的项目导入Eclipse中时,报如下警告: 原因是我本地的环境中Android SDK版本太低.可当我点更新时,等了半天发现更新也不行咯 一开始以为是环境出问题,后来在网上查了下是原来是因为我们可爱的国度把dl-ssl.google.com给禁咯,解决方法就是把C:\Windows\System32\drivers\etc\hosts文件修改下,添加一行…

官网: http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一.Hue环境搭建 1. 下载 http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6.tar.gz 2. 解压 -cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 安装依赖包 sudo yum -y install ant asciidoc cyrus-sasl-devel cyr…

前面已经学习了将数据从Sql Server导入到Hive DB,并在Hue的Web界面可以查询,接下来是配置客户端工具直接连Hive数据库,常用的有DbVisualizer.SQuirreL SQL Client.DataGrip,只试用了前面两种,花了1天多时间最终实现了用这两款工具连Hive,还是挺有成就感的. 先把环境说明下,有些问题跟环境版本是非常依赖的. Hadoop/Hive:使用的是CDH 5.15版 DbVisualizer:v 9.58 SQuirreL SQL Client:…

1. 安装依赖包和软件 在所有服务器上输入命令进行安装操作 yum install epel-release -y yum install ganglia-web ganglia-gmetad ganglia-gmond –y 2. 在master服务器上配置监控端 vi /etc/ganglia/gmetad.conf 修改下面内容 data_source master: master-backup: node1: node2: node3: case_sensitive_hostnames…