参考文档: HDP安装: 官方文档:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.0.3/bk_ambari-installation/content/index.html http://www.cnblogs.com/tgzhu/tag/HDP/ docker入门文档: http://www.cnblogs.com/xing901022/p/5199473.html 导入镜像:http://blog.csdn.net/zistxym/…

一.集群软硬件环境准备: 操作系统:  centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05台PC作为工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 其中ep-bd01作为主节点,用于安装ambari-server. 二.配置操作系统,安装必备软件 1,安装CentOS 7操作系统:环境配置,安装必备软件. 2,安装配置NTP服务,保证集群时间保持同步,以防止由于时间不同而造成掉线故障…

一.前言 目前Hadoop发行版非常多,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售. Hortonworks这个名字源自儿童书中一只叫Horton的大象.雅虎主导Hadoop开发的副总裁,带领二十几个核心成员成立Hortonworks. Hortonworks有两款核心产品:HDP和HDF Hortonworks没有对产品收费,而是将这两款产品完全开放…

* System Environment:centOS6.7 1.Prepare the Environment 1)Set Up Password-less SSH : (Generate public and private SSH keys on the Ambari Server host.) cd ~ ssh-keygen will generate id_rsa  id_rsa.pub  under .ssh folder. Do the below command on Ambar…

Ambari 2.7.3 Repositories OS Format URL RedHat 7 CentOS 7 Oracle Linux 7 Base URL http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0 Repo File http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo Ta…

Hortonworks Data Platform 2.3.4.0-3485 [bug] /usr/hdp/2.3.4.0-3485/zookeeper/bin/zkEnv.sh 26 if [ -z "${ZOOKEEPER_HOME}" ]; then 27 ZOOBINDIR=${ZOOBINDIR:-/usr/bin} 28 ZOOKEEPER_PREFIX=${ZOOBINDIR}/.. 29 else 30 ZOOBINDIR="${ZOOKEEPER_HOME}…

使用的是自己编译的HDP2.3.0的源代码编译的集群,此文介绍如何使用Eclipse远程调试Hadoop内核源代码,以调试namenode为例进行介绍. 在/usr/hdp/2.3.0.0-2557/hadoop-hdfs/bin/hdfs.distro 目录下,添加如下内容,这个内容是让namenode在启动的时候,打开调试模式: 图片中的代码是(不要写错了): HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,ad…

----------------------------------------------------------------------------- 受到挫折,写一些简单的练习,增加成就感 放大核心代码: - (UIView *)viewForZoomingInScrollView:(UIScrollView *)scrollView { return self.testImageView; } - (void)initialize { self.testScrollView.maximu…

HDF文件包括科学数据和VData部分.读取HDF格式的calipso数据,用GDAL可以方便的读取其中的子数据集,但是没有发现GDAL中提供读取Vdata的方法.所以只好考虑借助hdf-4.2.6类库本身.毕竟GDAL也是采用的hdf-4.2.6类库进行了一次封装. 首先从HdfGroup网站下载一个编译好的安装包.解压后目录如下: 新建一个Win32控制台项目. 添加包含和引用的lib,注意安装目录文件夹下的lib文件夹中的.lib文件应该是relese版本的,我这里引用了dll文件夹下的.…

探测地球云层分布的CloudSat和CALIPSO卫星 http://www.nasa.gov/mission_pages/calipso/main/index.html http://www.nasa.gov/topics/earth/features/calipso-1billion.html Cloud-Aerosol Lidar and Infrared Pathfinder Satellite Observation (CALIPSO) The occasion was on CALI…