1.Java版本1.8 [root@sht-sgmhadoopdn-04 app]# java -versionjava version "1.8.0_66"Java(TM) SE Runtime Environment (build 1.8.0_66-b17)Java HotSpot(TM) 64-Bit Server VM (build 25.66-b17, mixed mode)[root@sht-sgmhadoopdn-04 app]# 2.maven-3.3.9安装[root…

软件版本号: Oozie4.2.0.Hadoop2.6.0,Spark1.4.1.Hive0.14.Pig0.15.0.Maven3.2.JDK1.7,zookeeper3.4.6.HBase1.1.2,MySQL5.6 集群部署: node1~4.centos.com     node1~4      192.168.0.31~34          1G*4 内存    1核*4 虚拟机 node1:NameNode .ResourceManager: node2:SecondaryName…

  本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题),并构建Hadoop-2.2.0集群,生成在Eclipse环境上的Hadoop-2.2.0插件,并通过了测试运行. 1 . 安装maven .libssl-dev .cmake 和JDK 安装本机库http://wiki.apache.org/hadoop/HowToContribute sudo…

安装步骤 mysql的配置 oozie的安装 oozie的配置 oozie的启动与登录 常用oozie的命令 1. mysql的配置 mysql的安装自行解决,然后在mysql上 创建oozie数据库,创建oozie用户名和密码,并赋值oozie账号登陆oozie数据库的权限. mysql -u root -proot create database oozie; //(设置oozie数据库的访问权限) grant all privileges on oozie.* to 'oozie'@'%'…

由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时会出错,比如: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 所以需要重新编译 1.编译环境yum install cmake lzo-devel zlib-devel gc…

linux下编译gcc6.2.0 在archlinx的下gcc已经更新到6.2.1了,win10的WSL下还是gcc4.8.官方源没有比较新的版本,于是自己编译使用. GCC6的几个新特性 GCC 6 现在的默认值是 C++ 14. GCC 6 现在包括 C++ Concepts. C++运行时库现在支持特殊的数学函数 (ISO/IEC 29124:2010) 支持 C++17 的实验功能 准备 可以去gnu官网下载gcc6.2.0的源码,但国内访问速度比较慢.可以进中科大的镜像站去下载. 下载…

此文仅备忘: 1.安装VS2013_Cn_Ult 2.安装qt-opensource-windows-x86-msvc2013_64-5.7.1 设置环境变量QTDIR,并将其bin加入到path中. 3.安装qt-vs-addin-1.2.5.exe 4.安装cmake-2.4.6-win32-x86.exe 5.拷贝osg_3rdParty_v9_vc2013 配置OSG_3RDPARTY_DIR变量,并将其bin加入到path中. 6.编译osg3.4.0 CMake勾选build_ope…

一.编译工具 1.VS2015 编译Qt5.7.0的所需VS版本:Visual Studio 2013 (Update1)或Visual Studio 2015 (Update2).因为Update补丁向下兼容,我用的是Visual Studio 2015 (Update3). 2.Python 我用的是python-2.7.9,去官网下个最新版的也行. 安装后将C:\Python27(我的)添加到path环境变量 3.Perl 我用的ActivePerl-5.16.2.1602,去官网下载个最…

在使用vs2013编译boost-1.55.0之前,先要给boost做下修改: boost_1_55_0\boost\intrusive\detail\has_member_function_callable_with.hpp line:222 template<class U> static BOOST_PP_CAT(zeroarg_checker_, BOOST_INTRUSIVE_HAS_MEMBER_FUNCTION_CALLABLE_WITH_FUNCNAME) <U>…

具体情况比较曲折:hadoop2.6.0编译不过 错误如下: 这个kms模块始终编译不过,最后得出结论国内的aliyun maven仓库有问题, 在编译hadoop2.2.0 可以通过,因为这个版本的hadoop没有kms这个模块, 要想编译2.6.0的hadoop  必须使用国外的maven地址. 2.2.0基本步骤和网上大概相同 可编译成功,同时安装snappy 成功: 同时记录下这篇文章: http://blog.sina.com.cn/s/blog_6baac06c0101gvxr.ht…