一.修改hosts文件 在主节点,就是第一台主机的命令行下; vim /etc/hosts 我的是三台云主机: 在原文件的基础上加上; ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2 其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点. 二.ssh互信(免密码登录) 注意我这里配置的是root用户,所以以下的家目录是/root 如果你配置的是用户是xxxx,那么…

本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoop用户 使用root账户创建hadoop用户,为了在实验环境下便于操作,赋予hadoop用户sudo权限.具体操作代码如下: useradd hadoop # 添加hadoop用户 passwd hadoop # 设置密码 visudo hadoop ALL=(root)NOPASSWD:ALL 二…

原文传送门(http://blog.csdn.net/bingtianxuelong/article/details/17843111) 版本说明:     V1:         2014-2-13更新,红色字体代表最近一次更新的内容.     V2:             2014-3-30  更新,上一版本有很多读者反应说最后还是无法通过微信 token 认证,此版本特意解决这个问题.红色字体代表最近一次更新的内容.   至读者:     对于版本 v1 不能成功的问题,我对此深表歉意,…

前言 搭建Redmine环境可以选择使用分别安装Ruby+Rails+Redmine+MySQL的方式, 但是过程中需要解决各种扰人的依赖问题.Docker为我们提供的Plan B,方便,快捷. 安装环境 当然可以选择Ruby+Rails+Redmine+MySQL的安装方式,请参考: http://www.jyguagua.com/?p=2026 阿里云ECS安装 因为是实际生产需要,所以,直接购买阿里云的ECS. 安装和使用方法参考: https://bbs.aliyun.com/read/…

一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版本差不多都ok的,但注意这里spark要和hadoop版本相对应.所需安装包和压缩包自行下载即可. 因为这里是配置spark的教程,首先必须要配置Hadoop,配置Hadoop的教程在Hadoop2.0伪分布式平台环境搭建.配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(…

目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3230M CPU @ 2.6GHz 2.60GHz 安装内存(RAM): 12.0GB 系统类型:64位操作系统 初始化四台Ubuntu-14.04_x64虚拟机,配置如下: 内存:2GB 处理器:1 硬盘:40G 网络适配器:NAT 系统:Linux ubuntu 4.4.0-142-generi…

一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar.gz 二,开始安装: 1,安装hadoop,以及jdk环境! 若没有安装hadoop,可参考文章:hadoop伪分布式环境搭建 2,将下载的hive压缩包解压到指定的目录.这里我的安装目录是 /opt/hive,压缩包的目录在-/下载/文件夹下 suod tar -zxvf -/下载/apache-…

搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA. Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sqoop-1.4.6-cdh5.5.2 JDK1.7.0_79 集群信息: 一个主节点,2个从节点. 192.168.75.128 master 192.168.75.129 slave01 192.168.75.130 slave02 搭建步骤: 搭建步骤不详细化,主要把相关的hadoop的配置和关…

用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装解压命令: 解压完毕: 查看解压的文件夹: 4.配置 环境变量: 写入如下5行代码: 使配置生效: 5.查看安装的jdk: java -version java javac 二.SSH免密码登陆: 1.安装SSH: 2.是否生成 .ssh 目录: 3.如果没有生成,自己手动创建一个 .ssh 目录:…

一. 安装Node.js基本环境 官网下载地址:https://nodejs.org/ 安装成功之后可以使用简单命令查看其版本 node -v npm相关命令 node cli.js install npm -gf //安装最新的NPM node cli.js install npm@ -gf //可以安装指定版本的NPM 安装Ant:http://ant.apache.org/ 安装Git: http://git-scm.com/ 下载Android SDK 以及开发工具,目前有Android…