1.首先是安装Vmware Workstation,下载地址:https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html 2.安装Linux,我在Vmware Workstation中装的是两个centos 7系统,分别步骤可参考:http://www.cnblogs.com/saryli/p/9758604.html 3.安装好Linux后开始卸载系统自带的java,安装jdk,参考…

用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构. 整体环境: 主机Win7 i5 4核 8G内存 笔记本: 虚拟机(客户机)采用Centos5.9 ( 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE) 3台互联的虚拟机搭建Hadoop集群: 1. 选用virtualbox V4.2.18 + Cento…

用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home/software下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop版本:2.7.1 1.安装jdk 准备好免安装压缩包放在/home/software下 cd /home/software tar -xvf jdk-8u181-linux-x64.tar.gz 配置环境变量 vim /etc/profile 末尾添加 export JAVA_HOME=/home/…

安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x64.tar.gz 1. 环境准备 使用VirtualBox和下载的ubuntu镜像文件新建三个Ubuntu操作环境,具体配置如下: 用户 内存(G) 磁盘空间(G) hadoop01 1.5 10 hadoop02 1.5 10 hadoop03 1.5 10 2. 网络环境准备        点…

这里简单用三台虚拟机,搭建了一个两个数据节点的hadoop机群,仅供新人学习.零零碎碎,花了大概一天时间,总算完成了. 环境 Linux版本:CentOS 6.5 VMware虚拟机 jdk1.6.0_45 主要分为一下几步完成 一.安装CentOS 6.5 当然了,如果没有虚拟机,需要先安装VMware,然后新建虚拟机,选择系统镜像即可,复制几台,比如我的机器4G内存,最多复制两台,一共三台. 建议这时候把所有机器进入管理员root权限: [root@blue bin]#su 输入密码即可 二…

最近学了一下大数据,包括hadoop环境的搭建,搭建工具:centos6.5,hadoop2.6.4,eclipse Mars.1 Release (4.5.1),jdk1.8 第一步.网络与ip地址的设置,安装virtualbox此处省略,接下来就是安装centos6.5,具体参照这篇博客http://www.2cto.com/os/201407/318477.html,安装好之后会重启,点击输入密码进入root用户,我将root用户的密码设置为123456,比较简单,接下来要在Virtual…

一. mini安装一台centos到虚拟机上 安装过程参考这篇博客http://www.linuxdown.net/install/setup/2015/0906/4053.html 二. 修改网络配置文件 看百度网址是否能ping通,如果可以,使用命令ifconfig查询当前的ip地址 /etc/sysconfig/network-scripts/ifcfg-eth0 进入这个配置文件进行修改,修改后重启网卡 ``` DEVICE=eth0     HWADDR=00:0C:29:CC:88:…

1 在虚拟机安装 Ubuntu 2 安装网络工具 Ubuntu最小化安装没有 ifconfig命令 sudo apt-get install net-tools 3 Ubuntu修改网卡名字 修改网卡名字为eth0 sudo vim /etc/network/interfaces reboot 4 修改主机名 sudo vim /etc/hosts 最后还要分别修改  /etc/hostname reboot 5 修改IP地址 在虚拟机的虚拟机编辑选项->虚拟网络网络编辑器->nat模式-&g…

搭建环境: 虚拟机 VMware12Pro      操作系统  centos6.8        hadoop 1.2.1 1.导入镜像文件,添加java环境 1.查看当前系统中安装的java,ls /usr/share |grep java 2.删除自带java,rm -rf java* 3.解压jdk,tar -zxvf jdk. 2.克隆 3.修改hosts文件 4.配置ssh免密登录 1.yum install openssh-server 2.启动ssh服务 /etc/init.d/…

装好虚拟机+Linux.而且主机网络和虚拟机网络互通. 以及Linux上装好JDK 1:在Linux下输入命令vi /etc/profile 加入HADOOP_HOME export JAVA_HOME=/home/hadoop/export/jdk export HADOOP_HOME=/home/hadoop/export/hadoop export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 2:改动hadoop/conf文件夹以下hadoop…