软件环境: scala-2.11.4.tgz spark-1.6.2-bin-hadoop2.6.tgz 操作步骤: 一.  安装scala 1. 解压scala (tar –zxvf  filename) 2. 配置scala环境变量(.bashrc中添加SCALA_HOME, 在path中添加:$SCALA_HOME$/bin) 3. souce .bashrc 4. 检查一下是否配置正确,可以输入scala命令. 5. 将配置信息同步到集群slave节点 二. 安装spark 前提:需要安…

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba…

搭建完<hadoop伪分布式平台>后就开始搭建hbase伪分布式平台了.有了hadoop环境,搭建hbase就变得很容易了. 一.Hbase安装 1.从官网下载最新版本Hbase安装包1.2.3,为了省去编译安装环节,我直接下载了hbase-1.2.3-bin.tar.gz,解压即可使用.(如果此链接下载速度过慢可更换官网其他下载链接) [hadoop@master -bin.tar.gz [hadoop@master /usr/local/hadoop/hbase [hadoop@maste…

前提:安装好jdk1.7,hadoop 安装步骤: 1.安装scala 下载地址:http://www.scala-lang.org/download/ 配置环境变量: export SCALA_HOME=/..../scala export PATH=.:$SCALA_HOME/bin   .... 验证:scala -version 2.安装spark 使用自己编译过的对应自己hadoop的spark 配置环境变量: export SPARK_HOME=/.../spark export P…

一:系统安装与配置 虚拟机软件:Virtualbox 4.3.10(已安装对应扩展包) 虚拟机:Ubuntu 13.04 LTS 32位(至于为什么选择13.04,是由于最新的版本号装上后开机会出现错误,每一个人的平台不一样,我的是Mac OS X 10.9.2.应该选择自己合适的版本号) 虚拟机配置: 须要特别说明的是:在设置网络时,一定要选择"桥接网卡",至于界面名称,我的电脑是不能选择有线网卡的,由于选择有线网卡连不上网,仅仅能选择Wi-Fi网卡了.至于为什么不能选择NAT模式,…

一.准备软件环境: hadoop-2.6.0.tar.gz CentOS release 6.5 jdk-7u67-linux-x64.tar.gz 网络配置: master1            192.168.11.24 worker1             192.168.11.25 二.操作步骤: 1. 修改主机名 2. 配置ssh无密码登录节点 3. 安装jdk, hadoop 4. 配置分布式环境 slaves core-site.xml hdfs-site.xml mapred…

环境:CentOS 7.4 (1708  DVD) 工具:MobaXterm 一. 安装 1. 将hadoop安装包上传到/usr/local目录下,将其解压并重命名. 2. 配置hadoop的环境变量并source. 二. 基本配置 1. 切换到配置文件目录下. 2. 修改hadoop-env.sh文件.配置JAVA_HOME为jdk的安装目录. 3. 修改core-site.xml文件.hadoop.tmp.dir为缓存目录.配置完成后手动创建hdfs/dir目录(理论上会自动创建). 4.…

一:系统安装与配置 Hadoop选择下载2.4.0 http://hadoop.apache.org / http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/ JDK我用的是1.7u64  http://www.oracle.com/technetwork/java/javase/downloads/index.html 在安装系统时,每个虚拟机的用户名都应尽量设置为一样的.因为,ssh默认以当前用户名去登录另外的主机,如果“另外…

1. 安装jdk1.7 JAVA_HOME=/home/hadoop/app/jdk1.7.0 vi /etc/profile.d CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH source /etc/profile.d 2.ssh免密码登陆 service iptables status chkconfig…

To construct big data distributed platform based on Hadoop is a common method. Hadoop comes fron Google File System  and is its open source realization. Here list the references for studying big data technology, especially on Hadoop. 基于Hadoop进行大数据分布式…