Hadoop-2.8.0 开发环境搭建(Mac)
Hadoop
是一个由Apache
基金会开发的分布式系统架构,简称HDFS
,具有高容错性、可伸缩性等特点,并且可以部署在低配置的硬件上;同时,提供了高吞吐量的数据访问性能,适用于超大数据集的应用程序,以及通过集群拓扑高效快速的处理数据的能力。
本文主要介绍一下Hadoop
的开发环境搭建,平台是Mac
系统。
下载源码
在搭建环境之前,需要先下载hadoop
的binary,可以把source也下载下来,方便以后阅读。下载后进行解压:
$ tar -zxvf hadoop-2.8.0.tar.gz
配置hadoop
hadoop
的配置稍许麻烦,暂时没有一键化配置的功能;另外,hadoop
是基于java
开发的,所需需要安装java
开发环境,如果没有安装,请参考其它资料先安装java
开发环境。设置好java
开发环境后,再设置hadoop
的开发环境。
hadoop
的配置文件主要都在etc/hadoop
目录下,可以配置hdfs
、yarn
、mapreduce
等,下面具体介绍:
1. 添加hadoop环境变量
添加的方式很多,可以修改系统级的文件,如:/etc/bashrc
、/etc/profile
,也可以修改当然用户的文件,比如:~/.bash_profile
(shell用的是bash)、~/.zshrc
(shell用的是zsh),添加如下代码即可
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home
export HADOOP_HOME=/Users/gandalf/Documents/kelvin/Hadoop/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
配置完成后,需要设置其生效,安装zsh
的配置设置:
$ source ~/.zshrc
设置完成后,如果出现下面信息,表示hadoop
开发环境变量设置好了
$ hadoop version
Hadoop 2.8.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 91f2b7a13d1e97be65db92ddabc627cc29ac0009
Compiled by jdu on 2017-03-17T04:12Z
Compiled with protoc 2.5.0
From source with checksum 60125541c2b3e266cbf3becc5bda666
This command was run using /Users/gandalf/Documents/kelvin/Hadoop/hadoop-2.8.0/share/hadoop/common/hadoop-common-2.8.0.jar
2. 修改hadoop-env.sh
直接设置JAVA_HOME
的路径,不要用$JAVA_HOME
代替,因为hadoop
对系统变量的支持不是太好
# The java implementation to use.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home
3. 修改core-site.xml
设置hadoop
的临时目录及文件系统,其中localhost:9000
表示本地主机,如果是远程主机,则需要把localhost
修改为相应的IP
地址,如果填写远程主机的域名,则需要到/etc/hosts
文件中做DNS
映射
<configuration>
<!--设置临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/gandalf/Documents/kelvin/Hadoop/hadoop-2.8.0/data</value>
</property>
<!--设置文件系统-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
4. 配置hdfs-site.xml
由于是一台Mac
电脑,所以数据的副本设置为1
,默认是3
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5. 配置mapred-site.xml
由于hadoop
的根目录下的etc/hadoop
目录下没有mapred-site.xml
文件,所以需要创建该文件,但是我们可以直接把etc/hadoop
目录下的mapred-site.xml.template
文件重命名为mapred-site.xml
,然后配置数据处理的框架为yarn
。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6. 配置yarn-site.xml
配置数据处理框架yarn
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:9000</value>
</property>
</configuration>
启动hadoop
配置完hadoop
后,就可以启动hadoop
了
1. 启动namenode
$ hadoop namenode -format
如果出现如下图片提示,表示namenode
启动成功
需要注意的是,如果有错误,请先检查是不是hadoop
安装包是32-bit
,而计算机系统是64-bit
,造成不匹配
2. 启动hdfs
启动hdfs
,有可能需要输入3
次密码
$ start-dfs.sh
如果出现如下提示,表示hadoop
无法远程登录主机,需要开放权限
具体开放权限的步骤如下,先到系统设置里的共享里,然后允许远程登录,最后添加当前的用户即可:
如果不想每次启动都输入3
次密码,可以添加ssh
的公钥到authorized_keys
文件中
// 添加ssh的公钥到authorized_keys文件中
$ mkdir ~/.ssh && cd ~/.ssh
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. 启动yarn
启动数据处理mapreduce
框架yarn
$ start-yarn.sh
如果执行jps
命令出现如下提示,表示hadoop
启动完成
4. 浏览器查看hadoop
我们也可以通过浏览器查看hadoop
的详细信息,打开链接:
http://localhost:50070/
然后在如下界面,我们就可以查看hadoop
的具体信息了
hadoop
的开发环境搭建如上,如有不足之处,欢迎指出,共同进步
Hadoop-2.8.0 开发环境搭建(Mac)的更多相关文章
- (一)Hololens Unity 开发环境搭建(Mac BOOTCAMP WIN10)
(一)Hololens Unity 开发环境搭建(Mac BOOTCAMP WIN10) 系统要求 64位 Windows 10 除了家庭版的 都支持 ~ 64位CPU CPU至少是四核心以上~ 至少 ...
- vue开发环境搭建Mac版
一.前言 要做一个移动端app,面对webapp最流行的三个技术React,angular,vue,三选一,如何选,可参考blog移动app技术选型,react,angular, vue, 下面是对 ...
- android 5.0开发环境搭建
Android 5.0 是 Google 于 2014 年 10 月 15 日发布的全新 Android 操作系统.本文将就最新的Android 5.0 开发环境搭建做详细介绍. 工具/原料 jdk- ...
- CC++初学者编程教程(2) Microsoft Visual C++ 6.0开发环境搭建
上一篇演示的是如何安装VS2010,本文演示的是如何安装Microsoft Visual C++ 6.0 简称VC6. 有同学经常VC6都是很古董的版本了,为啥他还存在,不得不说VC6是微软一个很经典 ...
- IMX6开发板Qtopia2.2.0开发环境搭建以及编译镜像
搭建 Qtopia2.2.0 开发环境,需要先搭建 Android 的编译环境,然后在 Android 编译环境的基础上,再搭建 Qtopia2.2.0 编译环境.以下内容基于迅为-iMX6开发板.Q ...
- Cocos2d-x.3.0开发环境搭建
配置:win7 + VS2012 + Cocos2d-x.3.0 + Cocos Studio v1.4.0.1 前言:本文介绍在上述配置下进行游戏开发的环境搭建.开发语言为C++.如果读者不需要查看 ...
- AndroidStudio2.0开发环境搭建
实验内容 下载安装Android Studio 配置使用环境 实验要求 下载安装Android Studio 基本环境配置 实验步骤 1.首先从安卓开发者网站下载最新的Android Studio h ...
- MongoDB 4.0 开发环境搭建集群
环境准备 Liunx 服务器一台 以下示例为单机版安装集群, 没有分片 MongoDB 安装 1.下载 MongoDB tgz 安装包: 可以从下载中心下载: https://www.mongodb. ...
- JAVA开发环境搭建(Mac)
1. 打开Terminal, 执行命令: java -version 即可查看到我们所安装的jdk版本. 2.安装jdk成功之后,我们还需要配置jdk环境变量. 使用命令: /usr/libexec/ ...
随机推荐
- [jbdj]SpringMVC框架(1)快速入门
1)springmvc快速入门(传统版) 步一:创建springmvc_demo一个web应用 步二:导入springioc,springweb , springmvc相关的jar包 步三:在/WEB ...
- Eclipse中常用快捷键
Ctrl+C:复制. Ctrl+V:粘贴. Ctrl+X:剪切. Ctrl+S:保存. Ctrl+Z:撤销. Ctrl+A:全选. F3:快速定位光标位置的某个类.方法和属性. Ctrl+Q:跳到最后 ...
- 20170714_js闭包变量重置
<html> <body> <script> function createFunctions(){ var result = new Array(); for ( ...
- (转)上传jar包到nexus私服
场景:在使用私服Nexus时候经常需要上传jar包,但是对上传jar包的方式不是很熟悉,所以很有必要学习下. 1 通过网页上传 GAV Definition:选择GAV Parameters 输入JA ...
- 机器学习(3)-Tensorflow安装与测试
安装.# Ubuntu/Linux 64-bit $ sudo apt-get install python-pip python-dev # Ubuntu/Linux 64-bit, CPU onl ...
- AtCoder Beginner Contest 068
A - ABCxxx 题意: 给出n,输出“ABCn”就可以了,纯水题. B - Break Number 题意: 给出n,找出从1到n的闭区间内能够被2整除最多次的数. 思路: 直接模拟. 代码: ...
- Android Handler 机制 - Looper,Message,MessageQueue
Android Studio 2.3 API 25 从源码角度分析Handler机制.有利于使用Handler和分析Handler的相关问题. Handler 简介 一个Handler允许发送和处理M ...
- 如何在github制作一个网页
1.首先得先注册一个github账号,官网:https://github.com/ 2.注册完,登录账号进入首页,点右上角的 ‘+’ 创建新的仓库 3. 点击setting,选择一个主题, 4. 选完 ...
- [补档]暑假集训D8总结
%dalao 今天有两位大佬来讲课,meaty来讲了Catalan(本来说好的莫比乌斯反演呢),聪聪来讲Splay呢 至于听课笔记= =,没来得及记= = 不过好不想上树啊,上了树就下不来了 考试 仍 ...
- unable to create …
问题描述: 在新建Android Application时会出现unable to create the selected property page 解决方法: 将用户PATH路径中的jdk路径放到 ...