集群环境配置参考(http://blog.csdn.net/zcf1002797280/article/details/49500027)

参考:http://www.cnblogs.com/liuling/archive/2013/06/16/2013-6-16-01.html

http://blog.csdn.net/ab198604/article/details/8250461

使用pssh进行并行批量操作:

http://www.cnblogs.com/wangkangluo1/archive/2013/01/06/2847353.html

关于ssh命令研究以及SSH信任详解

http://www.dongwm.com/archives/%E5%85%B3%E4%BA%8Essh%E5%91%BD%E4%BB%A4%E7%A0%94%E7%A9%B6%E4%BB%A5%E5%8F%8Assh%E4%BF%A1%E4%BB%BB%E8%AF%A6%E8%A7%A3/

一下本人实际操作未完待完善......

环境准备:

1,jdk1.7

下载地址:http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz

下载文件:jdk-7u80-linux-x64.gz

安装mac版本 secureCRT(破解,ssh工具,连接,上传,下载服务器文件等)

上传到linux服务器上 /usr/java目录下面:

tar -zxvf jdk-7u80-linux-x64.gz         解压

环境变量设置:

编辑 :vi /etc/profile

文件最后加入:

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:/usr/java/jdk1.7.0_80/bin

保存退出

执行source /etc/profile    使配置生效

-------------------如下截图 ------------

查看一下java环境变量是否配置成功

java -version

jdk安装完成!

2,ssh配,问题,ssh localhost 无密码登录失败:(todo集群配置)

解决:

修改 : /etc/hosts.allow文件,加入 sshd:ALL

重启ssh:  /etc/rc.d/init.d/sshd restart

3,hadoop安装配置

下载地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

crt工具上传到服务器位置:/usr/hadoop/

tar -zxvf hadoop-2.7.1.tar.gz      解压

hadoop配置一下文件:(参考 http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html )

/usr/hadoop/hadoop-2.7.1/etc/hadoop

core-site.xml

mapred-site.xml

hdfs-site.xml

yarn-site.xml

hadoop-env.sh

yarn-env.sh

slaves

-----------------------------

配置完成执行

主服务器上执行bin/hdfs namenode -format

进行初始化

sbin目录下执行 ./start-all.sh

可以使用jps查看信息

停止的话,输入命令,sbin/stop-all.sh

-----------------

http://10.11.144.217:50070/

访问可以查看HDFS的管理情况

hadoop安装实战(mac实操)的更多相关文章

  1. jmeter & 性能测试:从0到实战(实操易用、面试造火箭、升职加薪必备)

    [性能基础] 性能测试概念.术语:https://www.cnblogs.com/uncleyong/p/10706519.html 性能测试流程(新):https://www.cnblogs.com ...

  2. Hadoop Hbase理论及实操

    Hbase特点 HBase是一个构建在HDFS上的分布式列存储系统:HBase是基于Google BigTable模型开发的,典型的key/value系统:HBase是Apache Hadoop生态系 ...

  3. Termux中安装gcc-7/gfortran-7实操过程,安装成功可以编译Fortran,c/c++

    最近计算材料学的老师需要我们运行Fortran,又不想带电脑去教室.所以想起Termux了,于是就试试看这个宝贝能不能帮我的忙, 但是经过测试以后发现,clang只能编译c/c++那一类语言,不能编译 ...

  4. Docker安装MySql完整教程、实操

    docker:官网 docker:镜像官网:        镜像官网可以所有应用,选择安装环境:会给出安装命令,例如:docker pull redis 默认拉取最新的版本(指定版本:docker p ...

  5. kettle安装部署基本操作及实操文档

    一.kettle是什么? Kettle,简称ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),是一款国外开源的ETL工具,纯Java编写,可以在Window. ...

  6. 【强烈推荐,超详细,实操零失误】node.js安装 + npm安装教程 + Vue开发环境搭建

    node.js安装 + npm安装教程 + Vue开发环境搭建 [强烈推荐,超详细,实操零失误] 原博客园地址:https://www.cnblogs.com/goldlong/p/8027997.h ...

  7. harbor安装实操笔记

    纸上得来终觉浅,实操一遍吧! 把所有开发的后端服务先在打成镜像,传到私有镜像仓库: 然后在任意的远程机器拉取镜像,然后可采用docker或者docker-compose的方式运行,本节先按照docke ...

  8. 大数据学习笔记——Hadoop编程实战之HDFS

    HDFS基本API的应用(包含IDEA的基本设置) 在上一篇博客中,本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台,那么,在上一篇的基础上,我们终于可以进行编程实操了,同样,在编程 ...

  9. RFC2889广播时延测试——网络测试仪实操

    一.简介 RFC 2889为LAN交换设备的基准测试提供了方法学,它将RFC 2544中为网络互联设备基准测试所定义的方法学扩展到了交换设备,提供了交换机转发性能(Forwarding Perform ...

随机推荐

  1. AngularJs ngApp、ngBind、ngBindHtml、ngNonBindable

    ngApp 使用这个指令自动启动一个AngularJS应用.ngApp指令指定了应用程序的根节点,通常会将ngApp放置在网页的根节点如<body>或<html >标签的. 格 ...

  2. PHP之:随机抽取一个数&&随机函数

    撰写日期:2016-7-20 16:00:24 有5个数:1 4 7 9 6 用PHP实现随机抽取5个数中的其中一个 方法一: <?php $test = array(1,4,7,9,6);// ...

  3. 一个WPF控件 诡异的MouseEvent 。

    背景: private System.Windows.Controls.Border _borderTouch; private bool _mouseDown = false;  private S ...

  4. Beta Daily Scrum 第三天

    [目录] 1.任务进度 2.困难及解决 3.燃尽图 4.代码check-in 5.总结 1. 任务进度 学号 今日完成 明日完成 612 初步完成成就界面的统计图表 继续编写成就界面的图表 615 白 ...

  5. 【Alpha】Phylab2.0: Postmortem

    设想和目标 1. 我们的软件要解决什么问题?是否定义得很清楚?是否对典型用户和典型场景有清晰的描述? 主要解决同学们写物理实验报告时,处理数据的困难--巨大的计算量和不规范的物理报告数据处理格式.典型 ...

  6. iOS - libc++abi.dylib: terminate_handler unexpectedly threw an exception

    代码出现crash,报错:libc++abi.dylib: terminate_handler unexpectedly threw an exception 当我们很明确是某一块代码执行导致了错误, ...

  7. 【项目】UICollectionViewFlowlayout再一次自定义

    项目中好友列表需要使用UICollection完成,加入了长按点击颤抖删除按钮

  8. auto dock

    http://mgltools.scripps.edu/ http://mgltools.scripps.edu/downloads/previous-releases/mgltools-1-5.4/ ...

  9. python bottle框架

    python bottle框架 简介: Bottle是一个快速.简洁.轻量级的基于WSIG的微型Web框架,此框架只由一个 .py 文件,除了Python的标准库外,其不依赖任何其他模块. Bottl ...

  10. webservice理解

    什么是webservice? 1.基于web的一种服务,webservice分为服务器端server和客户端client. server端会会提供一些资源供客户端的应用来访问(获取所需要的数据) 2. ...