这里是hadoop最小的配置,也就是修改最少量的东西让hadoop跑起来. 系统是 Centos6.7 64位, hadoop是2.6.0,虚拟机是VMWare WorkStation 假设虚拟机启动了4台机子:192.168.0.80 .192.168.0.155.192.168.0.157.192.168.0.146.这四台都做slave, 同时80还兼任master.我把root用户最为hadoop的使用者,没有新建别的用户 (设置虚拟机时还有个坑:每个虚拟机的网络连接必须选择桥接模式,并…

基于Hadoop2.2.0版本号分布式云盘的设计与实现 一.前言 在学习了hadoop2.2一个月以来,我重点是在学习hadoop2.2的HDFS.即是hadoop的分布式系统,看了非常久的源代码看的我真的想吐啊,感觉看源代码还是没什么劲,于是心血来潮看到可百度的网盘挺有意思(事实上我一直都在用百度的网盘)对里面的功能的实现非常好奇,于是我就突发奇想,能不能用hadoop来做个呢?答案是肯定的.于是我就開始了,可是实际中,没有人用hadoop来做网盘,由于hadoop不适合存放小文件.当然办法总…

环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1sjK4gkl 和1.x.0.x有些不同,特别是yarn. 这里面有个小插曲,在完全分布式模式配置yarn的时候必须指定ResourceManager的地址 这个地址在伪分布式模式上不用指定,因为默认地址是0.0.0.0,也就是本地 但是完全分布式模式必须指定,因为不指定slave就不知道哪台是Res…

hadoop-2.6.0为分布式安装 伪分布模式集群规划(单节点)------------------------------------------------------------------------------------------------------------------------------------------------------------------------    host        -    ip                -    soft …

本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoop用户 使用root账户创建hadoop用户,为了在实验环境下便于操作,赋予hadoop用户sudo权限.具体操作代码如下: useradd hadoop # 添加hadoop用户 passwd hadoop # 设置密码 visudo hadoop ALL=(root)NOPASSWD:ALL 二…

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool…

gdb debug peer 程序 在开始我们从 github 上download 下来的源码包,实际上已经包含了可执行的 peer 程序,但是该程序是使用 release 方式编译的,并不支持gdb 直接debug,所以我们需要对源码从新编译peer. 在开始编译前,读者应该了解,由于“神秘的东方力量”,程序试图从golang 库中download 安装包时,需要“***”. 假设 fabric 的源码被download 在 /opt/gopath/src/github.com/hyperle…

fabric 使用 fabric-ca 服务 准备部分 首先需要用户从github上download fabric-ca 的工程代码 cd $GOPATH/src/github.com/hyperledger git clone https://github.com/hyperledger/fabric-ca.git 然后对它进行编译,在编译时,会需要安装 goimports 命令,貌似目前关于golang的相关内容都被“东方神秘力量”所限制,请读者们自行***. cd fabric-ca ma…

如何在相同的peer 节点上创建多个 channel 作者在hyperledger fabric 1.0.5 分布式部署 (五)已经向读者们介绍了一个简单的fabric 的部署流程,那么根据上一篇博客的内容,大家实际上可以推断出,创建channel ,实际上需要涉及到 generateArtifacts.sh 脚本和 scritp.sh 脚本 在一个启动了order 节点.peer 节点和cli 节点的fabric 环境里,实际创建一个channel 的操作步骤应该是怎样的呢? 首先应该利用 g…

梳理fabric e2e_cli 测试程序的具体步骤 作者在 hyperledger fabric 1.0.5 分布式部署 (一)中给读者们介绍了如何从零开始部署一个测试的 demo 环境,如果细心的读者可能会留意到,在启动fabric 的服务时,是直接执行network_setup.sh 脚本命令启动服务的. 如果我们打开 network_setup.sh 脚本查看,会发现启动的关键代码如下 function networkUp () { if [ -f "./crypto-config&qu…