1 搭建环境所使用的资源 VMware Workstation 9 ubuntu-14.04.2-desktop-amd64.iso jdk-7u80-linux-x64.tar.gz hadoop-2.5.0.tar.gz zookeeper-3.4.5-cdh5.1.0.tar.gz hbase-0.98.6-cdh5.3.0.tar.gz 实验室服务器一台 (没有用最新版的hadoop是因为也是看别人教程搭的) 2 准备工作 2.1 安装虚拟机 在Vmware上安装4台虚拟机,使用ubun…

懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts和免密码互连 之前在公司装的时候jdk用的32位,hadoop的native包不能正常加载,浪费好多时间自己编译,所以jdk务必64位 配置免密码互连 其它也没什么了,注意下文件的用户组,不一定是"hadoop",根据自己的情况设置 sudo chown -R hadoop /opt su…

Hadoop搭建过程 前期环境搭建主要分为软件的安装与配置文件的配置,集成的东西越多,配置项也就越复杂. Hadoop集成了一个动物园,所以配置项也比较多,且每个版本之间会有少许差异. 安装的方式有很多,各个版本lunix源的配置也不同,我才用的是直接下载tar包进行安装,这样的好处是版本容易控制. 下载软件: 官网下载时会标明相匹配的版本: 1.hadoop本体2.8.0 2.Scala,spark的原生语言,依赖于此环境 3.Spark,spark依赖hadoop的组件(忘了,单跑也可以)…

前一段时间,终于抽出了点时间,在自己本地机器上尝试搭建完全分布式Hadoop集群环境,也是借助网络上虾皮的Hadoop开发指南系列书籍一步步搭建起来的,在这里仅代表hadoop初学者向虾皮表示衷心的感谢,他总结的系列文档确实帮我们扫除了很多hadoop环境搭建过程中的障碍. 自己不班门弄斧,就自己在搭建和调试过程中遇到的问题给出方案,希望以后的伙伴少走一点弯路,下面就搭建过程中遇到的几个问题给出总结:  说明:本次搭建hadoop集群环境时,本人使用的是hadoop-2.2.0版本,目前Apac…

要真正的学习hadoop,就必需要使用集群,可是对于普通开发人员来说,没有大规模的集群用来測试,所以仅仅能使用伪分布式了.以下介绍怎样搭建一个伪分布式集群. 为了节省时间和篇幅,前面一些步骤不再叙述.本文是在基于单机模式的前提下进行得搭建.若不会搭建单机模式.请看我的前一篇文章.Ubuntu下用hadoop2.4搭建集群(单机模式) 第一步 配置hdfs-site.xml /usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用,指定主机上…

Hadoop最底部是 Hadoop Distributed File System(HDFS),它存储Hadoop集群中所有存储节点上的文件.HDFS(对于本文)的上一层是MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成.通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库. HDFS:对外部客户机而言,HDFS就像一个传统的分级文件系统. NameNode:负责管理文件系…

现互联网公司后端架构常用到Spring+SpringMVC+MyBatis,通过Maven来构建.通过学习,我已经掌握了基本的搭建过程,写下基础文章为而后的深入学习奠定基础. 首先说一下这篇文章的主要内容分为: 1.Maven多模块项目的创建: 2.Maven与SpringMVC的整合: 3.Dubbo的环境配置及与整合: 4.新手在整合过程易犯的错误. 通过一个简单的demo来说明,大家多多指教,分享经验! 一.Maven多模块项目的创建 我们需要建立一个多模块的maven项目,其目录结构为…

距离之前的三篇日志已经很久啦,今天终于完成了一个比较完整的自动化报表搭建过程 基于公司数据保密原则,样板就不放到网上来了,简单说一下背景: 这次access实现的功能包括: 1)为部门整体搭建了一个员工基本资料数据库,里面包括从各个系统里获得的员工信息,如Zhang San,一个系统里叫San Zhang,一个系统叫sazhang,一个系统叫sun Zhang.这些信息汇总后,存在部门共享盘里,包括此次的Access,都是直接链接到这个总access表里,这样,有新员工来的时候,只需要更新一个a…

什么是即时通信? 即时通信是目前Internet上最为流行的通讯方式, 各种各样的即时通讯软件也层出不穷, 服务提供商也提供了越来越枫木的通讯服务功能. 即时通讯有多重实现方式, XMPP就是其中一种. XMPP(XML, Message, Presence, Protocol)是基于可扩展语言的协议, 可用于即时通信--可扩展消息处理现场协议 XMPP的优点: 1. 开放 2.标准 3.分布式网络架构 4.XMPP协议具有良好的扩展性 5.XMPP具有很好的弹性 6.安全性 1.安装JDK,X…

本文简单描述最简单的SVN环境搭建过程 搭建环境:windows (个人验证了windows2003,windows xp) 使用软件:Setup-Subversion-1.6.17  //Server TortoiseSVN-1.6.12.20536-win32-svn-1.6.15  //Client 至于下载的地方,Server端可以在http://www.tigris.org/ 上面下到最新的.Client端,可以通过http://tortoisesvn.net下载到最新的. 具体步骤:…