1.概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构.用户可以在不了解分布式底层细节的情况下,开发分布式程序.hadoop三种安装模式:单机模式,伪分布式,真正分布式.因在实际生产中均会使用分布式方式进行部署,本博文也将采用分布式方式进行部署. 2.环境说明 主机名 IP地址 用途说明 master 192.168.0.128  作为HADOOP的Namenode slave1 192.168.0.11 作为HADOOP的Datanode1 slave2 192.168.0…

今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. 安装LZO 下载lzo 2.06版本,编译64位版本,同步到集群中 wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz export CFLAGS=-m64 ./configure -enable-shared…

1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构. 对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve.一个HDFS集群是由一个NameNode和若干个DataNode组成的.其中Nam…

四步完成NodeJS安装,配置和测试 NodeJS 官网地址: http://nodejs.org/ 第一步:在官网点击 ’ INSTALL ’,下载相应的版本(我的机器是Win7专业版 64bit). 第二步:双击安装文件, 一路’Next’下去. 第三步:在系统设置中设置NodeJS相关的环境变量. 如: PATH里添加(会自动添加)  :  C:\Program Files\nodejs NODE_PATH   :   C:\Program Files\nodejs\node_module…

一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代.除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计算变为廉价的x86集群计算,也让许多互联网公司能够从IOE(IBM小型机.Oracle数据库以及EMC存储)中…

django安装之前我们假设你已经安装了python,和mysql(不是必须的):(如果没有google一下挺简单不介绍了)下面直接介绍django的安装配置:到下面连接可以下载www.djangoproject.com/m/releases/1.5/Django-1.5.1.tar.gz当然你也可以下载更新的版本.下载解压后:在命令行下进入到解压目录执行一下命令(mac环境下在终端中执行) python setup.py install 如果提示缺少setuptools还要下载安装setupt…

1.windows下的NodeJS安装是比较方便的(v0.6.0版本之后,支持windows native),只需要登陆官网(http://nodejs.org/),便可以看到首页的"INSTALL"按钮,直接点击就会自动下载安装了.     2.安装过程基本直接"NEXT"就可以了.(windows的安装msi文件在过程中会直接添加path的系统变量,变量值是你的安装路径,例如"C:\Program Files\nodejs").   3.安装…

官方教程:https://www.elastic.co/guide/en/elasticsearch/reference/master/_installation.html 中文教程:https://www.elastic.co/guide/cn/elasticsearch/guide/current/running-elasticsearch.html 安装前提:ES要求至少Java 8:推荐使用the Oracle JDK version 1.8.0_131(参考Java8安装配置) 安装包…

1. 安装包下载 点击下载地址:https://dev.mysql.com/downloads/installer/打开页面,滑到较底端,按如下选择下载: 会弹出一个注册登录页面,可以不用管,直接点击较底部的:No thanks, just start my download 开始下载. 2. 安装 下载后点击运行: 期间进行密码设置,按默认安装完后显示: 默认安装在 3. 测试 打开:C:\Program Files\MySQL\MySQL Server 8.0\bin 路径 在文件夹栏输入c…

一.IDEA安装 下载Community版的IDEA,Ultimate是免费试用版(相当于用到后面要给钱的) ideaIC-2019.2.3.tar.gz 解压IDEA: tar -zxvf ideaIC-2019.2.3.tar.gz 查看目录: [hadoop@hadoop01 idea-IC-192.6817.14]$ ls -ll total 52 drwxrwxr-x. 2 hadoop hadoop 4096 Oct 2 22:08 bin -rw-r--r--. 1 hadoop…