1.安装jdk 2.安装解压zookeeper 先创建文件夹 解压zookeeper压缩包 3.  创建配置文件zoo.cfg 4.运行测试…

由于需要在windows下面安装zookeeper,故做个整理 1.下载zookeeper http://mirrors.hust.edu.cn/apache/zookeeper/ 2.解压 3.修改配置文件,将conf中的zoo_example.cfg 改为 zoo.cfg 并且修改里面的配置 4.启动 5.遇到的坑 在最开始启动的时候提示:Error: JAVA_HOME is not set.或者Error: JAVA_HOME is incorrectly set. 这都是因为没有安装J…

 Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapReduce而开发的一系列上层应用软件. hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统.目前支持的超大文件的范围为从MB级至PB级. MapReduce是一种可用于数据处理的编程模型,基于MapReduce模型的程序本质上都是并行运行的.基于MapReduce…

hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart   1.    前提配置好java,环境java变量     上传jdk1.7     rpm  -ivh  jdk 2.    上传hbase的压缩包,解压,配置hbase环境变量,修改配置文件(hbase-env.sh, hbase-site.xml)    2.1 解压    2.2 配置hbase环境变量 mv  hbase  /home cd  hbase/b…

[准备] 1.CentOS 7.6的镜像盘(下载地址:官网) 2.vertica-9.1.0-0.x86_64.RHEL6(下载地址:https://pan.baidu.com/s/1IjWBUTku_zMpccF2VQ9iDw 密码:qd7p) 3.外网环境 [安装过程] 1.安装CentOS 7.6minimal installation模式即可 注意!根目录“/”挂载的文件系统必须是ext4,不能是默认的xfs! 2.配置网络,能够访问外网 3.安装依赖包[root@localhost ~…

一.准备环境 在配置hdfs之前,我们需要先安装好hadoop的配置,本文主要讲述hdfs单节点的安装配置. hadoop的单节点安装配置请参考:https://www.cnblogs.com/lay2017/p/9912381.html 二.安装hdfs 配置文件 hadoop安装准备好之后,我们需要对其中的两个文件进行配置 1.core-site.xml 这里配置了一个hdfs的namenode节点,以及文件存储位置 <configuration> <!-- nameNode:接收请…

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://…

Centos7 单节点安装 FastDFS + FastDHT服务 1.安装gcc(编译时需要) FastDFS是C语言开发,安装FastDFS需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc yum install -y gcc gcc-c++ 2.安装libevent(运行时需求) 若安装了桌面图形界面,就不需要安装:FastDFS依赖libevent库: yum -y install libevent libevent-devel 3.安装libfas…

Flume NG概述: Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡.其中Agent包含Source,Channel和 Sink,三者组建了一个Agent.三者的职责如下所示: Source:用来消费(收集)数据源到Channel组件中 Channel:中转临时存储,保存所有Source组件信息 Sink:从Channel中读取,读取成功后会删除Channel中的…

Redis单节点安装 一.Redis的数据类型 string hash list set zset 二.安装 2.1.下载 wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2.2.解压 tar -xf redis-5.0.5.tar.gz 2.3.安装 make make install PREDIX=/opt/redis 2.4.修改环境变量 vim /etc/profile export REDIS_HOME:/opt/re…