一．事前准备 此安装是建立在hadoop集群运行起来的基础上,此hadoop版本为2.6.0,其他版本未测试,可能存在兼容性问题. 上传所需文件到/usr/local/soft   二．zookeeper安装 1.进入文件所在目录:cd /usr/local/soft/ 2. 解压:tar -zxvf zookeeper-3.4.6.tar.gz 3. 重命名:mv zookeeper-3.4.6 zookeeper 4. 进入conf目录:cd zookeeper/conf/ 5. 复制并重命…

Hadoop 手动安装指南 cheungmine 2013-4 本文用于指导在Windows7,VMWare上安装Ubuntu, Java, Hadoop, HBase实验环境. 本指南用于实验的软件(版本)为: 1)        HOST OS: Windows7x64bits Professional 2)        VMware workstation: version:8.0.2 build-591240 3)        Guest (VM) OS: Ubuntu64bit S…

杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包 本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安…

目录 目录 1 1. 前言 1 2. 约定 2 3. 服务端口 2 4. 安装MySQL 2 4.1. 安装MySQL 2 4.2. 创建Hive元数据库 4 5. 安装步骤 5 5.1. 下载Hive 1.2.1二进制安装包 5 5.2. 安装Hive 5 5.3. 安装MySQL-Connector 5 5.4. 修改配置 5 5.4.1. 修改/etc/profile或~/.profile 5 5.4.2. 修改其它配置文件 5 5.4.2.1. 修改hive-env.sh 6 5.4.2…

目录 目录 1 1. 前言 2 2. 概念 2 2.1. Region name 2 3. 约定 2 4. 相关端口 3 5. 下载HBase 3 6. 安装步骤 3 6.1. 修改conf/regionservers 3 6.2. 修改conf/hbase-site.xml 3 6.2.1. hbase.master.info.port 5 6.2.2. hbase.master.info.bindAddress 5 6.3. 修改conf/hbase-env.sh 5 7. 系统设置 6 8…

目录 目录 1 1. 前言 1 2. 约定 2 3. 相关端口 2 4. 下载HBase 2 5. 安装步骤 2 5.1. 修改conf/regionservers 2 5.2. 修改conf/hbase-site.xml 3 5.2.1. hbase.master.info.port 4 5.2.2. hbase.master.info.bindAddress 4 5.3. 修改conf/hbase-env.sh 4 6. 启动运行 5 7. 基本的HBase命令 5 8. 备HMaster配…

目录 目录 1 1. 前言 1 2. 约定 1 3. 安装步骤 2 3.1. 配置/etc/hosts 2 3.2. 设置myid 2 3.3. 修改conf/zoo.cfg 2 3.4. 修改/bin/zkEnv.sh 3 3.5. 修改conf/log4j.properties 3 3.6. 修改conf/java.env 3 3.7. 设置PATH 4 4. 启动ZooKeeper集群 4 5. 安装验证 4 6. 基本命令 5 7. 只启一台zookeeper会如何? 6 8. 如何扩容…

Mapreduce的文件和hbase共同输入 package duogemap;   import java.io.IOException;   import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Result; i…

KV系统对比表 对比维度 Redis Redis Cluster Medis Hbase Tair 访问模式    支持Value大小 理论上不超过1GB(建议不超过1MB) 理论上可配置(默认配置10M,这个可以调大) 256M(更大value还需要测试) 支持Value结构 byte[]/list/map/set 支持分列族存储,在列族(column Family)下支持多quantifier(quantifier支持实时增删,不需要在schema中预定义) (1)kv/map/list (…

Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器集群中2> 分布式依赖于HDFS系统,因此布署Hbase之前一定要有一个正常工作的HDFS集群 Linux环境准备 关闭防火墙和SELinux # service iptab…