HBase —— Hadoop Database的简称 ,hbase 是分布式,稀疏的,持久化的,多维有序映射,它基于行键rowkey,列键column key,时间戳timestamp建立索引.它是一个随机访问的存储和检索数据的平台.hbase 可以存储结构化,半结构化的数据 Hadoop使用分布式文件系统,用于存储大数据,并使用MapReduce来处理.Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理. Hadoop只能执行批量处理,并且只以顺序方式访问数据.这意味着…

Node.js 简介 Node.js 是什么 Node.js 有着强大而灵活的包管理器(node package manager,npm) 目前, 已经有强大第三方工具模块, 例如数据库连接, 网站开发框架, CSS生成器, 操作系统API, 网络通信 等. Node.js 是什么 ? 是一个让 javascript 运行在服务器端的平台, 以前javascript只能运行在浏览器中,  node.js 可以解析 javascript. CommonJS 试图设计一套Javascript的规范.…

一.上传解压后的Hbase文件. 二.配置: 1..bash_profile文件: export HBASE_HOME=/home/kituser/bigdata/hbase-0.94.6-cdh4.5.0export CLASSPATH=$CLASSPATH:$HBASE_HOME/libexport PATH=$PATH:$HBASE_HOME/bin:$HBASE_HOME/sbin 2.regionservers文件 kit-b6kit-b7 3.hbase-env.sh文件 expor…

ansible简介 ansible是一款,自动化运维管理工具.顾名思义是用于批量去管理及安装服务及批量管理主机. ansible与saltstack对比 ansible优点:配置简单,部署容易除主管理机外不需要多余配置.使用ssh进行传输管理.安全性高.语法简单,学习入门块.支持sudo. ansible缺点:只支持分组最多265个主机.传输使用ssh,传输速度慢. salt优点:使用zeroMQ进行传输速度快.主机数量无上限.密码容易保管,命令容易审计. salt缺点:主进程进行守护,被管理段…

原文来自:  http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,HIVE的设计,可以轻松实现数据汇总,ad-hoc查询和分析大量的数据.它提供了一种称为HIVE QL的查询语言,基于sql的语法,使用户熟悉HIVE QL的语法容易做ad-hoc查询,汇总和数据分析,同时,HIVE QL也使传统的map / reduce的程序员能够插…

实验简介 本次实验学习和了解 HBase 在不同模式下的配置和安装,以及 HBase 后续的启动和停止等. 一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令: Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS…

简介 安装配置 一.简介 DHCP (Dynamic Host Configuration Protocol,动态主机管理协议)是一种基于UDP协议且仅限用于局域网的网络协议,主要用途是为局域网内部设备或网络供应商自动分配IP地址,通常会应用在大型的局域网环境中或局域网内存在比较多的移动办公设备,DHCP协议能够实现集中的管理.分配IP地址. DHCP服务程序能够使局域网内的主机自动且动态的获取IP地址.子网掩码.网关地址以及DNS服务器地址等信息,且能够有效的提升地址使用率,提高配置效率,减少…

HBase安装 安装前设置 安装Hadoop在Linux环境下之前,需要建立和使用Linux SSH(安全Shell).按照下面设立Linux环境提供的步骤. 创建一个用户 首先,建议从Unix创建一个单独的Hadoop用户,文件系统隔离Hadoop文件系统.按照下面给出创建用户的步骤. 开启root使用命令 “su”. 使用root帐户命令创建用户 “useradd username”. 现在,可以使用命令打开一个现有的用户帐户 “su username”. 打开Linux终端,输入以下命令来…

HBase学习笔记之HBase的安装和配置 我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的.为了快速的验证bulkload功能,我安装了一个节点的hadoop集群和一个节点的hbase.安装过程如下. 1.简介 2.安装环境准备 3.具体安装过程 1.简介 ========= hbase是hadoop生态系统中的一个软件,是基于hadoop的数据库软件. 2.安装环境准备 =============== hbase安装之前必须安装hadoop,所以在安装h…

1.Zookeeper简介 Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等等. 2.zookeeper基本概念 2.1 角色 Zookeeper中的角色主要有以下三类,如下表所示: 系统模型如图所示: 2.2设计目的 1. 最终一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能. 2. 可靠性:具有简单.健壮.良好的性能,如果消息…