这是第一次出勤部署产品.遇到不可控问题,解决,写个心得.记录一下吧^^ 在排查问题的过程中,学到不少知识. (1)centos系统盘和数据盘分开,装操作系统的人没有将IT的空间分配出来,所以分区,自动挂载 #lvmdiskscan 查看哪些设备成为了物理卷. 检测硬盘和分区中的逻辑巻管理信息 只有/dev/sda*,说明只有一个物理卷,其余的是/dev/ram* fdisk /dev/sdb d n p 1 w 即可删除分区,创建一个新的磁盘. 格式化:mkfs.ext4 /dev/sdb1 查

在一个项目里用到HBase做底层存储,使用maven来管理相关Jar包依赖,用maven来管理依赖包,特别不爽的就是他会将你引入Jar包自己的依赖都搞进来,经常会出现一些类和方法冲突找不到等状况.这次,也被这个搞了一阵子.我依赖了HBase jar之后,tomcat启动后,访问Web页面(使用JSP)的时候,页面直接抛出一堆异常,贴一下关键的: java.lang.AbstractMethodError: javax.servlet.jsp.JspFactory.getJspApplicatio

首先是从阿里云上下载了一个样例项目"hbase-demo",然后用eclipse打开,此时eclipse会去下载aliyun.hbase依赖. 等待一段时间后,pom.xml却报错了,第一行左侧出现了红叉. 点击左侧的这个红叉,看见提示的报错信息:"Missing artifact jdk.tools:jdk.tools:jar:1.6". 原始的 pom.xml 文件: <?xml version="1.0" encoding="

多年来一直困扰我的问题,就是当我们下载了一个rpm包来安装的时候发现缺少依赖.以前的做法是网上挨个去搜索依赖的rpm,然后依次安装. # rpm -ivh google-chrome-stable_current_x86_64.rpm 其实有了yum早已经可以解决这个问题了,命令格式如下,yum会自动寻找依赖并且安装,从而完整这个rpm的安装. # yum install ./google-chrome-stable_current_x86_64.rpm 这么多年白混了!

今天安装一个测试数据库的过程中,编译安装rlwrap工具时出错. 如下. [root@DB1 rlwrap-0.37]# ./configure checking build system type... Invalid configuration `x86_64-unknown-linux-': machine `x86_64-unknown-linux' not recognizedconfigure: error: /bin/sh tools/config.sub x86_64-unkno

一.hbase原理剖析 Base是一个构建在HDFS上的分布式列存储系统:HBase是基于Google BigTable模型开发的,典型的key/value系统:HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储:从逻辑上讲,HBase将数据按照表.行和列进行存储.与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力.Hbase表的特点大:一个表可以有数十亿行,上百万列:无模式:每行都有一个可排序的主键和任意多

起因 困扰我好久的一个报错,终于解决了 之前我一直以为是 python代码的问题,以为是模块相互调引起的报错,忽略了最后一行这个错误 OSError: libGCBase_gcc421_v3_0.so: cannot open shared object file: No such file or directory 解决 百度搜了一下,问题应该是在 python程序 调用海康相机的动态依赖库 出现了问题! 终端输入: cd /etc 修改ld.so.conf权限: chmod 777 ld.s

安装mysql时报如下错误: xxxxx/mysql/bin/mysqld: error : cannot open shared object file: No such file or directory. 解决办法如下 Debian系统/Ubuntu系统 apt-get install libaio1 libaio-dev Redhat/Fedora/CentOS yum install libaio

在Ubuntu 13.04中,安装chrome会报下面这个错误(不知是不是因为我没有更新的原因:(  ): 也就是缺少名为libxss1的包. 解决办法,当然可以很简单的去找libxss1这个包下载,也可以通过下面两个命令安装这个包: 如果是缺少libnss3-1d(有的可能会缺少这种包) sudo apt-get install libnss3-1d:i386 如果是缺少libxss1 sudo apt-get install libxss1:i386 安装好后,然后在安装chrome的deb

转:http://www.th7.cn/db/nosql/201510/135382.shtml 1. HDFS的文件append功能 早期版本的HDFS不支持任何的文件更新操作,一旦一个文件创建.写完数据.并关闭之后,这个文件就再也不能被改变了.为什么这么设计?是为了与MapReduce完美配合,MapReduce的工作模式是接受一系列输入文件,经过map和reduce处理,直接产生一系列输出文件,而不是在原来的输入文件上做原位更新.为什么这么做?因为直接输出新文件比原位更新一个旧文件高效的多

ambari版本 :2.4.2 (不过各版本安装过程没啥差异) 目录: 为什么要用Ambari 概念概述 版本信息 原理简介 安装 创建集群 创建集群 手动修改配置 NameNode HA 安装SmartSense 二次开发 Ambari的升级 相关错误 为什么要用Ambari Ambari 是 Apache Software Foundation 中的一个顶级项目.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的整个生态圈产品(例如 Hive,Hbase,Sqoop,Zoo

[From] https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hbase/index.html HBase 在大数据生态圈中的位置 提到大数据的存储,大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块.大家熟知的 Spark.以及 Hadoop 的 MapReduce,可以理解为一种计算框架.而 HDFS,我们可以认为是为计算框架服务的存储层.因此不管是 Spark 还是 Map

hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1.  快速单击安装 在单机安装Hbase的方法.会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase.只要10分钟就可以完成以下的操作. 1.1下载解压最新版本 选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase

问题导读:1.配置的是谁的目录conf/hbase-site.xml,如何配置hbase.rootdir2.如何启动hbase?3.如何进入hbase shell?4.ssh如何达到互通?5.不安装NTP会发生什么情况?6.conf/hbase-env.sh文件的作用是什么?7.hbase.cluster.distributed的作用是什么?8.hbase.zookeeper.property.clientPort的作用是什么?9.hbase.zookeeper.property.dataDir

FROM:http://www.just4e.com/hbase.html Apache HBase™ 参考指南  HBase 官方文档中文版 Copyright © 2012 Apache Software Foundation.保留所有权利. Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标. Revision History Revis

HBase 官方文档 Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4 配置,数据模型使用入门 Abstract 这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库. 我(译者)熟悉Hbase的源代码,从事Hbase的开发运维工

HBase官方文档 目录 序 1. 入门 1.1. 介绍 1.2. 快速开始 2. Apache HBase (TM)配置 2.1. 基础条件 2.2. HBase 运行模式: 独立和分布式 2.3.配置文件 2.4. 配置示例 2.5.重要配置   3. 升级 3.1. 从 0.94.x 升级到 0.96.x 3.2. 从 0.92.x 升级到 0.94.x 3.3. 从 0.90.x 升级到 0.92.x 3.4. 从0.20x或0.89x升级到0.90.x   4. HBase Shell

版本 HDP:3.0.1.0 HBase:2.0.0 一.前言 之前的文章也提到过,最近工作中需要对HBase进行二次开发(参照HBase的AES加密方法,为HBase增加SMS4数据加密类型).研究了两天,终于将开发流程想清楚并搭建好了debug环境,所以就迫不及待地想写篇文章分享给大家. 二.思路 首先看到这个需求,肯定是需要先实现HBase配置AES加密<HBase配置AES加密>,或者还可以再继续了解实现SMS4加密算法<Java版SMS4加密解密算法>.等到这些都完成之后

背景:公司有些业务需求是存储在HBase上的,总是有业务人员找我要各种数据,所以想直接用Spark( shell) 加载到RDD进行计算 摘要: 1.相关环境 2.代码例子 内容 1.相关环境 Spark 版本:2.0.0 Hadoop 版本:2.4.0 HBase 版本:0.98.6 注:使用CDH5搭建集群 编写提交脚本 export SPARK2_HOME=/var/lib/hadoop-hdfs/spark-2.0.0-bin-hadoop2.4 export HBASE_LIB_HOM

HBase 集群安装 1.上传tar包,解压tar包 tar -zxvf  hbase-1.1.5-bin.tar.gz 2.修改配置文件 进入 hbase/conf/ 在文件 regionservers 加入集群主机名 在hbase-site.xml加入以下信息 <configuration><property > <name>hbase.rootdir</name> <value>hdfs://h1:9000/hbase</value&

由于项目想借助Nutch来做网络爬虫,所以一番研究,发现网上文档比较散,学习的很艰难,因此总结了一些,放上来与大家交流. 1       环境部署 Nutch有1.x系列和2.x系列,主要区别是2.x使用了Gora作为持久层媒介,可以将数据持久化到关系型数据库,更详细的介绍参考Nutch官网. 这里主要介绍采用Nutch2.3.1+HBase的方式进行部署,HBase又依赖于HDFS和Zookeeper,实际上,Nutch只是将HBase视为持久层,而并不关心HBase是单机模式还是分布模式,H