HBase安装和部署 使用的HBase版本是1.2.4 1.安装步骤(默认hdfs已安装好) # 下载并解压安装包 cd tools/ tar -zxf hbase-1.2.4-bin.tar.gz   # 重命名为hbase mv hbase-1.2.4 hbase # 将hadoop目录下的hdfs-site.xml 和 core-stie.xml拷贝到 hbase下的conf 目录中 cd /home/work/tools/hbase/conf cp /home/work/tools/ha…
1.Hbase简介 1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5. sqoop提供Hbase到关系型数据库中数据导入功能 6. Hive和pig提供高层语言支持如HSQL 2. 伪分布式安装 准备: 安装Hadoop 详细见上一篇日志: hadoop分布式安装 hbase版本: hbase-0.94.7-security.tar.gz 安装目录 /usr/local 步骤: 1.  安装…
这里介绍使用java api来访问和操作HBase,例如create.delete.select.update等操作. 1.HBase配置 配置HBase使用的zookeeper集群地址和端口. private static Configuration configuration; static { configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.property.clientPort…
需要分别从Oracle和文本文件往HBase中导入数据,这里介绍几种数据导入方案. 1.使用importTSV导入HBase importTSV支持增量导入.新数据插入,已存在数据则修改. 1.1.首先将待导入文本test_import.txt放到hdfs集群 文本格式如下(从网上找的虚拟话单数据).逗号分隔,共13个字段,其中第1个字段作为rowkey. 1,12026546272,2013/10/19,20:52,33分18秒,被叫,13727310234,北京市,省际,0,32.28,0.…
1.使用hbase shell连接hbase 2.输入help可以查看帮助 3.输入list查看当前hbase中的所有表 4.使用create创建表test 其中test是表名,cf是列族.该表只创建了一个列族. 5.使用list查看表test的信息 6.使用put往表test中添加数据 格式:put ‘<tablename>’, ‘<rowkey>’, ‘<field>’, ‘<value>’ 上面插入了两条记录.row_key1和row_key2是主键,…
HBase学习笔记之HBase的安装和配置 我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的.为了快速的验证bulkload功能,我安装了一个节点的hadoop集群和一个节点的hbase.安装过程如下. 1.简介 2.安装环境准备 3.具体安装过程 1.简介 ========= hbase是hadoop生态系统中的一个软件,是基于hadoop的数据库软件. 2.安装环境准备 =============== hbase安装之前必须安装hadoop,所以在安装h…
这两天把要前几天的知识点回顾一下,接下来我会用自己对知识点的理解来写一些东西 一.知识点回顾 1.hbase集群启动:$>start-hbase.sh ===>hbase-daemon.sh start hmaster   +  hbase-daemon.sh start regionserver    hbase集群关闭:$>stop-hbase.sh   ===>hbase-daemon.sh staop hmaster +hbase-daemon.sh stop region…
Tomcat安装 通常情况下我们要配置Tomcat是很容易的一件事情,但是如果您要架设多用户多服务的Java虚拟主机就不那么容易了.其中最大的一个问题就是Tomcat执行权限.普通方式配置的Tomcat是以root超级管理员的身份运行的,显然,这是非常危险的,可想而知,一但网站被挂马,您的整个服务器都可以被黑客控制了.而通过编译或在线(例如redhat系列的yum, debian系列的apt-get)的方式安装,一个服务器上又只能装一个tomcat的服务,如果将多个网站放到同一个tomcat服务…
golang学习笔记9 beego nginx 部署 nginx 反向代理 golang web Nginx 部署 - beego: 简约 & 强大并存的 Go 应用框架https://beego.me/docs/deploy/nginx.md Go 是一个独立的 HTTP 服务器,但是我们有些时候为了 nginx 可以帮我做很多工作,例如访问日志,cc 攻击,静态服务等,nginx 已经做的很成熟了,Go 只要专注于业务逻辑和功能就好,所以通过 nginx 配置代理就可以实现多应用同时部署,如…
OracleDesigner学习笔记1――安装篇   QQ:King MSN:qiutianwh@msn.com Email:qqking@gmail.com 一.       前言 Oracle是当今最流行的关系型数据库之一,和很多朋友一样,我也是一个Oracle的爱好者,从开始的7.3(我所接触的第一个版本)到现在的10G,可以说Oracle公司每推出一个新的版本,都有很多令人激动的新东西带给我们,这可能也是令广大朋友着迷的地方吧. 众所周之,Oracle公司并仅仅是一个关系型数据库厂商,她…
Quartz学习笔记:集群部署&高可用 集群部署 一个Quartz集群中的每个节点是一个独立的Quartz应用,它又管理着其他的节点.这就意味着你必须对每个节点分别启动或停止.Quartz集群中,独立的Quartz节点并不与另一其的节点或是管理节点通信,而是通过同一个数据库表来感知到另一Quartz应用的. 因为Quartz集群依赖于数据库,所以必须首先创建Quartz数据库表,Quartz发布包中包括了所有被支持的数据库平台的SQL脚本.这些SQL脚本存放于<quartz_home>…
前一节演示如何使用Nginx反向代理 .net Core项目容器,地址:Docker学习笔记之-部署.Net Core 3.1项目到Docker容器,并使用Nginx反向代理(CentOS7)(二) 接下来演示 在docker中安装:Microsoft Sql Server 安装先决条件: 1,物理磁盘空间不得少于 2GB 2,RAM内存不得少于 2GB, 最少3GB及以上 第一步:查找官方提供了哪些版本 docker search mssql 选择第一个:microsoft/mssql-ser…
1 说明与概述 1.1 说明 以下内容大部分来源于TP6完全开发手册,以手册为主附上个人理解,仅作学习使用. 1.2 概述 第一篇学习笔记,主要记录TP6的基础,包括TP6简介,安装,Hello World,目录结构,配置等. 2 TP6 TP是一个免费的开源的,快速的,简单的面向对象的轻量级的PHP开发框架,是为了敏捷WEB应用开发和简化企业应用开发而诞生的.TP遵循Apache2开源许可协议发布,意味着可以免费使用TP,甚至允许基于TP开发的应用开源或商业产品发布/销售. 3 TP6主要新特…
下载地址  http://www.cubrid.org/?mid=downloads&item=any&os=detect&cubrid=9.3.0 选择适合你的服务器版本 linux windows  64等 下面的是工具,也可以选择性下载 二 安装. 我选的是windows 版本. 一路下一步就可以. 其中有2个步骤是可选的,一个是安装路径,一个是是否安装示例数据库. 注:这个软件语言只有英文和韩文 三  查看 安装情况.  右下方的托盘会有个图标. 看看服务是否成功启动. 四…
零零散散学了几天nodejs,进度一直停滞不前,今天沉下心来好好看了下nodejs的介绍和代码.自己也试着玩了下,算是有点入门了. 这里来做个学习笔记. ———————————————————————————————————————————————————————————— 首先简单介绍下nodejs.引用大牛们的介绍: nodejs是由chrome浏览器,V8引擎,c++编写,本质是一个JavaScript运行环境. 再来说下本菜自己的理解:nodejs是一套支持js语言做服务器端操作的运行环…
技术资料 docker中文官网:http://www.docker.org.cn/ 中文入门课程:http://www.docker.org.cn/book/docker.html docker学习笔记:http://www.open-open.com/lib/view/open1423703640748.html 深入浅出docker:http://www.infoq.com/cn/articles/docker-core-technology-preview 安装 参考:http://www…
Docker学习笔记(2-4)Docker应用实验-redist server 和client的安装使用 一.获取redis容器(含客户端和服务端) 二.创建服务端容器 1.在终端A中运行redis-server容器 查询本地镜像 :sudo docker images 运行服务端     :sudo docker run -d redis 查看服务端地址:sudo docker inspect -f '{{.NetworkSettings.IPAddress}}' c6c3 sudo dock…
在windows下安装Nginx其实非常简单,只需如下几个步骤: 1. 在Nginx官网下载相应版本的安装程序,上面有最新版.稳定版等各种版本,正式运营的项目建议下载最新的稳定版 2.将下载后的压缩包解压到将要安装Nginx的硬盘上 Nginx文件夹内的架构目录为: 3.使用命令提示符工具,进入上述Nginx文件夹内,使用命令 start nginx.exe 安装Nginx,具体过程如下 4.安装成功后,会在任务管理器中看到nginx的进程 5.如果进程中没有出现Nginx.exe,说明安装失败…
这段时间一直在摸索swing,用它来封装C++代码来生成python脚步语言.并总结了swing从安装到配置再到代码封装编译生成动态库的整个过程,下面这篇文章都是我在实际的运用中的一些经验总结,分享给大家. Python调用C/C++代码的利器除了boost_python外,还有SWIG(Simplified Wrapper and Interface Generator),它是用来为脚本语言调用C和C++程序的软件开发工具,它实际上是一个编译器,获取C/C++的声明和定义,用一个壳封装起来,以…
Hbase shell 启动 下载安装hbase client包,填写相关配置后进入,配置相关说明可以参见配置篇 指令:./bin/hbase shell 状态及配置信息查询 查询服务器状态 status 查询版本 version DDL: 创建一个表 create '表名','列族1','列族2','列族3' eg: create 'member','member_id','address','info' 获取所有表 hbase(main):012:0>list 获得表的描述 describe…
Java 平台安装与部署 jre,jdk安装与部署 1)jre,jdk安装过程(略) 2)部署过程 新建(JAVA_HOME) 变量名:JAVA_HOME 变量值:E:\Program Files (x86)\Java\jdk1.7.0(该目录为JDK安装的路径,此路径下包括lib,bin,jre等文件夹) 编辑(CLASSPATH),若没有该变量则需新建:CLASSPATH为java加载类(class or lib)路径,只有类在classpath中,java命令才能识别 变量名:CLASSP…
本次学习是基于Window10进行的.语言为python3. 1 与opencv相关的库简介 1.1 numpy numpy 是 OpenCV 绑定 python 时所依赖的库,此意味着numpy在安装opencv前必须安装的库. numpy是提供数值计算函数,这种工具可用来储存和处理大型矩阵,具有高效的矩阵(matrix)计算函数,其比python自身的嵌套列表(nested list structure)结构要高效的多. 1.2 SciPy 该库是一个与numpy 密切相关的科学计算库.虽然…
HBase学习之BulkLoad bulkload的学习以后再写文章. 参考资料: 1.https://blog.csdn.net/shixiaoguo90/article/details/78038462,使用hbase自带的importtsv实现bulkload,重点参考,hbase自带的bulkload只有在hbase1.0版本中有,2.0版本中没有,参考这篇文章已经成功实现了bulkload了. 2.https://blog.csdn.net/embracejava/article/de…
HBase学习指南之HBase原理和Shell使用 参考资料: 1.https://www.cnblogs.com/nexiyi/p/hbase_shell.html,hbase shell…
学习是一个累积的过程.在这个过程中,我们不仅要学习新的知识,还需要将以前学到的知识进行回顾总结. 前面讲述了Python使用ctypes直接调用动态库和使用Python的C语言API封装C函数, C++写python扩展模块有很多种方式,我选择的是boost.python来编写的,感觉这个要比其他的方式要简单很多,本文概述方便封装C++类给Python使用的boost_python库. : sudo aptitude install libboost-python-dev 示例 下面代码简单实现…
原文地址:http://dbase.cc/2018/01/12/docker/04_rancher的部署安装/ 为什么要使用Rancher Rancher是一个开源的企业级容器管理平台.通过Rancher,企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台.Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台. Rancher的官方文档:https://rancher.com/docs/rancher/latest/en/ 下图展示了Ra…
一,卸载jdk 1.确定jdk版本 #rpm -qa  | grep jak 可能的结果: java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64 2.卸载系统自带的jdk #yum -y remove   java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 #yum -y remove  ja…
1.首先我们得确定自己使用的eclipes的版本,具体方式:打开eclipes > help > About Eclipes > 点击eclipes的logo > 查看eclipes platform Version. 2.根据我们自己的eclipes的版本,确定我们所需要下载的插件版本,网址:http://spring.io/tools/sts/all.我们采用本地安装,所以需要将相应的包下载,直接下载 3.在eclipse中进行插件的安装:Help  >   Instal…
内嵌模式,存储于本地的Derby数据库中,只支持单用户 本地模式,支持多用户多会话,例如存入mysql 下载解压hive后,进到conf路径,将模板拷贝 出现该错误表示权限不够 该目录未找到 新建一个/tmp/hive目录,可建在集群同级目录,然后修改hive-site.xml文件 再次执行hive: 发现路径前多了个$符,删除即可 内嵌模式安装完毕 安装数据库后,在数据库中创建hive账户: 之后退出,然后用hive账号进入mysql验证,然后下载mysqljdbc驱动,放到hive的lib目…
此文的目的: 1.重点理解Hbase的整体工作机制 2.熟悉编程api,能够用来写程序 1.  什么是HBASE 1.1.   概念特性 HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql.oralce.db2.sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库) * Hbase的表模型与关系型数据库的表模型不同: * Hbase的表没有固定的字段定义: * Hbase的表中每行存储的都是一些key-value对 * Hbase的表中有列…