HBase学习(一) 一.了解HBase 官方文档:https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,用于存储海量的结构化或者半结构化,非结构化的数据 HBase是Hadoop的生态系统之一,是建立在Hadoop文件系统(HDFS)之上的分布式.面向列的数据库,通过利用Hadoop的文件系统提供容错能力.如果需要进行实时读写或者随机访问大规模的数据集的时候,会考虑使用HBase. HB…
Kafka是一个开源的,轻量级的.分布式的.具有复制备份.基于zooKeeper协调管理的分布式消息系统. 它具备以下三个特性: 能够发布订阅流数据: 存储流数据时,提供相应的容错机制 当流数据到达时,能够被及时处理. 首发于个人博客网站:链接地址 下载安装 本次安装只介绍在linux环境下,windows的暂时不考虑. 下载 作为一个消息中间件,kafka并不是一个jar包,而是一个完整的应用,所以直接取官网下载部署包. 下载地址:https://kafka.apache.org/downlo…
HBase安装和部署 使用的HBase版本是1.2.4 1.安装步骤(默认hdfs已安装好) # 下载并解压安装包 cd tools/ tar -zxf hbase-1.2.4-bin.tar.gz   # 重命名为hbase mv hbase-1.2.4 hbase # 将hadoop目录下的hdfs-site.xml 和 core-stie.xml拷贝到 hbase下的conf 目录中 cd /home/work/tools/hbase/conf cp /home/work/tools/ha…
本文地址:https://www.cnblogs.com/veinyin/p/10406378.html  Docker 是一个容器,可以想象成一个轻便的虚拟机,但不虚拟硬件和操作系统. 优点:启动快.占用内存小.运行环境一致,便于开发测试.便于维护. 基本概念:镜像.容器.仓库 镜像:一个特殊的文件系统,提供容器运行时所需文件以及运行时的配置参数,不包含动态数据,内容在构建之后不改变,由多层文件系统联合而成. 容器:相当于镜像的一个实例,实质是进程.容器应将数据写入数据卷中,避免写入容器存储层…
HBase学习笔记之HBase的安装和配置 我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的.为了快速的验证bulkload功能,我安装了一个节点的hadoop集群和一个节点的hbase.安装过程如下. 1.简介 2.安装环境准备 3.具体安装过程 1.简介 ========= hbase是hadoop生态系统中的一个软件,是基于hadoop的数据库软件. 2.安装环境准备 =============== hbase安装之前必须安装hadoop,所以在安装h…
Oracle RAC学习笔记:基本概念及入门 2010年04月19日 10:39 来源:书童的博客 作者:书童 编辑:晓熊 [技术开发 技术文章]    oracle 10g real application clusters introduction     1.什么是cluster     一个cluster是由两个或是多个独立的.通过网络连接的servers组成的.几个硬件供应商多年以来提供了Cluster性能的各种需求.一些Clusters仅仅为了提供高可用性的,在当前活动的node发生…
3.2.4 反向时间戳 反向扫描API HBASE-4811(https://issues.apache.org/jira/browse/HBASE-4811)实现了一个API来扫描一个表或范围内的一个范围 表反向,减少了对正向或反向扫描优化模式的需求.此功能在HBase 0.98和更高版本中可用.有关更多信息,请参阅Scan.setReversed()(https://hbase.apache.org/apidocs/org/apache/hadoop/hbase/client/Scan.h…
1.1  快速介绍 1.1.1 快速入门,单节点Hbase 本小节介绍单节点独立HBase的设置. 独立实例包含所有HBase守护进程 - Master,RegionServers和ZooKeeper  在单个JVM中运行,并保存到本地文件系统. 这是我们最基本的部署配置文件.下面会介绍如何使用hbase shell CLI(Client的简称)在HBase中创建表,向表中插入行,对表执行放置和扫描操作,启用osr禁用表以及启动和停止HBase. 除了下载HBase之外,这个过程应该不到10分钟…
Linux学习之源码包安装与脚本安装 目录 源码包与RPM包的区别 源码包安装 脚本安装 源码包与RPM包的区别 1.区别 安装之前的区别:概念上的区别 安装之后的区别:安装位置不同 源码包: 开源的 安装更慢,更容易报错 安装更自由 安装完后效率更高 RPM包: 经过编译,能看到源代码 安装更快,报错容易解决 2.RPM包安装位置与源码包安装位置 RPM包安装位置: 源码包安装位置: 安装在指定位置当中,一般是/usr/local/软件名/  3.安装位置不同带来的影响 RPM包安装的服务可以…
此文的目的: 1.重点理解Hbase的整体工作机制 2.熟悉编程api,能够用来写程序 1.  什么是HBASE 1.1.   概念特性 HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql.oralce.db2.sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库) * Hbase的表模型与关系型数据库的表模型不同: * Hbase的表没有固定的字段定义: * Hbase的表中每行存储的都是一些key-value对 * Hbase的表中有列…
如何在 centos 7.3 上安装 caffe 深度学习工具   有好多朋友在安装 caffe 时遇到不少问题.(看文章的朋友希望关心一下我的创业项目趣智思成) 今天测试并整理一下安装过程.我是在阿里云上测试,选择centos 7.3 镜像. 先安装 epel 源 1 yum install epel-release 安装基本编译环境 1 2 yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-dev…
在逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列. 但从 HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个 multi-dimensional map. 1.HBase的数据模型 1.1 HBase 逻辑结构 先从一个逻辑结构模型图开始看起: 之前介绍了一些HBase的数据模型的概念,现在来系统的梳理一下: Table(表):一个表由一个或者多个列族构成.数据的属性.比如:name.age.TTL(超时时间)等等都在列族里边定义.定义完列族的…
上一期我们介绍了Python.Pycharm.Anaconda三者之间的关系以及使用,这一期主要详细介绍如何在Windows上下载和安装工具Anaconda,然后使用其自带的conda管理不同项目的虚拟环境和下载不同版本的软件包. 前言 问题:假如你手上有两个项目,分别为项目A和项目B,项目A要求使用Python2的运行环境,而项目B要求使用Python3运行环境,那我们应该怎么办呢? 方法一: 同时下载两个版本的Python,即分别下载Python2和Python3解释器, 配置系统环境变量.…
HBase学习(四) 一.HBase的读写流程 画出架构 1.1 HBase读流程 Hbase读取数据的流程:1)是由客户端发起读取数据的请求,首先会与zookeeper建立连接2)从zookeeper中获取一个hbase:meta表位置信息,被哪一个regionserver所管理着     hbase:meta表:hbase的元数据表,在这个表中存储了自定义表相关的元数据,包括表名,表有哪些列簇,表有哪些reguion,每个region存储的位置,每个region被哪个regionserver…
接着上一篇文章<Yaf零基础学习总结1-Yaf框架简介>我们对Yaf框架有那么一个大概的了解了,但是对于程序员来说,那些文字都是表面的,他们最想的就是开始敲代码了.当然这也是学习Yaf框架最有效的方法,敲得越多肯定学得越快,对于任何语言来说也是一样的,在写代码之前我们得把Yaf框架安装上. 相比于其它PHP框架,Yaf是作为PHP的一个扩展发行的,我们也知道他是基于C语言实现的,我们看不到它的PHP代码,当然有C语言背景的人可以去看下他的C源码.知道安装PHP扩展的人基本可以略过本文了,因为Y…
原文:Entity Framework 6.1 学习系列1--概况.安装 Entity Framework:实体框架,看名字就知道是针对模型数据的.这是MS推出的一款ORM工具. 与NHibernate比较 1)Entity Framework封装性更好,增.删.改.查询更方便 2)  Entity Framework使用更方便的Linq to Entity查询,延迟加载(只有在需要时才加载,只加载需要的数据). 3)开发效率很高,使用DBFirst几乎不用编辑什么代码就能生成一个简单.通用的应…
转载自谷歌Cartographer学习(1)-快速安装测试 代码放到个人github上,https://github.com/hitcm/ 如下,需要安装3个软件包,ceres solver.cartographer和cartographer_ros 1.首先安装ceres solver,选择的版本是1.11,路径随意. git clone https://github.com/hitcm/ceres-solver-1.11.0.git mkdir build cd ceres-solver-1…
Java IO学习笔记:概念与原理   一.概念   Java中对文件的操作是以流的方式进行的.流是Java内存中的一组有序数据序列.Java将数据从源(文件.内存.键盘.网络)读入到内存 中,形成了流,然后将这些流还可以写到另外的目的地(文件.内存.控制台.网络),之所以称为流,是因为这个数据序列在不同时刻所操作的是源的不同部分.   二.分类   流的分类,Java的流分类比较丰富,刚接触的人看了后会感觉很晕.流分类的方式很多:   1.按照输入的方向分,输入流和输出流,输入输出的参照对象是…
原文:Wix学习整理(5)--安装时填写注册表 一 Microsoft操作系统的注册表 什么是注册表? 注册表是Mircrosoft Windows中的一个重要的数据库,用于存储系统和应用程序的设置信息.详细介绍参考维基百科——注册表. 如何操作注册表? 通过工具Windows操作系统自带工具regedit.exe即可对注册表进行添加.删除.修改等操作. 注册表的五个分支 注册表有五种分支:HKMU.HKCR.HKCU.HKLM和HKU.下面对这五种注册表分支进行简单介绍, HKMU:全称HKE…
原文:Wix学习整理(6)--安装快捷方式 一 为HelloWorld案例添加安装快捷方式 通常我们安装一个应用软件的时候,都喜欢在桌面或开始菜单中添加快捷方式以便我们快速访问.现在我们就在上篇添加注册信息的基础上为HelloWorld的安装包添加安装快捷方式.下面我们将以安装开始菜单快捷方式为实例详细地阐述一下Wix的关于安装快捷方式的基础知识. 首先,我们要定义好目录结构. 开始菜单快捷方式的安装目录结构与应用软件的实际安装目录结构不一样. <Directory Id="Program…
Angularjs学习---ubuntu12.04中karma安装配置中常见的问题总结   karma启动时出现了很多问题: 1.安装karma前提条件 安装karma首先要安装nodejs,npm然后才可以安装karma.nodejs,npm的安装过程可以参考文章:Angularjs学习---angularjs环境搭建,ubuntu 12.04下安装nodejs.npm和karma 2.安装karma步骤 karma官方指导教程:http://karma-runner.github.io/0.…
Asp.net与Dojo交互:仪器仪表实现 项目中需要用到仪器仪表的界面来显示实时的采集信息值,于是便遍地寻找,参考了fusionchart和anychart之后,发现都是收费的,破解的又没有这些功能,只好作罢.之后又找遍了JQuery的插件,也没有找到,于是在灰心之时,Dojo的demo界面让我欣喜若狂:Graphics, Charting and Vizualization 看罢之后,就决定采用Dojo了. 基础知识概览 这篇文章,主要讲解如何利用Dojo原生的仪器仪表界面(Dojo有很强大…
Python学习:基本概念 一,python的特点: 1,python应用场景多;爬虫,网站,数据挖掘,可视化演示. 2,python运行速度慢,但如果CPU够强,这差距并不明显. 3,严格的缩进式编程 二,python输入 1,print 'hello world','Dr' (中文:# -*- coding: utf-8 -*-申明) 2,raw_input('input:') 三,数据类型 1,类型显示:type() ,数值型和字符型都是不变量 2,转义:\n或r(不转义) 3,布尔类型:…
http://blog.csdn.net/pipisorry/article/details/50920982 Docker machine介绍 做为Docker容器集群管理三剑客之一的Docker Machine 大大简化了Docker主机部署的复杂度,极大的方便了开发者管理分布式Docker主机. Docker Machine是一个简化安装Docker环境的工具.例如,在ubuntu安装一个docker环境要按照这个系统配置教程来装,哪天又换了CentOS系统,又要按照这个系统配置教程装.市…
本文转自:https://blog.csdn.net/qq_19348391/article/details/82998391 Docker学习之一:注册Docker Hub账号 Docker学习之二:Docker基本简单操作命令 Docker学习之三:Docker在linux下简单安装使用 Docker学习之四:使用docker安装mysql,碰到了一个启动的坑 第一步,从docker中拉取MySQL镜像 $ sudo docker pull mysql $ sudo docker image…
前言 最初,Git是用于Linux下的内核代码管理.因为其非常好用,目前,已经被成功移植到Mac和Windows操作系统下. 鉴于大部分使用者使用的是Windows操作系统,故,这里详细讲解Windows操作系统下Git的安装步骤. 当然我也会陆续写出Linux和Mac操作系统下Git的安装步骤. 安装前的说明   Git在windows平台上安装说明. Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件.目前Git已经可以在windo…
python3.4学习笔记(十八) pycharm 安装使用.注册码.显示行号和字体大小等常用设置Download JetBrains Python IDE :: PyCharmhttp://www.jetbrains.com/pycharm/download/ PyCharm首页.文档和下载 - Python集成开发环境 - 开源中国社区http://www.oschina.net/p/pycharm=============================================修改…
20175310 <Java程序设计>第1周学习总结(1)安装虚拟机 开学前老师在蓝墨云班课上上传了预备作业,其中有一个就是安装Linux操作系统,参考了<>,下载安装VirtualBox和安装Ubuntu都没有出现问题,但是安装完Ubuntu要启动虚拟机时出现了问题,如下图. 在网上搜了许多类似的问题,试了许多办法:重新安装最新版本的VirtualBox和Ubuntu,更换中文目录,更改属性中的兼容模式,在微软官网下载补丁安装,更改虚拟介质管理器中虚拟硬盘的位置等等,可以说我把能…
不多说,直接上干货! 前面博客 Git学习系列之Windows上安装Git详细步骤(图文详解) 第一次使用Git时,需要对Git进行一些配置,以方便使用Git. 不过,这种配置工作只需要进行一次便可,日后对Git进行升级时,会沿用现在的配置. 1.Git配置用户信息 配置用户信息的作用是用于标识追踪提交代码的操作者. 比如说,在团队协作中,如果对某一部分代码有疑问,便可以通过该用户信息定位到是谁提交的这部分代码,便可以找他进一步交流. 在个人的版本仓库中,或许你会觉得就自己一个人在做,是否可以不…
Docker学习之基本概念 作为一个后端noder,不了解docker有点说不过去,这节开始,学习一些docker层面的东西. 什么是docker Docker最初是dotCloud公司创始人Solomon Hykes在法国期间发起的一个公司内部项目,它是基于dotCloud 公司多年云服务技术的一次革新,并于2013年3月以Apache2.0授权协议开源,主要项目代码在GitHub上进行维护.Docker项目后来还加入了Linux基金会,并成立推动开放容器联盟(OCI). Docker使用Go…