今天,上海尚学堂大数据培训班毕业的一位学生去参加易普软件公司面试,应聘的职位是大数据开发.面试官问了他10个问题,主要集中在Hbase.Spark.Hive和MapReduce上,基础概念.特点.应用场景等问得多.看来,还是非常注重基础的牢固.整个大数据开发技术,这几个技术知识点占了很大一部分.那本篇文章就着重介绍一下这几个技术知识点. 一.Hbase 1.1.Hbase是什么? HBase是一种构建在HDFS之上的分布式.面向列的存储系统.在需要实时读写.随机访问超大规模数据集时,可以使用HB…

1.IOC概念理解 IOC(Inversion of Control)即“控制反转”,不是什么技术,而是一种设计思想.在Java开发中,Ioc意味着将你设计好的对象交给容器控制,而不是传统的在你的对象内部直接控制,IOC容器负责实例化.定位.配置应用程序中的对象及建立这些对象间的依赖,由spring来负责控制对象的生命周期和对象间的关系. DI(Dependency Injection)即“依赖注入”:由容器动态的将某个依赖关系注入到组件之中.依赖注入的目的并非为软件系统带来更多功能,而是为了提…

Kubernetes重要概念理解 kubernetes是目前最主流的容器编排工具,是下一代分布式架构的王者.2018年的kubernetes第一个版本1.10已经发布.下面整理一下,kubernetes的一些基本概念.kubernetes将集群中的机器划分为Master节点和工作节点(Node).其中Master节点上面运行着管理集群的一组进程kube-apiserver.kube-controller-manager,和kube-schedule,还有etcd服务.node作为集群中的工作节点…

组织模型   资源模型  操作模型 谁能够执行哪些操作    执行资源的范围 资源概念资源就是想要的到的最终物质,我们可以给每一个资源定义一个权限,也可以给某一类资源定义一个权限 权限概念权限是对资源的一种保护访问.用户要访问A资源前提是用户必须有A资源的访问权限. 角色概念实事上我们不会直接把权限赋予给用户,而是通过角色来赋予给用户,因为用户拥有某一种权限是因为用户扮演着某一种角色.A 是 个经理,他管理着B公司,他拥有b,c,d的权限.实际是不是A有这个权限,而是因为Abo是经理.因为经理拥…

1.es与MySQL的概念对比 2.概念理解 2.1 Index : 一个索引即是文档的集合 2.2 Document : 一个文档即是一个可被索引的基础单元信息,一条记录: 2.3 Replicas : 索引一份或多份存储,可以理解成冗余存储以防数据丢失: 2.4 shards : 一个索引被截断若干小片存储,每个片就是一个shard. 参考:http://www.dataguru.cn/thread-608747-1-1.html https://www.cnblogs.com/keving…

fragment概念理解知识,fragment概念理解图片 fragment概念理解内容,fragment概念理介绍,fragment概念理正文 Fragment是Android honeycomb 3.0新增的概念,你可以将Fragment类比为Activity的一部分,它拥有自己的生命周期,接收自己的输入,你可以在Activity运行的时加入或者移除Fragment.(或者我们也可以将Fragment类比为一个可以在不同的Activity中重用的子Activity. Fragment总是嵌入…

参考资料:http://jingyan.baidu.com/article/7082dc1c76f178e40a89bdd3.html: http://bbs.csdn.net/topics/380197703 sudo -i  表示进入root权限 fdisk -l 表示查看一下U盘是否有被识别到,及识别的U盘是在哪个位置 mount /dev/sdb4 /mnt 表示挂载优盘指令 cd /mnt 可以查看优盘中的文件,但是挂载点之前的文件暂时不能查看 完成这个操作,需要理解挂载的概念,在li…

简介 Ceph是一个可靠地.自动重均衡.自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储.块设备存储和文件系统服务. 在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储.Glance的镜像存储和虚拟机的数据存储. 比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘. 与其他存储相比的优势: 充分利用了存储节点上的计算能力 在存储每一个数据时…

作用域 作用域永远都是任何一门编程语言中的重中之重,因为它控制着变量与参数的可见性与生命周期.说到这里我们需要理解两个概念:块级作用域与函数作用域. 函数作用域 这个应该好理解,函数作用域就是说定义在函数中的参数和变量在函数外部是不可见的. 大多数类C语言都拥有块级作用域,JS却没有.请看下文demo: //C语言 #include <stdio.h> void main() { int i=2; i--; if(i) { int j=3; } printf("%d/n",…

原文http://www.kankanews.com/ICkengine/archives/10788.shtml Keystone简介 Keystone(OpenStack Identity Service)是OpenStack框架中,负责身份验证.服务规则和服务令牌的功能, 它实现了OpenStack的Identity API.Keystone类似一个服务总线, 或者说是整个Openstack框架的注册表, 其他服务通过keystone来注册其服务的Endpoint(服务访问的URL),任何…