Hadoop是分布式文件系统 并行处理系统:高效存储和高效处理组件 Mapreduce,函数式编程机制,分Map阶段和reduce阶段,他不但是一个编程方式,同时也是个运行框架,它分两个阶段 Map阶段:抽取各个键值对生成键值对结果集(一般存在本地),这些键值对存储下来并进行排序 reduce阶段:将Map的结果合并成处理结果的机制 所有Map完成才能启动reduce处理 MapReduce是一个批处理作业系统(运行一段无法预估的时间)而不是实时系统. GFS(The Google File S…

NoSQL数据库笔谈 databases , appdir , node , paper颜开 , v0.2 , 2010.2 序 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 不要删除数据 RAM是硬盘,硬盘是磁带 Amdahl定律和Gustafson定律 万兆以太网 手段篇 一致性哈希 亚马逊的现状 算法的选择 Quorum NRW Vector clock Virtual node gossip Gossip (State Transfer Model) Gossip…

CAP,BASE和最终一致性是NoSQL数据库存在的三大基石.而五分钟法则是内存数据存储的理论依据.这个是一切的源头. 几个名词解释: 网络分区:俗称“脑裂”.当网络发生异常情况,导致分布式系统中部分节点之间的网络延时不断变大,最终导致组成分布式系统的所有节点中,只有部分节点之间能够进行正常通信,而另一些节点则不能.当网络分区出现时,分布式系统会出现局部小集群. 三态:分布式系统的每一次请求和响应包含:成功,失败,超时三种状态. CAP CAP理论,指的是在一个分布式系统中,不可能同时满足Con…

NoSQL数据库笔谈 databases , appdir , node , paper颜开 , v0.2 , 2010.2 序 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 不要删除数据 RAM是硬盘,硬盘是磁带 Amdahl定律和Gustafson定律 万兆以太网 手段篇 一致性哈希 亚马逊的现状 算法的选择 Quorum NRW Vector clock Virtual node gossip Gossip (State Transfer Model) Gossip…

前期准备: 1.系统基本形况: ip hostname role server loginName 192.168.1.101 h1 NameNode,ResourceManager centos7_64 hwd 192.168.1.102 h2 DataNode, NodeManager centos7_64 hwd 192.168.1.103 h3 DataNode, NodeManager centos7_64 hwd 2.各个系统之间实现用自己的用户名ssh无密钥登陆 3.在各个机器上安…