1. hdfs基本工作流程 1. hdfs初始化目录结构 hdfs namenode -format 只是初始化了namenode的工作目录 而datanode的工作目录是在datanode启动后自己初始化的 namenode在format初始化的时候会形成两个标识: blockPoolId: clusterId: 新的datanode加入时,会获取这两个标识作为自己工作目录中的标识 一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然 持有原来的i…

AXI总线的工作流程---握手机制 信息来源 首先分析AXI Master的工作机制 握手机制 CMD和Data的流程图: 写操作流程:write transaction flow read操作的流程图:read command timing diagram 此处应该是有错误,既然是读操作,信号名字应该为:araddr arlen... bready data flow…

Day37 Cookie&Seesion会话 1.1.1 什么是cookie 当用户通过浏览器访问Web服务器时,服务器会给客户端发送一些信息,这些信息都保存在Cookie中.这样,当该浏览器再次访问服务器时,都会在请求头中将Cookie发送给服务器,方便服务器对浏览器做出正确的响应. 1.1.2   1.1.3   1.1.4   1.1.5 会话技术 l 概念: 用户打开浏览器,点击多个超链接访问服务器的web资源,然后关闭浏览器,整个过程称之为一次会话.(打电话) l 作用: 每个用户与服…

一.AOF持久化的配置 配置文件redis.conf,AOF持久化默认是关闭的,默认是打开RDB持久化 appendonly yes     二.工作流程: 打开AOF持久化机制之后,redis每次接收到一条写命令,就会写入日志文件中,当然是先写入os cache的,然后每隔一定时间再fsync一下 可以配置AOF的fsync策略,有三种策略可以选择, always: 每次写入一条数据,立即将这个数据对应的写日志fsync到磁盘上去,优点是保证数据都不会丢,但是性能非常非常差,吞吐量很低 eve…

1.Kafka工作流程 Kafka中的消息以Topic进行分类,生产者与消费者都是面向Topic处理数据. Topic是逻辑上的概念,而Partition是物理上的概念,每个Partition分为多个Segment,每个Segment对应两个文件,一个索引文件,一个日志文件.Producer生产的数据会被不断的追加到日志文件的末端,且每条数据都有自己的offset.消费组中的每个Consumer都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费. 2.文件存储机制 由…

kafka工作流程: 每个分区都有一个offset消费偏移量,kafka并不能保证全局有序性. Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的.(文件topic_partition命名) topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文 件,该 log 文件中存储的就是 producer 生产的数据.Producer 生产的数据会被不断追加到该 log 文件末端,且每条数…

前言 很高兴遇见你~ 本文是事件分发系列的第三篇. 在前两篇文章中,Android事件分发机制一:事件是如何到达activity的? 分析了事件分发的真正起点:viewRootImpl,Activity只是其中的一个环节:Android事件分发机制二:viewGroup与view对事件的处理 源码解析了viewGroup和view是如何分发事件的. 事件分发的核心内容,则为viewGroup和view对事件的分发,也就是第二篇文章.第二篇文章对源码的分析较为深入,缺乏一个更高的角度来审视事件分发…

1.  概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--…

一. OpenStack组件之间的逻辑关系 OpenStack 是一个不断发展的系统,所以 OpenStack 的架构是演进的,举个例子: E 版本有5个组件  Compute 是 Nova:Image 是 Glance,为 Nova 提供镜像存储服务:Object 是提供 Object 存储服务的 Swift:Dashboard 是我们平时说的 Horizon:Identity 是 Keystone: F版本有7各组件,核心组件: 有这七个组件可以搭出一个相对完整的云计算环境,Heat.Sah…

一.概述     将公司集群升级到Yarn已经有一段时间,自己也对Yarn也研究了一段时间,现在开始记录一下自己在研究Yarn过程中的一些笔记.这篇blog主要主要从大体上说说Yarn的基本架构以及其各个组件的功能.另外,主要将Yarn和MRv1做详细对比,包括Yarn相对于MRv1的各种改进.最后,大概说说Yarn的工作流情况. 二.Yarn和MRv1对比 (1)扩展性对比. 在MRv1中,JobTracker是个重量级组件,集中了资源管理分配.作业控制两大核心功能,随着集群规模的增大,Job…