https://blog.csdn.net/kxd_ysheng/article/details/21178101?_t=t PBOCIC读芯片卡流程,参考上面的博客,整理了一下PBOCIC卡读流程. 上面博客内容估计也是参考别人的,所以好几处错误跟网上其他的地方一样,我将其中错误改正了一下,同时增加了更加详细的说明 读PBOCIC卡过程开始 (一)应用选择        一张银联IC卡里面可能有多个应用,所谓应用就是卡片和终端(如读卡器)之间的应用协议和相关的数据集,读卡器和卡的交互其实就是和…

五.Raid1读流程分析 两个月前,刚刚接触raid1,就阅读了raid1读流程的代码,那个时候写了一篇博客.现在回过头看看,那篇的错误很多,并且很多地方没有表述清楚.所以还是决定重新写一篇以更正之前理解的错误和不足之处,与大家分享.博客上不好排版,希望不会对表述产生影响.还有理解上的不足之处,希望批评指正.我阅读的代码的linux内核版本是2.6.32.61. 正确读流程的总体步骤是,raid1接收上层的读bio,申请一个r1_bio结构.然后根据read balance算法选出盘阵中的一块盘…

本文引用了架构师之路公众号作者沈剑的文章,内容有改动,感谢原作者. 1.前言 我们平时在使用即时通讯应用时候,每当发出一条聊天消息,都希望对方尽快看到,并尽快回复,但对方到底有没有真的看到?我却并不知道. 一个残酷的现实是,很多时候对方其实是早就已经看到了这条消息,但出出种种原因(大家都懂的),通常都是默默返回——假装没看见. 像微信这样的熟人社交工具,在产品的设计理念上,为了保持使用者的隐私性,在线状态.已读回执等涉及隐私的功能,都没有提供.但很多时候,尤其商务.办公场合下,特别需要一种强反馈…

转载注明出处,整理也是需要功夫的,http://www.cnblogs.com/chenxianpao/p/5572859.html 一.OSD模块简介 1.1 消息封装:在OSD上发送和接收信息. cluster_messenger -与其它OSDs和monitors沟通 client_messenger -与客户端沟通 1.2 消息调度: Dispatcher类,主要负责消息分类 1.3 工作队列: 1.3.1 OpWQ: 处理ops(从客户端)和sub ops(从其他的OSD).运行在op…

除了对齐读流程中读失败通过条带重试的场景会进入到条带读,当IO覆盖范围超过一个chunk时也会进入条带读(如向chunk为4K的RAID下发起始位置为1K大小为4K的IO),接下来我们就这部分逻辑进行分析. 1 IO加入链表 首先 bio 通过 add_stripe_bio() 函数被挂载到条带头指向成员磁盘设备的 toread上,代码如下所示: /* 只保留读请求相关处理逻辑 */ static int add_stripe_bio(struct stripe_head *sh, struct…

上文我们从netty-example的Discard服务器端示例分析了netty的组件,今天我们从另一个简单的示例Echo客户端分析一下上个示例中没有出现的netty组件. 1. 服务端的连接处理,读写处理 echo客户端代码: /** * Sends one message when a connection is open and echoes back any received * data to the server. Simply put, the echo client initia…

前文分析了 NameNode,本文进一步解析 DataNode 的设计和实现要点. 文件存储 DataNode 正如其名是负责存储文件数据的节点.HDFS 中文件的存储方式是将文件按块(block)切分,默认一个 block 64MB(该大小可配置).若文件大小超过一个 block 的容量可能会被切分为多个 block,并存储在不同的 DataNode 上.若文件大小小于一个 block 的容量,则文件只有一个 block,实际占用的存储空间为文件大小容量加上一点额外的校验数据.也可以这么说一个…

一.基本概念                                                          我们通俗一点讲: Level_triggered(水平触发):当被监控的文件描述符上有可读写事件发生时,epoll_wait()会通知处理程序去读写.如果这次没有把数据一次性全部读写完(如读写缓冲区太小),那么下次调用 epoll_wait()时,它还会通知你在上没读写完的文件描述符上继续读写,当然如果你一直不去读写,它会一直通知你!!!如果系统中有大量你不需要读写的就…

一:读写思想 1.系统表 hbase:namespace 存储hbase中所有的namespace的信息 hbase:meta rowkey:hbase中所有表的region的名称 column:regioninfo:region的名称,region的范围 server:该region在哪台regionserver上 2.读写流程 tbname,rowkey  ->   region  ->  regionserver  ->  store ->  storefile 但是这些都是…

本文翻译主要来自Datastax的cassandra1.2文档.http://www.datastax.com/documentation/cassandra/1.2/index.html.此外还有一些来自于相关官方博客. 该翻译作为ISE实验室大数据组Laud的学习材料的一部分,适合对Cassandra已经有一定了解的读者. 未经本人许可,请勿转载. 简述数据模型 1.不是sql(没有事务.没有join),但是不仅仅是kv 2.来自于Google BigTable的灵感. 3.基于列族的. 例…

Heroku因"随机调度+Rails单线程处理导致延迟增加的负载均衡失败"的案例之后,我们在思考:在负载均衡测试时发现问题并妥善解决的成功经验有没有?于是,挖掘出"淘宝在双十一压测OB时发现存在严重的随机访问导致负载不均问题,并通过加权算法妥善解决"的成功案例,也就是本文. 编者按: 在CSDN云计算频道日前所做的文章<响应高达6秒 用户揭露Heroku私自修改路由造成高支出>中,网友们认为这是"因随机调度+Rails的单线程处理导致延迟增加的…

故事的开端是这样的,小白是一个程序员,他确实也是一个小白,目前还在程序员发展的道路上,兢兢业业的小心求学. 有一天,小白接到一个任务,完成一个Winform程序,附加一个功能就是可以读IC卡. 小白终于有机会一展身手了!!不免内心兴奋. 再联系了IC卡厂家,拿到开发SDK后,小白不久就碰到了以下难题: 1.厂家的读卡器是通过API给定的事件ReadCard()驱动的,而读卡器在ReadCard事件驱动以后,可以在往后的3s以内侦测是否有IC卡片在附近: (1)3s内,有IC卡在设备附近,立即读卡…

http://wenku.baidu.com/link?url=R-QoZXhc918qoO0BX6eXI9_uPU75whF62vFFUBIR-7c5XAYUVxDRX5Rs6QZR9hrBnUdMdVHNSHdjYtv7i28lCSng1iuWO620ML_wqJZYFge Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台.Google的大牛们用了下面5篇文章,介绍了它们的计算设施. GoogleCluster:http://research.g…

本想就此结束Raid1的专题博客,但是觉得Raid1中自己构建的一套barrier机制的设计非常巧妙,值得单独拿出来分析.它保证了同步流程和正常读写流程的并发性,也为设备冻结/解冻(freeze/unfreeze)机制提供了保障. Barrier的意思就是,在某个请求设置上barrier之后,要先挡住barrier请求之后到来的请求,并催促barrier请求之前还未完成的请求执行,等待之前的请求全部返回完成之后,开始处理barrier请求,直到barrier请求完成之后,才允许barrier请求…

Raid1的源码的读.写.同步,在本系列博客中都已经分析完成.除了barrier机制要专门拿出来分析(下一篇会写)以外,有一些问题值得思考和注意,分析如下. 1.freeze_array是如何做的? 通过barrier挡住上层用户io请求,并且nr_waiting++计数.nr_pending表示未完成的请求数,nr_queue表示retrylist的r1_bio数量.conf->nr_pending == conf->nr_queued+1表示没有正常的处理请求了,满足这个条件的时候就进行r…

8.1. Process Instance State jBPM允许某些信息的持久性存储.本章描述了这些不同类型的持久性,以及如何配置它们.存储的信息的一个例子是运行时状态的过程.存储过程运行时状态是必要的,为了能够继续执行流程实例在任何时候,如果出现错误.此外,过程定义本身,和历史信息(日志的当前和以前的进程状态已经)也可以坚持. 8.1.1. Runtime State 每当开始一个过程,一个流程实例被创建时,它表示在特定上下文的执行过程.例如,当执行一个过程,指定如何处理销售订单,一个流程…

故事的开端是这样的,小白是一个程序员,他确实也是一个小白,目前还在程序员发展的道路上,兢兢业业的小心求学. 有一天,小白接到一个任务,完成一个Winform程序,附加一个功能就是可以读IC卡. 小白终于有机会一展身手了!!不免内心兴奋. 再联系了IC卡厂家,拿到开发SDK后,小白不久就碰到了以下难题: 1.厂家的读卡器是通过API给定的事件ReadCard()驱动的,而读卡器在ReadCard事件驱动以后,可以在往后的3s以内侦测是否有IC卡片在附近: (1)3s内,有IC卡在设备附近,立即读卡…

poptest是国内唯一一家培养测试开发工程师的培训机构,以学员能胜任自动化测试,性能测试,测试工具开发等工作为目标.如果对课程感兴趣,请大家咨询qq:908821478,咨询电话010-84505200.POPTEST是国内最早在大数据测试领域中探索的机构,已经形成了先进的行业课程体系和教学方法.poptest陆续会推出大数据方面的知识分享. Hadoop主要由HDFS和MapReduce引擎两部分组成. •http://hadoop.apache.org/ 从0.20.X分支发展出hadoo…

前文分析了 NameNode,本文进一步解析 DataNode 的设计和实现要点. 文件存储 DataNode 正如其名是负责存储文件数据的节点.HDFS 中文件的存储方式是将文件按块(block)切分,默认一个 block 64MB(该大小可配置).若文件大小超过一个 block 的容量可能会被切分为多个 block,并存储在不同的 DataNode 上.若文件大小小于一个 block 的容量,则文件只有一个 block,实际占用的存储空间为文件大小容量加上一点额外的校验数据.也可以这么说一个…

1. 背景 最近在学习 Zookeeper,在刚开始接触 Zookeeper 的时候,完全不知道 Zookeeper 有什么用.且很多资料都是将 Zookeeper 描述成一个“类 Unix/Linux 文件系统”的中间件,导致我很难将类 Unix/Linux 文件系统的 Zookeeper 和分布式应用联系在一起.后来在粗读了<ZooKeeper 分布式过程协同技术详解>和<从Paxos到Zookeeper 分布式一致性原理与实践>两本书,并动手写了一些 CURD demo 后,…

以下是一些 常用功能 , 基于 centos 6.5 x64 # cp /etc/localtime /etc/localtime.org # rm /etc/localtime # ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #启用中文支持 vim /etc/profile export LC_ALL="zh_CN.UTF-8" export LANG="zh_CN.UTF-8" export LC…

经历过的打表工具从c++.C#,再到Python,算下来还是Python方便些.一天即可上手开发,非常适合快速迭代中的各种小工具开发. Python开源的第三方库很多,涉及excel方面的也有好几个xlrd.xlwt.xlutils 等等. 1. xlrd\xlwt xlrd 主要实现excel文件的读操作,xlwt主要负责写操作.xlutils 是将二者融合在一起. 安装 现在之后可以通过源码的形式进行安装,也可以通过exe的形式安装.对于只用报表格小工具的同学,可以通过批处理进行. 批处理代…

一:读写思想 1.系统表 hbase:namespace 存储hbase中所有的namespace的信息 hbase:meta rowkey:hbase中所有表的region的名称 column:regioninfo:region的名称,region的范围 server:该region在哪台regionserver上 2.读写流程 tbname,rowkey  ->   region  ->  regionserver  ->  store ->  storefile 但是这些都是…

转自:http://www.cnblogs.com/yuuyuu/p/5103744.html 一.基本概念                                                          我们通俗一点讲: Level_triggered(水平触发):当被监控的文件描述符上有可读写事件发生时,epoll_wait()会通知处理程序去读写.如果这次没有把数据一次性全部读写完(如读写缓冲区太小),那么下次调用 epoll_wait()时,它还会通知你在上没读写完的文…

ES: ElasticSearch(简称ES):是一个基于Lucene构建的开源.分布式.RESTful的全文本搜索引擎:它还是一个分布式实时文档存储,其中每个field均是被索引的数据且可被搜索:也是一个带实时分析功能的分布式搜索引擎,并且能够扩展至数以百计的服务器存储及处理PB级的数据. 倒排索引: 1.什么是node ES集群中每一个节点就是一个node,或者一个Elasticsearch实例就是一个节点. node分类: a.主节点:主节点不接受客户端的请求,他主要控制Elasticse…

转自:http://blog.chinaunix.net/uid-20543183-id-1930846.html   ------------------------------------------ 本文系本站原创,欢迎转载! 转载请注明出处:http://ericxiao.cublog.cn/ ------------------------------------------ 一: 前言 本文主要是对trace的框架做详尽的分析, 在后续的分析中,再来分析接入到框架中的几个重要的tra…

由于最近公司提到了一个需求是,一个应用登录成功了,另一个自动登录. 绞尽脑汁想了好几天,看起来很容易但是想深点就漏洞百出,有的时候代码都写完了测试都成功了突然发现给一个假设就完全失效. 先前几个同事之间讨论了一下,也在QQ技术群里讨论了一下,也在网上搜过一些但是资料甚少,又都是没经过实践去认证的. 那次开会的时候我那个同事就说,用shareUserId来共享数据,多个应用在同一个进程里可以互相访问数据.我自己先想到的是ContentProvider,在群里讨论了一下都说直接用SharePrefr…

今天自己整理一下epoll,网上有很多经典的介绍,看了很多~收藏了很多~还是整理一下做个积累, 自己的东西好找~ 1. epoll 模型简介 epoll 是Linux I/O 多路复用接口 select/poll 的加强版,首字母e(enhacement)中文翻译就 加强/提高 顾名思义,很强epoll模型会显著提高程序在大量并发连接中只有少量活跃CPU系统的CPU利用率, 它把用户关心的文件描述符上的事件放在内核的一个事件表中,无需像select和poll那样每次调用都 重复传入文件描述符集,…

转自:http://blog.csdn.net/skyflying2012/article/details/11783847 "sysfs is a ram-based filesystem initially based on ramfs. It provides a means to export kernel data structures, their attributes, and the linkages between them to userspace.” --- documen…

一.MooseFS简介 1.介绍 MooseFS是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理服务器单独磁盘或分区上,确保一份数据有多个备份副本.对于访问的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样. 2.特性 从其对文件操作的情况看,MooseFS表现与其他类Unix文件系统一致. 支持的通用文件系统特性: mfs是一个分层的目录树结构 存储支持POSIX标准的文件属性(权限,最后访问和修改时间) 支持特殊的文件,如:块设备,字符设备,管道和套…