Hadoop学习笔记总结 01. MapReduce 1. Combiner(规约) Combiner号称本地的Reduce. 问:为什么使用Combiner? 答:Combiner发生在Map端,对数据进行规约处理,数据量变小了,传送到reduce端的数据量变小了,传输时间变短,作业的整体时间变短.减少了reduce的输入. 问:为什么Combiner不作为MR运行的标配,而是可选步骤哪? 答:因为不是所有的算法都适合使用Combiner处理,例如求平均数.使用了规约,造成了最终结果的不同.…

去年刚毕业来公司后,做为新人,发现很多东西都没有文档,各种工具和地址都是口口相传的,而且很多时候都是不知道有哪些工具可以使用,所以当时就想把自己接触到的这些东西记录下来,为后来者提供参考,相当于一个路线图,帮助新人尽快上手. 本文介绍的我所在小组的一些开发流程及相关工具.做为新人入门手册,其中某些工具可能只有我们这边在用,但对于其他公司的新人来说,一样是具有指导意义的. 2015.4.11 更新: 增加构建工具 Bazel, CMake介绍 增加Linux下任务管理相关命令 增加正则表达式调试的…

今儿个是冬至,所谓“冬大过年”,公司也应景五点钟就放大伙儿回家吃饺子喝羊肉汤了,而我本着极高的职业素养依然坚持留在公司(实则因为没饺子吃没羊肉汤喝,只能呆公司吃食堂……).趁着这一个多小时的时间,想跟大家介绍下前段时间整的一个基于netty http协议栈的轻量级流程控制组件 nettice(点此查看代码),目前已经实现了一些功能并将持续完善,希望能为大伙儿切实解决一点开发问题(或者至少提供一些思路). 什么是流程控制组件? 服务的流程,简单来说就是在一次交互过程中,对 client 端而言,是…

在<中篇>中,我们对管道的构成以及它对请求的处理流程进行了详细介绍,接下来我们需要了解的是这样一个管道是如何被构建起来的.总的来说,管道由一个服务器和一个HttpApplication构成,前者负责监听请求并将接收的请求传递给给HttpApplication对象处理,后者则将请求处理任务委托给注册的中间件来完成.中间件的注册是通过ApplicationBuilder对象来完成的,所以我们先来了解一下这究竟是个怎样的对象.[本文已经同步到<ASP.NET Core框架揭秘>之中] […

本次要分享的是利用windows+nginx+iis+redis+Task.MainForm组建分布式架构,上一篇分享文章制作是在windows上使用的nginx,一般正式发布的时候是在linux来配置nginx,我这里测试分享内容只是起引导作用:下面将先给出整个架构的核心节点简介,希望各位多多点赞: . 架构设计图展示 . nginx+iis构建服务集群 . redis存储分布式共享的session及共享session运作流程 . redis主从配置及Sentinel管理多个Redis集群 .…

1.流程分析: 请求发送给 StrutsPrepareAndExecuteFilter StrutsPrepareAndExecuteFilter 询问 ActionMapper: 该请求是否是一个 Struts2 请求(即是否返回一个非空的 ActionMapping 对象) 若 ActionMapper 认为该请求是一个 Struts2 请求,则 StrutsPrepareAndExecuteFilter 把请求的处理交给 ActionProxy ActionProxy 通过 Configu…

子流程的定义 当流程设计的越来越复杂,越来越长时,就难以进行管理了.因此,采用模块化的设计才会更加合理.本节我们介绍子流程的原理和使用. 所谓子流程,就是能先构造出一个流程,然后被其他流程调用.被调用的流程就是子流程. 学过编程和数学的人,应该能够了解子流程其实就是函数,可以定义输入参数和输出,把整个功能看成整体,从而方便重用. 子流程能够分为: 子流-生成 如生成全国城市列表的流 生成某个网站全部分类的流 子流-转换 通过输入url地址,就能转换出该页面中所有需要信息的流 子流-执行 例如可以…

流程(Activiti) 流程是完成一系列有序动作的概述.每一个节点动作的结果将对后面的具体操作步骤产生影响.信息化系统中流程的功能完全等同于纸上办公的层级审批,尤其在oa系统中各类电子流提现较为明显.一般的步骤为: ①   申请者发起申请. ②   各级领导审批.一般由低级别往高级别审批. ③   每一级别审批结果将影响或者决定申请结果.若下一节点非结束节点,此节点若审批通过将转给下一节点审批:若此节点审批不通过此次审批将被驳回修改申请或者直接结束. 图1  流程图实例 ④   当流程审批结束…

leader的实现类为LeaderZooKeeperServer,它间接继承自标准ZookeeperServer.它规定了请求到达leader时需要经历的路径: PrepRequestProcessor -> ProposalRequestProcessor ->CommitProcessor -> Leader.ToBeAppliedRequestProcessor ->FinalRequestProcessor 具体情况可以参看代码: @Override protected v…

上文: zookeeper源码分析之一服务端启动过程 中,我们介绍了zookeeper服务器的启动过程,其中单机是ZookeeperServer启动,集群使用QuorumPeer启动,那么这次我们分析各自一下消息处理过程: 前文可以看到在 1.在单机情况下NettyServerCnxnFactory中启动ZookeeperServer来处理消息: public synchronized void startup() { if (sessionTracker == null) { createSe…

znode 可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,通过这个特性可以实现的功能包括配置的集中管理,集群管理,分布式锁等等. 知识准备: zookeeper定义的状态有: Unknown (-1),Disconnected (0),NoSyncConnected (1),SyncConnected (3),AuthFailed (4),ConnectedReadOnly (5),Sasl…

之前的文章,已经分析过快递Api接口可能被使用的需求及场景:今天呢,简单给大家介绍一下微信公众号中怎么来使用快递Api接口,来完成我们的需求和业务场景. 开发语言:Nodejs,其中用到了Neo4j图形数据库 准备工作 首先,需要到微信公众平台注册账号 选择账号类型界面如下: 选择订阅号或服务器都可以,本文是使用订阅号进行展开描述.开发微信小程序的选择小程序即可,不过暂时不对个人开发,只能呵呵了. 选择之后,根据注册流程,一步步填写验证即可. 注册完成后,到微信公众平台登陆即可. 登陆成功,如下…

流程名: 请假申请  流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs  流程说明: 流程中集成了webservice服务,使用流程前需完成相应配置  表单:  流程:  图片:3.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E8%AF%B7%E4%BC%91%E5%81%87.zip…

流程名: 事务呈批表  业务描述: 办公采购.会议费用等事务的申请.流程发起时,会检查预算,如果预算不够,将不允许发起费用申请,如果预算够用,将发起流程,同时占用相应金额的预算,但撤销流程会释放相应金额的预算.  流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs SAffairApproval.aspx SAffairApproval.aspx.cs  流程说明: 流程中集成了webservice业务服务与自定义表单…

流程名: 调动 流程相关文件: 流程包.xml 流程说明: 直接导入流程包文件,即可使用本流程 表单:  流程:  图片:3.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E8%B0%83%E5%8A%A8.zip…

流程名: 离职申请   流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs   流程说明: 流程中集成了webservice服务,使用流程前需完成相应配置   表单:  流程:  图片:6.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E7%A6%BB%E8%81%8C.zip…

流程名: 外出申请  流程相关文件: 流程包.xml  流程说明: 直接导入流程包文件,即可使用本流程  表单:   流程: 图片:2.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E5%A4%96%E5%87%BA.zip…

流程名: 制度发文和干部任免  业务描述: 当员工在该出勤的工作日出勤但漏打卡时,于一周内填写补打卡申请.  流程相关文件: 流程包.xml  流程说明: 直接导入流程包文件,即可使用本流程  表单:  流程:    发文后员工查看如下: 关于印发<绩效管理办法>的通知 [DS-2015-  999号] 公司全体员工: 为了更好的执行公司经营管理战略,构建和完善绩效管理体系,特制定<绩效管理办法>,现颁布实施.请按办法规定及指引,同步完成附件2<绩效管理工具(2015年)&g…

流程名: 资产请购  业务描述: 流程发起时,会检查预算,如果预算不够,流程必须经过总裁审批,如果预算够用,将发起流程,同时占用相应金额的预算,但撤销流程会释放相应金额的预算.  流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs SQL.txt  流程说明: 流程中集成了webservice业务服务与自定义表单. 需要在H3数据库中执行SQL.txt文本,建立业务服务中需要的数据表及数据项.  表单:   流程: …

流程名: 借款申请   业务描述: 当员工个人在工作中需要进行借款时,通过此项流程提交借款申请,审批通过后,财务部进行款项支付.   流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs   流程说明: 流程中集成了webservice服务,使用流程前需完成相应配置   表单:  流程:  图片:3.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E5%80%9F…

流程名: 加班.调休  业务描述: 加班: 工作日加班可以申请调休,也可以申请支付加班费.原则上都应申请调休:周末加班原则上申请调休:法定节假日加班支付加班费. 加班申请以半小时为单位. 当月加班不能超过36小时.  调休: 可调休的加班为工作日及休息日加班. 调休以半天为单位.  流程相关文件: 加班流程包.xml 调休流程包.xml  流程说明: 加班流程包可以单独使用:调休流程包使用前必须先导入加班流程包.  表单: 加班:  调休:  流程: 加班:  调休: 图片:4.png DEMO…

流程名: 合同会审表  业务描述: 合同的审批及签订  流程相关文件: 流程包.xml 事务呈批表业务服务.xml 事务呈批表主数据.xml  流程说明: 1.此流程必须先进行事务呈批表流程的配置才可以进行使用. 2.流程中用到了主数据及对应的业务服务,需要进行导入.  表单:   流程:  图片:4.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E5%90%88%E5%90%8C%E4%BC%9A%E5%AE%A1%E8%A1%A8.…

流程名: 固定资产转移  业务描述: 固定资产从某员工转移至另一员工,转出人与转入人必须不同  流程相关文件: 流程包.xml  流程说明: 直接导入流程包文件,即可使用本流程  表单:  流程:  图片:3.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E5%9B%BA%E5%AE%9A%E8%B5%84%E4%BA%A7%E8%BD%AC%E7%A7%BB%E6%B5%81%E7%A8%8B.zip…

流程名: 付款申请单  业务描述: 包括每月固定开支.固定资产付款.办公用品付款.工资发放.个人所得税缴纳.营业税缴纳.公积金.社保缴纳和已签订合同的按期付款,最后是出纳付款,出纳核对发票. 流程发起时,要选择需要关联的事务审批单,会检查是否超申请,如果不超申请,可以直接发起流程,如果超了申请,需要检查预算,如果预算不够,将不允许发起付款申请,如果预算够用,将发起流程,同时占用相应金额的预算.  流程相关文件: 流程包.xml 业务服务.xml 主数据.xml SQL.txt 数据字典.xls …

流程名: 出差申请  业务描述: 员工出差前发起流程申请,流程发起时,会检查预算,如果预算不够,将不允许发起费用申请,如果预算够用,将发起流程,同时占用相应金额的预算,但撤销流程会释放相应金额的预算.  流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs SBusinessTravel.aspx SBusinessTravel.aspx.cs SQL.txt 数据字典.xls  流程说明: 流程中集成了webservi…

流程名: 采购预算编制  业务描述: 在月初由计财部进行预算编辑,提交审批后预算生效  流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs SpurchaseManage.aspx SpurchaseManage.aspx.cs UploadPurchase.aspx UploadPurchase.aspx.cs ExcelHelper.cs MvcSheet2.master MvcSheet2.master.cs  …

三星Note 7发售两个月即成为全球噩梦,从首炸到传言停产仅仅47天.所谓"屋漏偏逢连天雨",相比华为.小米等品牌对其全球市场的挤压.侵蚀,Galaxy Note 7爆炸事件这场连天雨算是把三星淋了个措手不及,致其声誉扫地.危机重重. 表面看来,此事件源于电池自燃,深究起来可以追溯到管理层变动带来的组织管理问题,再深究,业务流程管理系统可能是最基础和最关键的因素. 高层变动,赶超苹果埋祸端 2014年5月,三星老掌柜李健熙重病入院,儿子李在镕与元老崔志成(G.S.Choi)共掌时局.同…

流程名: 补打卡申请 业务描述: 当员工在该出勤的工作日出勤但漏打卡时,于一周内填写补打卡申请. 流程相关文件: 流程包.xml 流程说明: 直接导入流程包文件,即可使用本流程 表单:  流程: 图片:2.png DEMO包下载: http://files.cnblogs.com/files/1774bpm/%E8%A1%A5%E6%89%93%E5%8D%A1.zip…

流程名: 费用报销 业务描述: 流程发起时,要选择需要关联的事务审批单,会检查是否超申请,如果不超申请,可以直接发起流程,如果超了申请,需要检查预算,如果预算不够,将不允许发起报销申请,如果预算够用,将发起流程,同时占用相应金额的预算. 计财部总经理除了招待费的金额是5000的权限,其他的费用都是10000的权限. 流程相关文件: 流程包.xml WebService业务服务.xml 业务服务1.xml 业务服务2.xml 主数据1.xml 主数据2.xml Expenseclaims.aspx…

还记得阿海么,对就是之前的那个采购员,他又有了些意见. 阿海:小明,你看现在的流程让大家都这么方便,能不能帮个忙让我也轻松点啊-- 小明:--你有什么麻烦,现在不是已经各个部门自己提交申请了嘛? 阿海:可是每次申请通过还是要我去买啊,采购申请通过的时间又不确定,弄的我每天都要提借款申请-- 大毛:Hi,我来了 小明:--来的正好,看看这个问题怎么解决吧. 大毛:这个简单,通过我们的子流程功能就可以搞的定啦. 大毛:你在流程结束前增加一个分支环节"子流程",然后在属性"模板编码…