一部编程发展史就是一部程序员偷懒史,MapReduce(下称MR)同样是程序员们用来偷懒的工具. 来了一份大数据,我们写了一个程序准备分析它,需要怎么做? 老式的处理方法不行,数据量太大时,所需的时间无法忍受,所以,必须并行计算.好比1000块砖,1个人搬需要1小时,10个人同时搬,只需要6分钟. 不过进行并行计算,面临几个细思头大问题: 如何切分数据 如何处理部分任务失败 如何对多路计算的结果进行汇总 不过不用担心,世界就是这样的,少部分人发明创造工具,大部分人使用工具.总有聪明人在合适的时候

一.什么是OKR体系? OKR体系的全称是Objectives & Key Results,即目标与关键成果.所谓OKR,O = Objective 可以理解为企业目标,KR ＝Key Results 可以理解为关键结果.浓缩在一起就是"为确保达成企业目标的关键结果分解与实施". OKR是企业进行目标管理的一个简单有效的系统,能够将目标管理自上而下贯穿到基层.对一个项目来说,设定目标是非常重要的,因为这决定了如何去做,以及能做到何种程度. OKR 首先是沟通工具:团队中的每个人

21世纪,不懂经济学就是耍流氓!如何才能生活得更好?作为程序员你一定也思考过这个问题.今天我们就来从经济学中寻找这问题的答案吧! 一·PPF与机会成本 1.PPF综述 首先为大家介绍第一个最简单的经济模型——PPF——生产可能性边界曲线. XX程序员是我们的主角(以后简称小X) .小X每天的时间精力都是有限的,他的知识技能也是同样.这些对于小X而言都是稀缺资源.经济学的第一前提就是块砖.(可见小X还是蛮文武双全的!我们需要向他学习!)要是小X既写代码又搬砖,并且充分利用了自己的时间精力.知识技能

          一.  本次课主要内容:             通过几个实例来进一步掌握循环结构的应用. 二. 实验内容:(70分) 1. 穷举算法(古典算术问题-搬砖头)某地需要搬运砖块,已知男人一人搬3块,女人一人搬2块,小孩两人搬一块.问用45人正好搬45块砖,有多少种搬法? 2. 猴子吃桃问题.一只猴子第一天摘下若干个桃子,当即吃了一半,还不过瘾,又多吃了一个:第二天早上又将剩下的桃子吃掉一半,又多吃了一个.以后每天早上都吃了前一天剩下的一半加一个.到第n天早上想再吃时,见只剩下一

学习最好的方法就是总结,并写下来,能让别人看懂,自己肯定是掌握了的. 针对软件开发,一直停留在能做的层次,今天得到大牛指点,觉得有必要对这门技术深入学习. 翻阅园内各大神的文章,收益匪浅,在这里做下总结.(以下大多数内容摘转自http://blog.csdn.net/xwdpepsi/article/details/6327210) 学习总结:多线程基本概念,临界区概念,锁的概念,监视器概念,以及基本操作,常见的坑等 习得一句话:为了保证程序的健壮性,所有if最好都加else处理,所有try最后

三款产品背后的架构变迁 滴滴打车成立初衷是为了解决司机与乘客之间的信息不对称的问题,通过移动互联网和智能手机来打破信息的壁垒.从打车到专车再到顺风车,滴滴打车三款产品的背后是架构的挑战和系统的变迁. CSDN:如果从产品角度来看,滴滴打车发展有几个阶段?作为CTO,你的工作重点有哪些? 张博:滴滴打车成立初衷就是为了解决司机与乘客之间的信息不对称的问题.乘客和司机通过传统手段往往无法实现信息对接,一方是打不到车或被拒载:另一方是空车行驶耗时耗力耗费资源.这是信息的壁垒,完全可以通过移动互联网和智

[SinGuLRiTy-1022] Copyright (c) SinGuLaRITy 2017. All Rights Reserved.  对于所有题目:Time Limit:1s || Memory Limit:256MB  隔膜 (game) 题目描述 steam 夏季大促销来啦,azui 大爷最近在 steam 上买了 1 mol 的游戏.一天他突然发现了一个搬砖的游戏: 有 N 种砖头,每种砖头有 m 个,每一个的价值为 di .每一个单位时间你必须搬一块砖,到无砖可搬为止.有一个得

本文章转载于深入理解 JavaScript 异步 前言 2014年秋季写完了<深入理解javascript原型和闭包系列>,已经帮助过很多人走出了 js 原型.作用域.闭包的困惑,至今仍能经常受到好评的留言. 很早之前我就总结了**JS三座大山**这个概念(虽然没有到处宣扬),前两座(原型.作用域)已经基本讲明白,而第三座(异步)也应该做一个总结. 目录 **part1 基础部分** - [什么是异步] - [异步和 event-loop] - [事件绑定算不算异步?] **part2 jQu

分享一个辅助函数,使用php尽可能识别出字符串中的数字,实现效果如下. 1 2 3 4 5 6 7 8 9 echo checkNatInt('九百六十万'); //普通中文数字,9600000 echo checkNatInt('壹亿柒仟万零捌佰肆拾'); //大写中文数字,170000840     echo checkNatInt('学好PHP拿百万年薪'); //句子中的数字, 1000000 echo checkNatInt('今年春运发送人次达26亿'); //数字和汉字混合出现,2

T1表 10000000万条数据,(插入时间36分钟,count(*)查询19秒,空间占用670M左右) 1.真正充分的利用索引比如like '张%' 就是符合SARG(符合扫描参数)标准而like '%张' 就不符合该标准 通配符%在字符串首字符的使用会导致索引无法使用,虽然实际应用中很难避免这样用,但还是应该对这种现象有所了解,至少知道此种用法性能是很低下的. ********************************************** 2.“非”操作符不满足SARG形式,使

最近在做多数据库合并的脚本, 要将多个分数据库的表数据合并到一个主数据库中. 以下是我在编写数据订正脚本时犯过的错误, 记录以为鉴. 不必要的查询 请看以下语句: regiondb = db.Houyiregiondb() houyidb = db.Houyidb(read_only=False) regiondbRet = regiondb.query(vmmacsFromRegiondbSql) houyidbRet = houyidb.query(vmmacsFromHouyidbSql)

1.判断是否正确的日期格式 /** * 是否正确的日期 * * @access public */ private function _isdate($str,$format="Y-m-d H:i") { $strArr = explode("-",$str); if(empty($strArr)) { return false; } foreach($strArr as $val) { if(strlen($val)<2) { $val="0&qu

Angular - React之争 Angular和React无疑是目前最受追捧的两个前端框架,谷歌也发现Angular1.x不足的地方,开始开发2.0版本,脸书发现React的组件化和虚拟DOM非常好,也同时投资React Native. 00.先比较Angular1.x与React 这两个没什么可比性,Angular着重数据绑定和前端MVC,以及不同模块的依赖注入.React着重于组件化和性能.之前做项目用的Angular,数据绑定很爽,但是作为新手学习曲线确实很陡峭,写个指令不知道scop

一个可以做证券账户多账户和子账户管理软件.早年是提供给基金或者机构使用的,毕竟传统印象中,也只有他们有多个账户需要汇集.单一账户需要拆分. 本来作为专业的工具,在小范围内传播,和大众也没多大关系,行业内类似的东西其实还是蛮多的.但后来恒生被收购,新来的大boss雄心壮志,自然是要扩张的.恒生的主要客户是金融机构,这是个喜欢成熟产品的市场,短期没什么扩张的潜力.不过,他们在内部发掘了一个了不得的东西,Homs.可以把这个产品提供给广大的私募基金.小贷公司.配资公司之类.这种创新相当于IBM不做大型

整理的OSChina 第 38 期高手问答 —— ESB 企业服务总线,嘉宾为@肖俊_David . @肖俊_David 恒拓开源架构师,热衷于JAVA开发,有多年的企业级开发经验.曾参和设计和开发基于FuseESB 企业级服务总线系统,对FuseESB企业级服务总线以及内嵌的Camel/ActiveMQ 有深刻的理解. ESB 全称为Enterprise Service Bus,即企业服务总线.它是传统中间件技术与XML.Web服务等技术结合的产物.ESB提供了网络中最基本的连接中枢,是构筑企

当今许多企业的领导者几乎已经成为其企业的代名词,而在芯片业,我们听说的更多的是“龙芯”.“国芯”,他们的领导者的声音却鲜有传出.芯片业透出的强烈的民族色彩,也使这些隐身的企业家们的注意力更聚集在研发上,而坦然出现在镁光灯下的则是更能表达民族使命感的产品. 我们要感谢那些嗅觉灵敏的投资家,18号文件之后,大量的资本陆续涌入IC业,正在崛起的中国IC产业.IC企业.IC企业家们,正成为媒体关注的焦点 .为此,<中国高新技术企业>杂志开始独家搜索:是谁引擎了中国IC产业?<中国高新技术企业&g

从一个CSV文件中读取所有的数据,并且插入到一个Oracle数据库中,并且几分钟内完成,大约有60万条.网上有人说了,你可以循环insert然后插入几千条以后Commit一次,我靠,你自己试试看!!如果没试过就不要误导别人好吧.还有人说了,Oracle根本不支持一次多条插入,我靠,你咋不说自己学艺不精呢?现在给大家介绍一个小技巧,话说在Oracle里有一个很奇特的"表",名叫Dual.我们就要利用这个Dual来做文章,首先,你知道 select '1' from dual 是啥结果吗?

EmitMapper 和TinyMapper 两者的性能都是很高,相比autoMapper 速度不知道快了多少倍,因为使用的最多EmitMapper,所在业余时间做了一下测试对比. 测试数据:10万条,分手动,TinyMapper,EmitMapper分别进行测试.22次用例结果:平均值:(注autoMapper不参与,因为笔者认为性能暂时无法和以上相比) ) typename, AVG(esTime) AS estimed FROM emitTinyMapperData GROUP BY ty

第一部分,Promise 加入 ES6 标准 原文地址 http://www.cnblogs.com/wangfupeng1988/p/6515855.html 未经作者允许不得转载! 从 jquery v1.5 发布经过若干时间之后,Promise 终于出现在了 ES6 的标准中,而当下 ES6 也正在被大规模使用. 本节展示的代码参考这里 本节内容概述 写一段传统的异步操作 用Promise进行封装 写一段传统的异步操作 还是拿之前讲 jquery deferred对象时的那段setTime

很多项目都配置了日志记录的功能,但是,却只有很少的项目组会经常去看日志.原因就是日志文件生成规则设置不合理,将严重的错误日志跟普通的错误日志混在一起,分析起来很麻烦. 其实,我们想要的一个日志系统核心就这2个要求: 日志文件能够按照 /_logs/{group}/yyyy-MM/yyyy-MM-dd-{sequnce}.log 这样的规则生成: 调用写日志的方法能够带 group 这个字符串参数,差不多是这样:LogHelper.TryLog(string group, string messa