一.需求:计算网页访问量前三名 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * 需求:计算网页访问量前三名 * 用户:喜欢视频 直播 * 帮助企业做经营和决策 * * 看数据 */ object UrlCount { def main(args: Array[String]): Unit = { //1.加载数据 val conf:SparkConf = new Spa…

关于codereview,在平时的开发中,经常忽略的环节,参照目前介绍写好代码的几本书和之前掉进的坑,做了一个总结,分享出来. 为什么要做 通过review规避一些代码层面的问题 提升可读性,方便后续扩展和维护 double check 确保代码质量 检查列表 注释 写有意义的注释 DO属性上,名字无法识别业务含义的,加注释 service接口和manager接口,注明方法的说明 代码块中的复杂逻辑,添加注释 风格 域名不要写死 不同环境下差异的,注意使用配置项 日志 合理分配日志级别,warn…

 关于codereview,在平时的开发中,经常忽略的环节,参照目前介绍写好代码的几本书和之前掉进的坑,做了一个总结,分享出来. 为什么要做 通过review规避一些代码层面的问题 提升可读性,方便后续扩展和维护 double check 确保代码质量 检查列表 注释 写有意义的注释 DO属性上,名字无法识别业务含义的,加注释 service接口和manager接口,注明方法的说明 代码块中的复杂逻辑,添加注释 风格 域名不要写死 不同环境下差异的,注意使用配置项 日志 合理分配日志级别,w…

整洁的代码 清单项目 分类 使用可以表达实际意图(Intention-Revealing)的名称 有意义的名称 每一个概念只用一个词 有意义的名称 使用方案/问题领域名称 有意义的名称 类应该是比较小的! 类 函数应该是比较小的! 函数 只做一件事 函数 DRY(Don’t Repeat Yourself)原则,(拒绝重复) 函数 用代码来解释自己的做法(译者注:即代码注释) 注释 确定应用了代码格式化 格式 使用异常而不是返回码 异常 不要返回Null 异常 *参考自:http://techb…

什么是代码评审(CodeReview)? 代码评审也称代码复查,是指通过阅读代码来检查源代码与编码标准的符合性以及代码质量的活动. Jupiter提供了代码行级别的评审批注功能,方便评审参与人了解具体是哪些行代码存在问题. 同时,它也比较符合常规的评审流程,被评审人提供待审代码->评审人线下提出个人意见->组织讨论会讨论每个人提出的意见并确定问题及解决方案->被评审人修改代码->评审人查看修改情况. Jupiter支持在一个项目中的多次评审,多人协同参与评审,支持多种配置库如SVN…

        代码质量分享    2016_06_24_舒琴_代码质量.key    For 代码提交人     基本原则 Review时机: 对于普通bugfix或优化,CodeReview最迟要在发布前一天或发布当天早上: 对于项目,CodeReview 最迟应该在QA提测前一天: 持续增强:     每次提交变更尽可能小一点, 但是保证每次的变更都是正确和完整的, 合并到代码库中持续增强系统. 去除无用改动: 仔细斟酌每一行改动,去掉无用的注释,reset 掉没有逻辑改动(空行改动)的文…

http://www.100hack.com/2014/04/14/golang%E4%B8%AD%E7%9A%84des%E5%8A%A0%E5%AF%86ecb%E6%A8%A1%E5%BC%8F/ henry(454213807)  0:26:14继续下午问的 ECB 问题. 在 go 的 issues 里找到https://code.google.com/p/go/issues/detail?id=5597有人为标准库写好了补丁. 但是项目管理者拒绝了. 另外这个补丁的地址还在 http…

1. 定义: Code review is systematic examination (often known as peer review) of computer source code. It is intended to find and fix mistakes overlooked in the initial development phase, improving both the overall quality of software and the developers'…

背景 Java8的stream接口极大地减少了for循环写法的复杂性,stream提供了map/reduce/collect等一系列聚合接口,还支持并发操作:parallelStream. 在爬虫开发过程中,经常会遇到遍历一个很大的集合做重复的操作,这时候如果使用串行执行会相当耗时,因此一般会采用多线程来提速.Java8的paralleStream用fork/join框架提供了并发执行能力.但是如果使用不当,很容易陷入误区. Java8的paralleStream是线程安全的吗 一个简单的例子,…

一提起程序员,首先想到的一定是"码农",对,我们是高产量的优质"码农",我们拥有超跃常人的逻辑思维以及不走寻常路的分析.判别能力,当然,我们也有良好的编码规范,毕竟是靠代码来养家糊口,最怕半路接到一个项目或是项目增加新功能,发现之前写的注释非常不全,代码也非常的不整洁,有些地方写的''窝七八烂的,看着很不舒服. 代码编码规范的都会起到什么作用? 1.好的编码规范,可以减少一个软件的维护成本,并且几乎没有任何一个软件,在其整个生命周期中,均由最初的开发人员来维护: 2…