随着社区正在努力准备Apache Spark的下一版本3.0,您可能会问自己“我如何参与其中?”.现在的Spark代码已经很庞大,因此很难知道如何开始自己做出贡献.Spark PMC & Committer Holden Karau以开发人员为中心,教你如何为Spark社区做贡献,逐步发现好的问题点,格式化代码,寻找代码评审者以及在代码评审过程中期望得到什么.除了如何编写代码之外,她还探讨Apache Spark做出贡献的其他方法,从帮助测试RC(Release Candidate)版本,到进行…

Docs (docs.microsoft.com)是微软新版的文档网站,重新规划了各项技术栈的文档结构,看起来比 MSDN 可读性更好.虽然 Docs 提供了各种语言的版本,但大多是机器翻译,某些中文文档基本读不下去.因此微软鼓励社区参与者提交本地化内容.对于微软 MVP 来说,参与 Docs 的本地化也是一种重要的贡献方式.除了 Docs 的本地化,微软还有一个本地化社区,可以对微软的多个软件程序进行本地化:Microsoft Localization Community.接下来给大家介绍一下…

原创文章,转载请保留出处 最近刚刚忙完Spark 2.2.0的性能测试及Bug修复,社区又要发布2.1.2了,国庆期间刚好有空,过了一遍2.1.2的相关JIRA,发现有不少重要修复2.2.0也能用上,接下来需要将有用的PR合到我们内部维护的2.2.0分支上了. 经常有朋友问我是怎么把社区的PR合到自己分支上的,我之前跟他们介绍的做法是基于PR拉分支,在IDEA中单个文件diff合并.如果是偶尔合下社区代码,这种方式也不算太费事.但是如果PR中改动的文件较多,或者要合并多个PR过来,这种方式也挺麻…

logkit 是 Pandora 开源的一个通用的日志收集工具,可以将不同数据源的数据方便的发送到 Pandora 进行数据分析.除了基本的数据发送功能,logkit 还有容错.并发.监控.删除等功能.具体的 logkit 设计可以参阅<数据收集工具的设计与最佳实践>,本文将重点介绍如何 contribute logkit . 我们也特别准备了七牛云限量周边作为见面礼.欢迎大家加入我们,成为七牛云 Contributor (详情请见文末) [Contributor 登记表] 环境准备与运行 下…

转载自https://github.com/linbojin/spark-notes/blob/master/ide-setup.md 搭建Spark源码研读和代码调试的开发环境 工欲善其事,必先利其器,第一篇笔记介绍如何搭建源码研读和代码调试的开发环境. 一些必要的开发工具,请自行提前安装: scala 2.11.8 sbt 0.13.12 maven 3.3.9 git 2.10.2 IntelliJ IDEA 2016.3 (scala plugin) 本人使用macOS 10.12,所有…

基于Net/Core,快速搭建 API & SPA 及微服务应用组织 BASE NETCORE (VUE) PROJECT TEAM 每一个.NET开发者都可以通过自己的开源项目(最好可以配套简单发表些文章)在这里进行分享,BCVP开发者组织的意义就是激发和挖掘更多的作品,可能偏基础,但是都会有价值.目的就是希望:每个人能将从社区学到的知识,进行自己消化和总结,浓缩成一个个独立的项目,接着投入到社区,最后让更多的初学者去了解.去学习.去思想碰撞,从而达到学习来源于社区,最后反哺于社区的良好循环目…

Spark性能调优之代码方面的优化 1.避免创建重复的RDD     对性能没有问题,但会造成代码混乱   2.尽可能复用同一个RDD,减少产生RDD的个数   3.对多次使用的RDD进行持久化(cache,persist,checkpoint) 如何选择一种最合适的持久化策略?     默认MEMORY_ONLY, 性能很高, 而且不需要复制一份数据的副本,远程传送到其他节点上(BlockManager中的BlockTransferService),但是这里必须要注意的是,在实际的生产环境中,…

用gulp做的前端代码压缩,今天在打包的时候发现打包出错了.报的错误是--unable to minify JavaScript.但是至于为什么会不能打包,表示很困惑,然后通过一番搜索,最后得出了问题所在..是因为js代码报错.但是仅仅这样是不够的,因为我们不可能一个文件一个文件的去找,所以,gulp有一个插件,gulp-util,用来打印日志,看具体什么地方出错了. 在gulpfile.js打包压缩的命令里..增加一个错误的打印. / 合并,压缩文件 gulp.task('scripts',[…

本文案例收录在 https://github.com/chengxy-nds/Springboot-Notebook 大家好,我是小富~ 最近接个任务,用webhook做了个代码提交监听功能,就是有人向远程仓库提交代码后,会在企业微信群内发送一条消息,类似 @XXX 在XXX时间,向XXX项目提交 XXXX 代码 这样的文案. 至于为啥要做这么个工具,没办法官大一级压死人,其实我内心是拒绝的,总像是被监视一样感觉怪怪的.难不成是发现了我平时偷偷提代码,悄无声息的修Bug? webhook web…

一.开源项目贡献代码 1.fork项目代码 例如,我们想向tornado框架贡献代码,首先搜索tornado. 然后,将tornado的代码fork到我们的仓库中. 2.clone到本地进行开发 克隆自己仓库里的tornado到本地: git clone https://github.com/leokale/tornado.git 修改找到的bug: git checkout master touch bug.py git add . git commit -m "修复了一个致命的bug&quo…