Kona JDK 在腾讯大数据领域内的实践与发展

【Kona JDK 在腾讯大数据领域内的实践与发展】的更多相关文章

Kona JDK 在腾讯大数据领域内的实践与发展

导语 | 近日,云+社区技术沙龙“腾讯开源技术”圆满落幕.本次沙龙邀请了多位腾讯技术专家,深度揭秘了腾讯开源项目TencentOS tiny.TubeMQ.Kona JDK.TARS以及MedicalNet.本文是杨晓峰老师关于腾讯基于OpenJDK的自研Kona JDK开源项目的详细介绍. 一.Tencent Kona 缘起 1. OpenJDK 经常听人谈到 OpenJDK,那它到底是什么呢?相信大家都听说过 Java SE.ME.EE等规范, 通常意义上对 Open JDK 的定义指:Ja…

DataPipeline在大数据平台的数据流实践

文 | 吕鹏 DataPipeline架构师进入大数据时代,实时作业有着越来越重要的地位.本文将从以下几个部分进行讲解DataPipeline在大数据平台的实时数据流实践. 一.企业级数据面临的主要问题和挑战 1.数据量不断攀升随着互联网+的蓬勃发展和用户规模的急剧扩张,企业数据量也在飞速增长,数据的量以GB为单位,逐渐的开始以TB/GB/PB/EB,甚至ZB/YB等.同时大数据也在不断深入到金融.零售.制造等行业,发挥着越来越大的作用. 2. 数据质量的要求不断地提升当前比较流行的AI.…

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

不多说,直接上干货! 目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH). 手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多.该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题. 工具部署呢,比如Ambari或Cloudera Manger.(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Clou…

ClickHouse在大数据领域应用实践

一.序言面向大数据量查询数据库,优点是在较大数据量(千万级)的前提下具有较好的查询性能. 1.应用场景 ClickHouse应用于OLAP(在线分析处理)领域,具体来说满足如下特点使用此技术比较合适: 事务型数据库表通过连表查询转换成宽表聚合(统计)计算使用较多对查询效率要求较高,有限时间范围内能够容忍非幂等性查询(最终一致性) 2.学习姿势大多数学习ClickHouse是从OLTP数据库开始的,比如Mysql数据库.对于千万级别的数据,以InnoDB为存储引擎的表,仅仅是统计表行数这一…

这可能是AI、机器学习和大数据领域覆盖最全的一份速查表

https://mp.weixin.qq.com/s?__biz=MjM5ODE1NDYyMA==&mid=2653390110&idx=1&sn=b3e5d6e946b719d08b67d9ebf88283fe&chksm=bd1c3d0d8a6bb41bf05a8ccc9f375528c7c5e4223b190acc9593082b50e17855d2ccdd0e8ac2&mpshare=1&scene=23&srcid=0110mg1nBdOA…

【ArchSummit干货分享】个推大数据金融风控算法实践

作者:个推高级数据工程师晓骏众所周知,金融是数据化程度最高的行业之一,也是人工智能和大数据技术重要的应用领域.随着大数据收集.存储.分析和模型技术日益成熟,大数据技术逐渐应用到金融风控的各个环节.个推作为专业的数据智能服务商,拥有海量数据资源,在智慧金融领域也推出了相应的数据解决方案-个真,为金融客户提供智能反欺诈.多维信贷风险评估和高意愿用户智能筛选等全流程的数据服务,助力各金融机构全面提升风控能力.本文将围绕大数据风控,结合个推实践,介绍金融风控机器学习的基本流程.算法实践和产品化建设等…

腾讯大数据之TDW计算引擎解析——Shuffle

转自 https://www.csdn.net/article/2014-05-19/2819831-TDW-Shuffle/1 摘要:腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分:MapReduce和Spark,两者内部都包含了一个重要的过程—Shuffle.本文对Shuffle过程进行解析,并对两个计算引擎的Shuffle过程进行比较. 腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软…