https://tech.meituan.com/2016/03/31/spark-in-meituan.html 本文已发表在<程序员>杂志2016年4月期. 前言 美团是数据驱动的互联网服务,用户每天在美团上的点击.浏览.下单支付行为都会产生海量的日志,这些日志数据将被汇总处理.分析.挖掘与学习,为美团的各种推荐.搜索系统甚至公司战略目标制定提供数据支持.大数据处理渗透到了美团各业务线的各种应用场景,选择合适.高效的数据处理引擎能够大大提高数据生产的效率,进而间接或直接提升相关团队的工作效…

目录 1. 美团离线计算平台架构都有哪些框架? 2. 为什么要使用Spark架构? 3. spark推广过程中需要注意哪些方面? 前言 美团是数据驱动的互联网服务,用户每天在美团上的点击.浏览.下单支付行为都会产生海量的日志,这些日志数据将被汇总处理.分析.挖掘与学习,为美团的各种推荐.搜索系统甚至公司战略目标制定提供数据支持.大数据处理渗透到了美团各业务线的各种应用场景,选择合适.高效的数据处理引擎能够大大提高数据生产的效率,进而间接或直接提升相关团队的工作效率. 美团最初的数据处理以Hive…

今天做实验[Spark SQL 编程初级实践],虽然网上有答案,但都是用scala语言写的,于是我用java语言重写实现一下. 1 ．Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json.{ "id":1 , "name":" Ella" , "age":36 }{ "id":2, "name":"Bob&q…

今天再给大家推荐一本由美团算法团队出版的<美团机器学习实践>,下载链接见文末. 美团算法团队由数百名优秀算法工程师组成,负责构建美团这个生活服务互联网大平台的"大脑",涵盖搜索.推荐.广告.风控.机器学习.计算机视觉.语音.自然语言处理.智能调度.机器人和无人配送等多个技术方向,在帮助美团数亿活跃用户改善用户体验的同时,也帮助餐饮.酒店.婚庆.丽人.亲子等200多个行业的数百万商户提升运营效率.我们致力于通过算法和人工智能技术,帮大家吃得更好,活得更好.https://bo…

实验 5  Spark SQL 编程初级实践    参考厦门大学林子雨 1． Spark SQL 基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下,并保存命名为 employee.json. { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","…

http://blog.sina.com.cn/s/blog_ecd882db0102yuek.html <百面机器学习算法工程师带你去面试>高清PDF及epub+<美团机器学习实践>PDF及思维导图 (2019-01-13 13:01:11) 转载▼ 标签: 机器学习实践 美团机器学习 百面机器学习 大规模 特征工程 分类: 机器学习 人工智能领域正在以超乎人们想象的速度发展,从日常工作.生活中各种有趣的现象出发,不仅囊括了机器学习的基本知识 ,而且还包含了成为出众算法工程师的相…

Spark是时下非常热门的大数据计算框架,以其卓越的性能优势.独特的架构.易用的用户接口和丰富的分析计算库,正在工业界获得越来越广泛的应用.与Hadoop.HBase生态圈的众多项目一样,Spark的运行离不开JVM的支持.由于Spark立足于内存计算,常常需要在内存中存放大量数据,因此也更依赖JVM的垃圾回收机制(GC).并且同时,它也支持兼容批处理和流式处理,对于程序吞吐量和延迟都有较高要求,因此GC参数的调优在Spark应用实践中显得尤为重要.本文主要讲述如何针对Spark应用程序配置JV…

作者:仲浩   出处:<程序员>电子刊5月B   摘要:Spark立足内存计算,常常需要在内存中存放大量数据,因此也更依赖JVM的垃圾回收机制.与此同时,它也兼容批处理和流式处理,对于程序吞吐量和延迟都有较高要求,因此GC参数的调优在Spark应用实践中显得尤为重要. Spark是时下非常热门的大数据计算框架,以其卓越的性能优势.独特的架构.易用的用户接口和丰富的分析计算库,正在工业界获得越来越广泛的应用.与Hadoop.HBase生态圈的众多项目一样,Spark的运行离不开JVM的支持.由于…

1. 背景和现状 近几年,基于MySQL构建的传统关系型数据库服务,已经很难支撑美团业务的爆发式增长,这就促使我们去探索更合理的数据存储方案和实践新的运维方式.而随着分布式数据库大放异彩,美团DBA团队联合基础架构存储团队,于 2018 年初启动了分布式数据库项目. 图 1 美团点评产品展示图 在立项之初,我们进行了大量解决方案的对比,深入了解了业界的 scale-out(横向扩展).scale-up(纵向扩展)等解决方案.但考虑到技术架构的前瞻性.发展潜力.社区活跃度以及服务本身与 MySQL…

导读 Flutter是Google开发的一套全新的跨平台.开源UI框架,支持iOS.Android系统开发,并且是未来新操作系统Fuchsia的默认开发套件.自从2017年5月发布第一个版本以来,目前Flutter已经发布了近60个版本,并且在2018年5月发布了第一个“Ready for Production Apps”的Beta 3版本,6月20日发布了第一个“Release Preview”版本. 初识Flutter Flutter的目标是使同一套代码同时运行在Android和iOS系统上…