​桔妹导读:Presto在滴滴内部发展三年,已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎.目前服务6K+用户,每天读取2PB ~ 3PB HDFS数据,处理30万亿~35万亿条记录,为了承接业务及丰富使用场景,滴滴Presto需要解决稳定性.易用性.性能.成本等诸多问题.我们在3年多的时间里,做了大量优化和二次开发,积攒了非常丰富的经验.本文分享了滴滴对Presto引擎的改进和优化,同时也提供了大量稳定性建设经验. 1. Presto简介 ▍1.1 简介 Presto是Faceb…

原文 NSIS:应用软件自动升级功能的探索与实践 记得以前轻狂曾分享过使用第三方软件实现应用软件自动升级功能 (详细http://www.flighty.cn/html/soft/20110106_108.html) 但那个QUpdater毕竟不是自己写的,用起来不怎么放心,关键是其开发者对程序进行了各种限制. 现在,轻狂用NSIS来实现软件自动升级功能,有兴趣的同学可以共同探讨. 本文为原创文章,转载请注明出处和链接!(鄙视一下COPY帝……) 实现过程: 1.搭建一个HTTP环境,放置升级安…

12月20日至23日,全球人工智能与机器学习技术大会 AiCon 2018 在北京国际会议中心盛大举行,新浪微博AI Lab 的资深算法专家 张俊林@张俊林say 主持了大会的 搜索推荐与算法专题,并带来演讲<FFM及DeepFFM模型在推荐系统的探索及实践>,分享了微博在FFM模型及DeepFFM模型应用在推荐系统所做的一系列优化探索工作,并详细的介绍了一些前沿的深度CTR模型.PPT官方链接如下:O网页链接对深度学习做作推荐模型感兴趣的朋友一定不要错过! https://static001…

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由columneditor 发表于云+社区专栏 作者介绍:章恒--腾讯云FPGA专家,目前在腾讯架构平台部负责FPGA云的研发工作,探索FPGA加速数据中心的应用,包括:图像处理.深度学习.SDN等. 为了进一步加速云计算的创新发展.建立云计算信任体系.规范云计算行业.促进市场发展.提升产业技术和服务水平,由中国信息通信研究院.中国通信标准化协会主办的"2018可信云大会"于2018年8月14日-8月15日在北京国际会议中…

在高性能网络的场景下,C10K是一个具有里程碑意义的场景,15年前它给互联网领域带来了非常大的挑战.发展至今,我们已经进入C10M的场景进行网络性能优化. 这期间有怎样的发展和趋势?环绕着各类指标分别有哪些探索和实践? C10K时代的问题与优化手段 首先带大家回想一下当年C10K场景中遇到的问题以及为了解决我们单机下高并发的承载能力所做的改进.在当时的年代.国内互联网的普及程度相对较低,C10K并没有给当时中国的互联网环境带来太大冲击,可是在全球互联网环境下大家開始意识到这个问题.为了解决该问题…

深度学习在美团配送 ETA 预估中的探索与实践 比前一版本有改进:   基泽 周越 显杰 阅读数:32952019 年 4 月 20 日   1. 背景 ETA(Estimated Time of Arrival,“预计送达时间”),即用户下单后,配送人员在多长时间内将外卖送达到用户手中.送达时间预测的结果,将会以”预计送达时间”的形式,展现在用户的客户端页面上,是配送系统中非常重要的参数,直接影响了用户的下单意愿.运力调度.骑手考核,进而影响配送系统整体成本和用户体验. 对于整个配送系统而言,…

1.导读 驾车导航是数字地图的核心用户场景,用户在进行导航规划时,高德地图会提供给用户3条路线选择,由用户根据自身情况来决定按照哪条路线行驶. 同时各路线的ETA(estimated time of arrival,预估到达时间)会直接显示给用户,这是用户关心的核心点之一.用户给定起点和终点后,我们的任务是预测起终点的ETA,ETA的准确率越高,给用户带来的出行体验越好. 2.基于深度学习模型的探索和实践 2.1模型选择 传统机器学习模型在ETA中,比较常用的有线性回归.RF(随机森林).GBD…

​导语 | TBase 是腾讯TEG数据平台团队在开源 PostgreSQL 的基础上研发的企业级分布式 HTAP 数据库系统,可在同一数据库集群中同时为客户提供强一致高并发的分布式在线事务能力以及高性能的数据在线分析能力.本文是对腾讯 TBase 专家工程师伍鑫在云+社区沙龙 online 的分享整理,将为大家带来腾讯云 TBase 在分布式 HTAP 领域的探索与实践. 点击视频查看完整直播回放 一.TBase分布式数据库介绍 1. TBase 发展历程 腾讯云从 2009 年便开始在内部的…

https://mp.weixin.qq.com/s/OKLiDi78uB8ZkPG2kUVxvA 网络Devops探索与实践 王镇 鹅厂网事 2020-09-23  9月16日举办的2020 ODCC峰会的智能监控与管理分论坛上,来自腾讯网络平台部的王镇做了以<基础网络DevOps的最佳实践>为主题的精彩演讲.在SDN及云网络大行其道的背景下,运营系统的开发工作面临着新的挑战.传统的运营定义需求.由专业开发端到端实现上线的模式已经难以为继.本文主要讲述如何利用devops的模式,打造一个可配…

前言 开发授权(OAuth2)是一个开放标准,允许用户让第三方应用访问该用户在某一网站上存储的私密的资料(如照片.视频.联系人列表),而无需将用户名和密码提供给第三方应用. OAuth2允许用户提供一个令牌,而不是用户名和密码来访问他们存放在特定服务提供者的数据.每一个令牌授权一个特定的网站(例如,视频编辑网站)在特定的时段(例如,接下来的2小时内)内访问特定的资源(例如仅仅是某一相册中的视频).这样,OAuth让用户可以授权第三方网站访问他们存储在另外服务提供者的某些特定信息,而非所有内容.…