去哪儿数据VS美团数据
介绍
之前在去哪儿做数据RD,今年来到美团做数据RD,碰巧都是门票方向(现在去哪儿叫度假,美团叫境内),下面都是基于这两个部门的对比
相同点
都有独立的数据团队,老大都重视数据,主要开发语言都是SQL,都用jira管理任务
不同点
一、团队人数
去哪儿数据RD3-5个人,美团数据RD10-13人。去哪儿有3-5个产品/分析师,数据产品设计、数据分析什么都做。美团有专业的商分团队、BI团队和数据产品数据分析人员,共15-20人
二、业务划分
去哪儿各个事业部需要独自承接数据同步、传输、清洗、仓库、应用等工作。这里的应用包括数据决策支持和线上产品支持,比如:产品价格自动化、用户发券召回等等
美团专注于仓库和数据支持,不直接面向终端用户
三、开发工具
去哪儿的大数据开发工具基本都是自己搭建&维护的,包括不限于:调度系统、报警系统、数据验证系统、数据同步、数据报表、邮件报表等等,开发使用SHELL。
美团的开发工具比较健全:开发基本无需登录服务器,web端即可完成开发、测试和上线。调度系统、数据验证、数据报警都是公司级别的。报表、数据同步工具也没的说。
四、应用产品
去哪儿数据产品和数据分析一个团队,所以数据离应用很近,比如:用户召回、发放代金券、产品定价都是数据RD直接开发
美团专注于数据支持决策,很少会自主发起直接面向终端用户的产品
五、技术体系
去哪儿数据仓库搭建在Postgre和Hadoop两个上面,之所以保留关系型数据库,因为它的维护和开发成本更低,对接业务更方便
美团数据仓库搭建在Hadoop上,应用部分再同步到麒麟、Hbase和Mysql
总结
公司级别的数据方案不一样,造成了最大的差异。去哪儿没有统一的数据中台,事业部各自为战,会有相当的人力放在数据同步、数据清洗、报表开发、数据验证等基础工具上面
体量不一样,去哪儿和美团的订单量差异很大,所以去哪儿采用关系数据库的方案,节约了开发和维护成本
去哪儿数据VS美团数据的更多相关文章
- python 多进程——使用进程池,多进程消费的数据)是一个队列的时候,他会自动去队列里依次取数据
我的mac 4核,因此每次执行的时候同时开启4个线程处理: # coding: utf-8 import time from multiprocessing import Pool def long_ ...
- sqlloader导出数据和导入数据
分类: Oracle 忙了一天终于把sqlloader导出数据和导入数据弄清楚了,累死俺了... 这个总结主要分为三个大部分,第一部分(实例,主要分两步),第二部分(参数小总结),第三部分(完全参数总 ...
- 转:SQL SERVER数据库中实现快速的数据提取和数据分页
探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页.以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构: CREATE TABLE [dbo]. ...
- 大数据时代的数据存储,非关系型数据库MongoDB
在过去的很长一段时间中,关系型数据库(Relational Database Management System)一直是最主流的数据库解决方案,他运用真实世界中事物与关系来解释数据库中抽象的数据架构. ...
- 大数据时代的数据存储,非关系型数据库MongoDB(一)
原文地址:http://www.cnblogs.com/mokafamily/p/4076954.html 爆炸式发展的NoSQL技术 在过去的很长一段时间中,关系型数据库(Relational Da ...
- MySQL之终端(Terminal)管理数据库、数据表、数据的基本操作(转)
MySQL有很多的可视化管理工具,比如“mysql-workbench”和“sequel-pro-”. 现在我写MySQL的终端命令操作的文章,是想强化一下自己对于MySQL的理解,总会比使用图形化的 ...
- 利用PHPExcel读取Excel的数据和导出数据到Excel
PHPExcel是一个PHP类库,用来帮助我们简单.高效实现从Excel读取Excel的数据和导出数据到Excel.也是我们日常开发中,经常会遇到的使用场景.比如有个客户信息表,要批量导出发给同事,我 ...
- jmeter 实现DB数据与接口数据的匹配校验
前言:接口出参数据与DB数据结合校验,使校验力度更准确~ jmeter自带插件JDBC Request Sampler 这个Sampler可以向数据库发送一个jdbc请求(sql语句),并获取返回的数 ...
- [源码]解析 SynchronousQueue 上界,下界.. 数据保存和数据传递. 堵塞队列. 有无频繁await?
简析SynchronousQueue.LinkedBlockingQueue(两个locker,更快),ArrayBlockingQueue(一个locker,读写都竞争) 三者都是bloc ...
随机推荐
- day76 auth模块 用户验证,
概要: form组件回顾: (1) 创建form组件对应的类,比如LoginForm (2) views.login: if get请求: form_obj=LoginForm() return re ...
- js判断上传图片文件大小,尺寸,格式
/** * 文件宽高 * @param eventId id * @param w 宽度 * @param h 高度 * @param callback 回调函数这里判断图片像素的方法是异步的,所以需 ...
- 安卓编程资源文件string中对占位符的使用详解
这里将为你详细介绍占位符的使用,将其学以致用,可以达到简化布局文件,减少字符串资源量. 1.在资源文件中的使用. 打开资源文件中的strings.xml文件,进行编辑.如下图所示: 图 1.0 2. ...
- 附001.kubectl介绍及使用
一 kubectl介绍 1.1 kubectl概要 kubectl控制Kubernetes集群管理器,使用Kubernetes命令行工具kubectl在Kubernetes上部署和管理应用程序.使用k ...
- linux 学习笔记四
文件权限管理篇章 chown -R mysql. /usr/local 把 /usr/local/以及以下的所有文件和子目录属主改为 mysql ls -al * 用这条命令查询 chgrp c ...
- TF-IDF算法解释
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
- 潭州课堂25班:Ph201805201 django框架 第八课 表关联对象方法add,create,remove,clear,多表查询 (课堂笔记)
查表: 数据的插入 新建添加 删除 清空
- [CF1039D]You Are Given a Tree
[CF1039D]You Are Given a Tree 题目大意: 给定一棵\(n(n\le10^5)\)个节点的树.对于每一个正整数\(k(1\le k\le n)\),求最多能找出多少条包含\ ...
- npm install 提示权限不足 Error: EPERM: operation not permitted, unlink XXX
问题 使用npm install时提示权限不足 原因 这里原因有两个: 没有管理员权限访问C盘下npm路径导致下载失败. NPM官网没有下载权限. 解决方案 第一原因 这里可以使用管理员身份执行以下命 ...
- PAT Basic 1006
1006 换个格式输出整数 (15 分) 让我们用字母 B 来表示“百”.字母 S 表示“十”,用 12...n 来表示不为零的个位数字 n(<10),换个格式来输出任一个不超过 3 位的正整数 ...