介绍 我是NDPmedia公司的大数据OLAP的资深高级工程师, 专注于OLAP领域, 现将一个成熟的可靠的高性能的海量实时OLAP数据仓库介绍给大家: druid.io NDPmedia在2014年3月就开始使用, 见链接: http://blog.csdn.net/chenyi8888/article/details/37594771 druid是个很新的平台, 2013年底才开源出来, 虽然出现的比较晚, 但druid发展很快, 中国有几个公司开始使用, 2015年druid将会是爆发的一…

介绍 我是NDPmedia公司的大数据OLAP的资深高级工程师, 专注于OLAP领域, 现将一个成熟的可靠的高性能的海量实时OLAP数据仓库介绍给大家: druid.io NDPmedia在2014年3月就开始使用, 见链接: http://blog.csdn.net/chenyi8888/article/details/37594771 druid是个很新的平台, 2013年底才开源出来, 虽然出现的比较晚, 但druid发展很快, 中国有几个公司开始使用, 2015年druid将会是爆发的一…

本文转载自公众号 DBAplus社群 , 作者:谢麟炯 谢麟炯,唯品会大数据平台高级技术架构经理,主要负责大数据自助多维分析平台,离线数据开发平台及分析引擎团队的开发和管理工作,加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作. 海量数据实时OLAP场景的困境 大数据 首先来看一下我们在最初几年遇到的问题.第一就是大数据,听起来好像蛮无聊的,但大数据到底是指什么呢?最主要的问题就是数据大,唯品会在这几年快速发展,用户流量数据从刚开始的几百万.几千万发展到现在…

文章目录 前言 Druid介绍 主要特性 基础概念 数据格式 数据摄入 数据存储 数据查询 查询类型 架构 运维 OLAP方案对比 使用场景 使用建议 参考 近期主题 前言 项目早期.数据(报表分析)的生产.存储和获取业务,MySQL基本上可以满足需要,但是随着业务的快速增长,数据量翻至亿为单位时,MySQL无法满足例如:快速实时返回“分组+聚合计算+排序聚合指标”查询需求.记得还是2017年之后,对当时的几款OLAP进行了调研,用线上数据训练.当时Druid在性能和功能上基本上能够满足需要,下…

原文链接: https://blog.csdn.net/njpjsoftdev/article/details/52955676 Druid.io(以下简称Druid)是面向海量数据的.用于实时查询与分析的OLAP存储系统.Druid的四大关键特性总结如下: 亚秒级的OLAP查询分析.Druid采用了列式存储.倒排索引.位图索引等关键技术,能够在亚秒级别内完成海量数据的过滤.聚合以及多维分析等操作. 实时流数据分析.区别于传统分析型数据库采用的批量导入数据进行分析的方式,Druid提供了实时流数…

OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过QQ音乐与腾讯云EMR产品深度合作的案例解读,还原一个不一样的大数据云端解决方案. 一.背景介绍 ​ QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品,平台打造了“听.看.玩”的立体泛音乐娱乐生态圈,为累计注册数在8亿以上的用户提供多元化音乐生活体验,畅享平台上超过3000万首歌曲的海量曲库.优质服务的背后,是每…

使用ElasticSearch作为大数据平台的实时OLAP框架 – lxw的大数据田地 http://lxw1234.com/archives/2015/12/588.htm 一直想找一个用于大数据平台实时OLAP(甚至是实时计算)的框架,之前调研的Druid(druid.io)太过复杂,整个Druid由5.6个服务组成,而且加载数据也不太方便,性能一般,亦或是我还不太会用它.后来发现使用ElasticSearch就可以满足海量数据实时OLAP的需求. ElasticSearch相信大家都很熟悉…

1. 概述 Druid的数据摄入主要包括两大类: 1. 实时输入摄入:包括Pull,Push两种 - Pull:需要启动一个RealtimeNode节点,通过不同的Firehose摄取不同种类的数据源. - Push:需要启动Tranquility或是Kafka索引服务.通过HTTP调用的方式进行数据摄入 2. 离线数据摄入:可以通过Realtime节点摄入,也可以通过索引节点启动任务摄入 本文演示环节主要基于上一章部署的集群来进行 2. 实时数据摄入 2.1 Pull 由于Realtime N…

Node+Express+MongoDB + Socket.io搭建实时聊天应用 前言 本来开始写博客的时候只是想写一下关于MongoDB的使用总结的,后来觉得还不如干脆写一个node项目实战教程实战.写教程一方面在自己写的过程中需要考虑更多的东西,另一方面希望能对node入门者有一些帮助.相信大多数跟随前面一章教程来到这一章的读者大多分成两类,第一类是知道node,想学习node,但是英文匮乏或者网上教程不给力,希望有一个全面一点的教程入门的:第二类应该是node入门,但是之前使用的不是类似M…

基于socket.io的实时在线选座系统(demo) 前言 前段时间公司做一个关于剧院的项目,遇到了这样一种情况. 在高并发多用户同时选座的情况下,假设A用户进入选座页面,正在选择座位,此时还没有提交所选择的座位. 这时B用户进入选座页面,迅速的选择了座位,提交. 而这个时候,A终于选择完毕,提交. 发现座位已经被买了. 当用户越多这样的情况越严重. 具体场景就是如此. 1.简介 本项目是基于jquery.seat-charts在线选座插件.集合socket.io,实现的实时选座系统,可应用于剧…