在3月29日深圳云栖大会的数据分析与可视化专场中,阿里云产品专家陌停对大数据智能分析产品 Quick BI 进行了深入的剖析.大会现场的精彩分享也赢得观众们的一直认可和热烈的反响. 大数据分析之路的挑战与期望 阿里巴巴作为一家大数据公司,整个集团,从上到下都在践行数字化运营.传统的大数据分析之路,正面临着临时需求多.需求响应时间长.本地化现象严重.专业人才紧缺等挑战,急需构建一个面向业务人员的自助式大数据分析工具,让业务人员自助式实现在线数据分析,助力企业业务的数据化. Quick BI核心能力…

随着互联网大数据时代的不断发展,BI让企业的工作效率变得更高效.BI的功能也随着需求的增长不断地丰富,例如,数据可视化大屏.可视化表格.商业化数据分析.数据地图等.国外的厂商在很多场景下无法满足国内的需求,国内的BI厂商也在蓬勃发展.那么,有国内有哪些不错的BI厂商呢? 1.奥威BI 奥威软件由多名在金蝶或用友公司服务多年的股东于2006年成立.奥威BI主要有三大产品:Power-BI.OurwayBI和Speed-BI. Power-BI:是更适合中小企业的企业级BI商业智能工具,支持私有化部…

本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展.最后我们将介绍如何结合云上存储.计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景. 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控,零售.餐饮行业需要大数据系统实现辅助销售决策,各种IOT场景需要大数据系统持续聚合和分析时序数据,各大科技公司需要建立大数据分析中台等等…

非常非常抱歉,新年上班第一天, 在今天阿里云上气候突变情况下,由于我们开船技术差,在今天 10:15~12:00 左右的访问高峰,我们竟然把船给开翻了,造成近2个小时整个博客站点无法访问,由此给您带来很大很大的麻烦,恳请您的谅解. 翻船经过如下. 翻墙前的船只情况 博客站点正在使用的 k8s 集群一共用了 9 台 worker 节点服务器,在访问低峰时用 5 台,另外 4 台处于关机状态,在进入访问高峰前启动.所以我们用 cron 定时任务在工作日每天早上启动 4 台服务器,每天晚上关闭 4 台…

昨天有用户向我们反馈一篇博文(一条语句导致CPU持续100%)中的部分图片不能显示,我们的图片访问用的是阿里云CDN,原以为是某个CDN节点不稳定的问题,但在排查时发现这些图片不能显示竟然是因为请求时被阿里云CDN节点自动重定向到了百度首页. 由于我们的源站并没有任何重定向到百度首页的操作,所以我们怀疑是阿里云CDN节点出了什么异常状况,于是向阿里云进行反馈,阿里云工程师排查后怀疑可能是CDN回源时被运营商劫持了.这是一个被我们所忽略的问题点,之前我们只关注用户端与服务器之间的运营商劫持,而忽视…

码上送祝福,带云小宝回家 做任务免费抽iphone13,还可得阿里云新春限量手办 日期:2021.12.27-2022.1.16 云小宝地址:https://developer.aliyun.com/special/luckycode 体验简介 本场景将提供一台配置了CentOS 7.7操作系统的ECS实例(云服务器).通过本教程的操作,您可以在一台CentOS 7.7操作系统的ECS实例上安装和部署LAMP环境,然后安装 WordPress,帮助您快速搭建自己的博客. 场景地址:https:/…

JindoFS背景 计算存储分离是云计算的一种发展趋势,传统的计算存储相互融合的的架构存在一定的问题, 比如在集群扩容的时候存在计算能力和存储能力相互不匹配的问题,用户在某些情况下只需要扩容计算能力或者存储能力,传统的融合架构不能单独的扩充计算或者存储能力, 而计算存储分离可以很好的解决这个问题,用户只需要关心整个集群的计算能力. 基于OSS 计算存储分离 EMR 现有的计算存储分离方案是基于OSS提供兼容Hadoop文件系统的OssFS, 用户通过OssFS 可以访问OSS 上的数据, 因此O…

介绍一下怎么在sae上做个网站 前言 曾经,sae是收费的,计时收费,还挺贵的呢.所以就试玩了一下,没敢继续鼓捣.后来,云计算越来越火了,新浪也不差钱嘛,于是直接给新注册的开发者送好多豆子,于是,免费时代到来了. 建个网站 打开http://sinaapp.com/,注册个开发者吧,微博登陆就行,进去最好弄个实名认证.在人家地盘弄网站,人家当然要知道你具体是谁,否则弄些比较有那个啥的代码给浪云抹黑,不就不好了嘛.(一打开网页会在上面有提示,你可以找那些网站,举报一下,奖励还挺丰富呢.) 进入sa…

2013年7月24日,18:20~18:50左右,处于阿里云云服务最前沿的SLB(负载均衡)出现故障,造成了网站不能正常访问(由于是最前沿,这次连502也看不到了). 在大家对昨日RDS故障带来的麻烦还记忆犹新的时候,今天又给大家带来新的麻烦,我们真的真的很抱歉! 我们本来想走上云计算之路之后,可以更专心于开发出更好的产品,为大家提供更好的服务,哪知道国内云计算厂商连云计算的根本——稳定性都不能保证. 在艰苦走了一段云计算之路之后,突然发现面前竟然是一条十字路口:国内云计算厂商的不争气,国外云计…

背景 乾象投资 Metabit Trading 成立于2018年,是一家以人工智能为核心的科技型量化投资公司.核心成员毕业于 Stanford.CMU.清北等高校.目前,管理规模已突破 30 亿元人民币. Metabit 非常重视基础平台的建设,有一支强大的 Research Infrastructure 团队.团队试图打破在单机上进行研发的壁垒,利用云计算进行更高效.安全的工具链研发. 01 量化的研究都在做什么 作为一家成立时间不久的量化投资机构,我们在对基础存储平台进行选型时,会受到这样两…

简述 Nginx在服务器部署中的作用 请求通过Nginx实现反向代理,将请求提交给代理服务器.本文中只用了一台服务器,所以是代理到本机. gunicorn的作用 作为服务器代码的容器.接收Nginx的请求后执行代码,并通过nginx将结果最终返回给用户. flask的作用 flask是python上用于web应用的轻量级的框架. 部署过程 1 在阿里云上租用一台云服务器,本文中使用的是ubuntu系统,以下内容都是在云服务器中进行. 2 使用pip3安装gunicorn 3  运行gunicor…

作者 Jonathan Allen ,译者 张晓鹏 Hunk是Splunk公司一款比較新的产品,用来对Hadoop和其他NoSQL数据存储进行探測和可视化,它的新版本号将会支持亚马逊的Elastic MapReduce. 结合Hadoop使用Hunk Hadoop由两个单元组成,首先是被称为HDFS的存储单元,HDFS能够分布在成千上万个复制的节点上.接下来是MapReduce单元,它负责跟踪和管理被命名为map-reduce jobs的作业. 之前,开发人员会用到Splunk Hadoop C…

11月22日,广东云栖大会企业级互联网架构专场上,阿里云发布了全新版本的企业级分布式应用服务EDAS. 新版本增强了对主流微服务框架的原生支持,实现SpringCloud & Dubbo用户代码零侵入就能迁移至EDAS,降低开发者的接入门槛,提升体验,打造闭环高效的研发运维体系.同时,发布EDAS Serverless公测版本,成为国内首个基于Kubernetes.并支持微服务框架的无服务器容器. 阿里云企业级别分布式应用服务EDAS 沉淀自阿里巴巴近十年的服务化改造实践,作为分布式服务架构的核…

前言:在做一些项目的时候,经常有一些文档交流,修改之后的文档在QQ或微信上发来发去,还要下载,很是不爽,有一个挺有用的东西叫做KodExplorer可道云. kodexplorer可道云是目前国内有代表性.美观易用性好的私有云软件,本文介绍在阿里云的云服务器上如何部署kodexplorer可道云,搭建私有网盘. 注意:云服务器部署和普通的Ubuntu上部署有一些区别,因为云服务器上只能使用命令行,没有界面. 一.准备 首先,你得在阿里云上有一台云服务器,并且确定所安装的系统是什么,可通过 get…

在3月29日深圳云栖大会的数据分析与可视化专场中,阿里云产品专家潘炎峰(陌停)对大数据智能分析产品 Quick BI 进行了深入的剖析.大会现场的精彩分享也赢得观众们的一直认可和热烈的反响. Quick BI诞生于阿里巴巴集团自身对数据分析的需求过程.从自研报表,到自研BI可视化,再到现在所使用的智能Quick BI,集团经历了多年的探索.从当初重度依赖专业的数据分析人才,到现在赋予一线业务人员智能化的分析工具,阿里小二们真正的做到了“数据化运营”让数据产生价值. 数据处理 现在,越来越多的企业…

我叫洞幺,是一名大型婚恋网站“我在这等你”的资深老员工,虽然在公司五六年,还在一线搬砖.“我在这等你”成立15年,目前积累注册用户高达2亿多,在我们网站成功牵手的用户达2千多万.目前我们的公司在CEO的英名带领下,为我国民生问题出点绵薄之力. 缘起 突然有一天,我主管说公司最近购买了阿里云的QuickBI专业版.说了一大堆要好好利用数据的道理.说Quick BI的高大上, 可以通过提供海量数据即席分析什么的.电子报表制作及拖拽式的可视化分析能力什么的,重塑数据生产的全链路什么的.我听得模模糊糊,…

很多企业在做BI项目时,一开始的目标都是想通过梳理管理逻辑,帮助企业搭建可视化管理模型与深化管理的精细度,及时发现企业经营管理中的问题. 但在项目实施和验收时,BI却变成了报表开发项目,而报表的需求往往和个人习惯有关,一旦人员发生变动,尤其是新入职的高层,会把前公司的内容搬过来,这就需要重新开发一大堆报表. 如果不从源头进行控制,被动服务模式下的IT不可能满足所有人的报表需求.接下来我们要讲的这个案例就真实反应了这个过程,同时也为大家解析问题产生的原因并找到解决问题的方法,建议所有有计划或已经实…

之前老板给了我一个任务,让我赶紧学习一下大数据分析,下个季度就要用. 赶紧看了一下日历,这离下个季度还有不到半个月的时间,而且我还没有数据分析基础,该怎么能在这么短的时间内学会大数据分析呢-- 经过多方了解,我发现了自助式BI工具这个宝藏! 相比于传统大数据分析工具,用自助式BI工具做大数据分析更加全面,易于上手.而且BI工具还可以可以进行多层次多深度的大数据分析,实现对大数据的横向联动和纵深挖掘.今天就来把我之前学习到的,如何用BI工具进行大数据分析分享给大家! 一.BI和大数据分析 要想了解…

自助式BI的崛起:三张图看清商业智能和大数据分析市场趋势 大数据时代,商业智能和数据分析软件市场正在经历一场巨变,那些强调易用性的,人人都能使用的分析软件正在取代传统复杂的商业智能和分析软件成为市场的热点和趋势. 只要看一眼Tableau的财务报告,你就能明白商业智能市场正在发生什么,Tableau去年第四季度营收同比增长了75%.这标志着企业和个人纷纷开始购买那些“自助式”分析软件,也就是那种简单易用到完全不懂数据分析的业务人员和商务人士也能轻松上手的分析软件,例如Tableau,而传统商业分…

阿里云96页报告详解<云上转型>(10个案例.10大趋势/完整版PPT) 2017-12-29 14:20阿里云/云计算/技术 ﹃产业前沿超级干货﹄ ﹃数据观○重磅速递﹄ 阿里云研究中心云上转型报告:第四次计算革命孕育“数字经济体” 数据观导读 纵观2000年的人类历史,计算与商业始终是一对互相促进的”孪生兄弟“,创造出许许多多崭新的商业模式与生活服务.今天,云计算掀起了“第四次计算革命”! 与此同时,全球产业升级正在如火如荼地展开,各行各业的中国企业纷纷上云,实现商业模式.技术模式.组织模式…

A. 环境准备 1. 安装jdk1.8+, Intelij IDEA 2. linux上编译好fe前端代码,主要目的是获取自动生成的代码,加入到前段工程里面去用于在idea中编译fe工程.具体编译请参照本人前期博文:CentOS 上使用vscode 调试百度大数据分析框架Apache DorisBE,编译好之后: tar -cvf /home/workspace/palo0.8.1/genSrc/buid/java.tar /home/workspace/palo0.8.1/gen_cpp/bu…

本文略长,阅读大约需要10分钟. 懵懵懂懂的学习了python,然后一发不可收拾的爱上了python大数据分析,慢慢的走进了大数据的学堂,学习如何大数据挖掘,大数据分析,到BI系统建设使用. 大数据的历程都是懵懵懂懂的,一个坑一个脚印自己摸过河,可能很多想法都不是对的,记录下学习的历程,往后余生,咋说也是个念想.不是吗? 一  python的学习经历 现单位是传统公司,没有996,工作业余时间很多,可能为了打发时间,同时不想自己技术out,无意间就强迫自己学习了python,然后发现python…

     今天早上蹲坑玩手机的时候,无意间看到了iPhone 给我一些提醒,震惊了我.也许你们会说,没什么大惊小怪的,当然做程序的都知道苹果公司早就记载了我们日常生活中很多数据,只是苹果公司目前还没做出太大的举动.先放图:                                        疑问: 1.它怎么知道我要去公司上班呢? 2.它怎么知道我今天要走哪条路线? 3.它怎么知道我公司在哪? 4.它怎么知道我去公司要花1小时4分钟(当然有可能是iPhone内置地图导航的,看右上角导航…

9月26日,在云栖大会SaaS加速器专场上,阿里云发布了新版的SaaS上云工具包(SaaS Launch Kit),发布了API网关的新功能,以及推出了全新升级的能力中心. SaaS上云工具包,顾名思义,就是帮助伙伴的SaaS上云的工具包.这里的SaaS指的广义的企业应用,包含SaaS,传统企业软件,API.解决方案等等.对SaaS而言,上云不是目的,而是手段.上云真正的目的是客户体验提升,业务连续,以及伙伴业务发展和降低成本.阿里云希望SaaS上云对伙伴是快捷的, 省心的; 对客户是友好的,…

对于普通的表格展示数据,相信大家都非常熟悉了,今天给大家介绍的是BI领域的分析利器-交叉表,这个在BI分析场景中使用占比最多的分析利器.通过交叉表对数据的承载和管理,用户可以一目了然地分析出各种场景指标以及对比,帮助用户作出决策.我们简单列举几个场景看看Quick BI的宝藏功能——交叉表吧! 场景一:多角度排序 很多时候,当我们面对大量数据时,都需要用到排序来知晓 TOP N 等场景,在这里,Quick BI的交叉表提供了两种排序方式. 1.全量排序 全量排序是直接对某个字段(维度/度量)进行…

Quick B的SQL传参建模功能提供基于SQL的数据加工处理能力,减轻了IT支撑人员的工作量.在即席查询SQL中,我们用物理字段显示别名来表示参数的占位符,配置完占位符后,就可以在查询控件中进行参数绑定.在的传参建模中,本质透传的是逻辑条件,执行过程中会将物理字段:显示别名来表示参数的占位符,配置完占位符后,就可以在查询控件中进行参数绑定.在QuickBI的SQL传参建模中,本质透传的是逻辑条件,执行过程中会将“{物理字段:显示别名}”替换为“物理字段 > 查询值 ” 或 “物理字段 = 查询…

Quick BI 潜心打造了核心技术底座(OLAP分析引擎),实现了SQL解析.SQL调度.SQL优化.查询加速等基础能力,支撑Quick BI的数据分析和查询加速.OLAP分析引擎包括数据源连接.数据模型.智能查询路由.通用查询.加速查询等5大核心能力.今天就Quick BI的数据源连接能力,小编给大家作个详细介绍! 支持哪些数据源:支持24种数据源 数据源是Quick BI用于连接业务数据库的管理功能,是数据分析的基础准备工作.Quick BI数据源,仅做数据源连接.SQL任务解析及调度,所…

前言: 最近小编帮助隔壁团队一个小姐姐解决了个大难题:给老板汇报业绩分析,频次提高.效率提升,还得保证团队中的小伙伴们都得有点大数据时代的基本数据能力.小编觉得这么好的经验可以分享给更多志同道合的朋友们,所以决定加班加点,推出Quick BI的功能.场景及技巧分享系列,为大数据时代舔砖加瓦! Quick BI是阿里云上面向企业和个人提供的高效数据分析及展现服务平台,承载了数据连接.数据处理.数据分析及可视化的能力.本文是Quick BI分享系列的第一篇,可以帮助大家在20分钟完成敏捷BI的认知及…

一.摘要 随着互联网的高速发展,数据量爆发式增长的同时,数据的存储形式也开始呈现出多样性,有结构化存储,如 Mysql, Oracle, SQLServer 等,半结构化甚至非结构化存储,如HBase,OSS 等.那么从事数据分析的人员就面临着从多种多样的数据存储形式中提取数据而后进行多维分析,这将是一件非常具有挑战的事情.而Quick BI 作为新一代智能BI服务平台,恰好解决了这一难题,不仅支持多种结构化数据源的多维分析,也支持本地文件上传后的查询分析,同时还支持部分非结构化数据源的OLAP…

OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过QQ音乐与腾讯云EMR产品深度合作的案例解读,还原一个不一样的大数据云端解决方案. 一.背景介绍 ​ QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品,平台打造了“听.看.玩”的立体泛音乐娱乐生态圈,为累计注册数在8亿以上的用户提供多元化音乐生活体验,畅享平台上超过3000万首歌曲的海量曲库.优质服务的背后,是每…