OLAP(在线分析处理)这个名词是在1993年由E.F.Codd提出来的,只是,眼下市场上的主流产品差点儿都是在1993年之前就已出来,有的甚至已有三十多年的历史了.OLAP产品不少,本文将主要涉及Cognos(Powerplay).Hyperion (Essbase).微软(Analysis Service)以及MicroStrategy几大厂商的产品. 快枪手  VS  多面手 单纯从成本角度考虑,微软的产品算是最能节省成本的,Cognos和MicroStrategy则在同一水平线,都比微软…

星型数据仓库olap工具kylin介绍 数据仓库是目前企业级BI分析的重要平台,尤其在互联网公司,每天都会产生数以百G的日志,如何从这些日志中发现数据的规律很重要. 数据仓库是数据分析的重要工具, 每个大公司都花费数百万每年的资金进行数据仓库的运维. 本文介绍一个基于hadoop的数据仓库, 它基于hadoop(HIVE, HBASE)水平扩展的特性, 客服传统olap受限于关系型数据库数据容量的问题. Kylin是ebay推出的olap星型数据仓库的开源实现. 首先请安装Kylin, 和它的运…

本文转载自:https://www.cnblogs.com/hsydj/p/4515057.html 星型数据仓库olap工具kylin介绍 星型数据仓库olap工具kylin介绍 数据仓库是目前企业级BI分析的重要平台,尤其在互联网公司,每天都会产生数以百G的日志,如何从这些日志中发现数据的规律很重要. 数据仓库是数据分析的重要工具, 每个大公司都花费数百万每年的资金进行数据仓库的运维. 本文介绍一个基于hadoop的数据仓库, 它基于hadoop(HIVE, HBASE)水平扩展的特性, 客…

参考:三大主流ETL工具选型 ETL工具 Kettle Spoon 开源ETL工具,所以免费,用java开发的. Ascential公司的Datastage(在2005年被IBM收购现在是 IBM 的分公司) 常见且常用,收费,可下载破解注册版 DataStage软件的优缺点:优点日志详细维护方便,缺点占用内存空间较大.参考:http://zhidao.baidu.com/link?url=Apt-gTOOiNDskzBXTpYtrkw-3OtdvdgRBAAsz7RB9cevYyROiyypm…

转自 Linux轻量级自动运维工具-Ansible浅析 - ~微风~ - 51CTO技术博客http://weiweidefeng.blog.51cto.com/1957995/1895261 Ansible是什么? ansible架构图 ansible特性  模块化:调用特定的模块,完成特定的任务: 基于Python语言研发,由Paramiko, PyYAML和Jinja2三个核心库实现: 部署简单:agentless: 支持自定义模块,使用任意编程语言: 强大的playbook机制: 幂等性…

(下面大多数工具都是开源工具,在github,码云等开源平台都能找到) "测试那点事儿”在看到360旗下的测试团队整理的关于目前APP移动端自动化相关的工具,觉得总结的很到位,对目前大多数中小型测试团队在自动化测试工具选型有很大的参考价值,所以再此整理收藏,方便自己日后参考和各位看官们查阅: 所谓工欲善其事,必先利其器.当我们遇到任务和挑战时候,作为工程师来说第一反应自然是造一个华丽的轮子,本文称之为测试“兵器”.自古以来造轮子和复用轮子一直是大家津津乐道的话题,本文先从移动端测试的方向给大家呈…

1.JMeter自身的特点 1)开源.轻量级.更适合自动化和持续集成(100M左右,LoadRunner 4G左右) 2)学习难度大 3)资料少.全英文 2. 性能测试工具选型的原则 1)成本 a.工具成本 b.学习成本 2)通信协议 a.标准协议 b.自由协议 3)生命力 4)跨平台 3. JMeter模拟压力的原理 1)性能测试工具-协议与服务期间的交互 2)自动化测试工具-对象识别技术…

转自 Linux轻量级自动运维工具-Ansible浅析 - ~微风~ - 51CTO技术博客http://weiweidefeng.blog.51cto.com/1957995/1895261 Ansible是什么? ansible架构图 ansible特性  模块化:调用特定的模块,完成特定的任务: 基于Python语言研发,由Paramiko, PyYAML和Jinja2三个核心库实现: 部署简单:agentless: 支持自定义模块,使用任意编程语言: 强大的playbook机制: 幂等性…

ETL代表"提取.转换和加载".ETL 过程在数据集成策略中起着关键作用.ETL允许企业从多个来源收集数据并将其整合到一个集中的位置.ETL还使不同类型的数据可以协同工作. 概述 典型的ETL过程会收集和优化不同类型的数据,然后将数据传送到数据仓库. ETL 还使在各种来源.目的地和分析工具之间迁移数据成为可能.因此,ETL流程在生成商业智能和执行更广泛的数据管理策略方面发挥着关键作用. ETL 的工作原理 ETL 过程由三个步骤组成,并使数据能够从源头集成到目的地,这三个步骤分别是数…

ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋.之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作.没有认真考虑其工具支撑有很大关系. 做ETL产品的选型,仍然需要从以前说的四点(即成本.人员经验.案例和技术支持)来考量.在此,主要列举三种主流ETL产品:Ascential公司的Datastage.Infor…

ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋.之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作.没有认真考虑其工具支撑有很大关系. 做ETL产品的选型,仍然需要从以前说的四点(即成本.人员经验.案例和技术支持)来考量.在此,主要列举三种主流ETL产品:Ascential公司的Datastage.Infor…

1  简介 1.1   范围 1.2   目的 本文档用于指导测试部进行接口测试. 2013-03-11磁针石 #承接软件自动化实施与培训等gtalk:ouyangchongwu#gmail.com qq 37391319 博客:http://blog.csdn.net/oychw #版权所有,转载刊登请来函联系 # 深圳测试自动化python项目接单群113938272深圳广州软件测试开发 6089740 #深圳地摊群 66250781武冈洞口城步新宁乡情群49494279 #自动化测试和py…

企业信息化建设过程中,业务系统各自为政.相互独立造成的"数据孤岛"现象尤为普遍,业务不集成.流程不互通.数据不共享--.这给企业进行数据的分析利用.报表开发等带来了巨大困难.在此情况下,数据仓库的建设就显得必不可少了,将相互分离的业务系统的数据源整合在一起,建立一个统一的数据采集.处理.存储.分发.共享中心,实现企业全局数据的系统化运作管理,为DSS(决策支持系统).BI(商务智能).经营分析系统等深度开发应用奠定基础,挖掘数据价值. 在企业搭建数据仓库的过程中,有一个核心环节--ET…

原文地址:https://blog.csdn.net/boonya/article/details/78739500 距离上次使用VS工具已是2年前了,这次准备选择比较新的版本来开发桌面程序了.总的来说,微软在对VS瘦身和插件式安装上做了一些改进,需要什么就安装什么这个比较好.从百度下载一个下载客户端下来,拉取一个基础的安装只需要600MB空间,微软将所要开发环境封装成了安装组件通过勾选的方式进行安装,这样方便了许多,请原谅我之前还是VS2005经典款的用户.时代在变,锐意进取,不断更新,工具也…

目前hybird app工具众多,如何选择?哪个坑少点呢? 下面来分析一下: 1开发工具都开源.基于Eclipse的有:apicloud,WeX5 2热门指数.下面的百度的搜索结果数,代表不了什么,至少可以代表它的热门指数 名称 结果数 ExMobi 62,800 Appcan 611,000 apicloud 706,000 WeX5 493,000 phonegap 9,750,000 crossapp 500,000 dcloud 295,000 phonegap:app混合开发的领导者,…

juc.CountDownLatch 闭锁 一个线程在等待一组线程后再恢复执行 await()等待其他线程执行完毕 被等待线程执行完毕后计数器-1 如何知道其他线程执行完了? 计数器,若一组线程为,CountDown为5,减到0代表等待线程被全部执行完毕 一次性工具:当Countdown的值减到0的时候再也无法恢复 juc内部的代码都是lock体系来实现的 import java.util.concurrent.CountDownLatch; import java.util.concurren…

​伴随着大数据时代的到来,企业对数据的需求从"IT主导的报表模式"转向"业务主导的自助分析模式",可视化BI工具也随之应运而生.面对如此众多的可视化BI工具,我们应该使用什么标准来筛选出最适合企业业务的可视化BI工具呢? 1.数据的安全性 首先,无论可视化BI工具视觉效果如何,对数据的安全性是用户首先要考虑的问题.哪些数据对哪些人可见,哪些数据对哪些人不可见,这些都需要用户仔细考虑. 在数据权限方面,Smartbi支持基于分析场景进行业务建模,用户可以将数据库中的字…

伴随着大数据时代的到来,企业对数据的需求从"IT主导的报表模式"转向"业务主导的自助分析模式",可视化BI工具也随之应运而生.面对如此众多的可视化BI工具,我们应该使用什么标准来筛选出最适合企业业务的可视化BI工具呢? 第一个关键因素就是要熟悉你的用户,否则你最终可能只是买了几套BI工具和数据可视化软件,并没有发挥他们的全部作用,甚至根本没用上.许多种可视化分析产品,包括来自较大供应商的一些产品.它们功能很丰富,但是你需要这些功能吗?你的员工里有人真的用过这些功能吗…

本文主要梳理了研发效能领域完整的方向图谱以及主流工具,其中对少部分工具也做了一些点评.看了之后,大家可以对研发效能这个领域有个整体认识,同时研发效能落地的时候也有对应的工具(黑话叫抓手)可以选择. 我上传了一个高清大图,大家可以下载下来看.如果有问题,欢迎留言或者微信直接纠正我.这是第一版,后续我会在研发效能群里更新,欢迎加入我们. 文档管理 推荐语雀.快手内部的docs 还是非常给力的,我非常喜欢用.腾讯文档也不错,有很多的模版.不过今天在我导入一个脑图的时候,居然提醒我节点太多,需要付费才能…

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 介绍 新业务上线的时候通常需要对数据库性能进行压力测试,以确认是否满足需要,今天简单介绍下sysbench的用法: 1.sysbench 是一个开源跨平台的多线程性能测试工具. 2.可以用来进行 CPU.内存.磁盘IO.线程.数据库的性能测试. 3.目前支持的数据库是 MySQL.Oracle 和 PostgreSQL. 安装 1.YUM 安装 curl -s https://packagecloud.io/insta…

BI工具是商业智能(Business Intelligence)软件的英文缩写.目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具. 企业经常会为如何选择BI工具而苦恼,其实对于企业来说,在选择bi工具时,除了要结合自家企业的需求.后期的维护成本等,还有一点是非常重要的,那就是数据可视化. 数据可视化,是指将信息用视觉上吸引人的方式展示出来,使大家更快更好地理解数据.能否选择合适的图表类型,决定了能否做出优秀的可视化数据.比如,比起柱状图,饼图能更好地展…

 原本这篇文章可以更早一星期写出来与大家分享,由于某方面的原因耽搁到现在,心里竟有那么一点好像对不住大家的感觉.这当然与神器有关,因为我发现利用这四大神器我似乎觉得几乎所有的NET程序破解都不在话下了.而我竟然在发现这神器组合后推迟了一周才分享与大家!        在开始分享之前,还是要说明一点,说是神器到目前为止也仅仅是对我自己而言,至于这四大神器会不会成为对各位而言的神器就不得而言了,因此当有哪位亲拿到这四大神器后仍然感到破解NET程序存在很大困难,请拍砖.        先介绍一下我眼中…

四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho 1 BI系统的简述 从技术角度来说 BI 包含了 ETL.DW.OLAP.DM等多环节.简单的说就是把交易系统已经发生过的数据,通过ETL工具抽取到主题明确的数据仓库中,OLAP后生成Cube或报表,透过Portal展现给用户,用户 利用这些经过分类.聚集.描述和可视化的数据,支持业务决策. 这些众多的BI项目从规模和对BI系统支撑的完善程度上来说,大体可以分为Framework.Stand-alone T…

但凡服务器上了一定规模(百台以上),普通的ssh登录管理的模式就越来越举步维艰.试想Linux发布了一个高危漏洞的补丁,你要把手下成百上千台机器都更新该补丁,如果没有一种自动化方式,那么至少要耗上大半天时间.虽然你编写了大量的shell(或python,perl)脚本来实现各种自动化场景,但最后会发现你又陷入了脚本的汪洋大海之中,管理和维护这么多的脚本的成本也不小.你需要一款基础设施自动化工具,希望它能具有以下功能. 1批量执行 这个不多说了吧,试想要为每一台机器打补丁的情形吧. 2任务编排 现…

 原本这篇文章可以更早一星期写出来与大家分享,由于某方面的原因耽搁到现在,心里竟有那么一点好像对不住大家的感觉.这当然与神器有关,因为我发现利用这四大神器我似乎觉得几乎所有的NET程序破解都不在话下了.而我竟然在发现这神器组合后推迟了一周才分享与大家!        在开始分享之前,还是要说明一点,说是神器到目前为止也仅仅是对我自己而言,至于这四大神器会不会成为对各位而言的神器就不得而言了,因此当有哪位亲拿到这四大神器后仍然感到破解NET程序存在很大困难,请拍砖.        先介绍一下我眼中…

前言 上一篇重点讲解了数据仓库建模,它是数据仓库开发中最核心的部分.然而完整的数据仓库系统还会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具(OLAP)和商务智能(BI)应用等. 本文将对这些方面做一个总体性的介绍(尤其是OLAP),旨在让读者对数据仓库的认识提升到一个全局性的高度. 创建数据仓库 数据仓库的创建方法和数据库类似,也是通过编写DDL语句来实现.在过去,数据仓库系统大都建立在RDBMS上,因为维度建模其实也可以看做是关系建模的一种.但如今随着开源分布式数据仓库工…

本文由葡萄城技术团队于博客园原创并首发 转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具.解决方案和服务,赋能开发者. 最近公司要引入API测试工具,经过调查和了解,最终决定在SoapUI 和 Postman两种工具之间做一个选择,两种工具在业界都很有名,相信很多人两种工具也都曾使用过. SoapUISoapUI是一个开源测试工具,通过soap/http来检查.调用.实现Web Service的功能/负载/符合性测试.该工具既可作为一个单独的测试软件使用,也可利用插件集成到Eclip…

本文转载自:http://blog.csdn.net/u013412535/article/details/43462537 ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过萃取(extract).转置(transform).加载(load)至目的端的过程.ETL一词较常用在数据仓库,但其对象并不限于数据仓库.   ETL负责将分布的.异构数据源中的数据如关系数据. 平面数据文件等抽取到临时中间层后进行清洗.转换.集成,最后加载到数据仓库或数据集市…

一.OLAP简介 1. 概念 OLAP是英文是On-Line Analytical Processing的缩写,意为联机分析处理.此概念最早由关系数据库之父E.F.Codd于1993年提出.OLAP允许以一种称为多维数据集的结构,访问业务数据源经过聚合和组织整理后的数据.以此为标准,OLAP作为单独的一类技术同联机事务处理(On-Line Transaction Processing,OLTP)得以明显区分.        在计算领域,OLAP是一种快速应答多维分析查询的方法,也是商业智能的一个…

阅读目录 前言 创建数据仓库 ETL:抽取.转换.加载 OLAP/BI工具 数据立方体(Data Cube) OLAP的架构模式 小结 回到顶部 前言 上一篇重点讲解了数据仓库建模,它是数据仓库开发中最核心的部分.然而完整的数据仓库系统还会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具(OLAP)和商务智能(BI)应用等. 本文将对这些方面做一个总体性的介绍(尤其是OLAP),旨在让读者对数据仓库的认识提升到一个全局性的高度. 回到顶部 创建数据仓库 数据仓库的创建方法和数据…