数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要.而适合于Hadoop大数据生态体系的数据治理就非常的重要了. ​ 大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案. 数据发现平台可以解决的问题 为什么需要一个数据发现平台? 在数据治理过程中,经常会遇到这些问题: 数据都存在哪? 该如何使用这些数据? 数据是做什

DataHub 首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关. 数据治理是大佬们最近谈的一个火热的话题.不管国家层面,还是企业层面现在对这个问题是越来越重视.数据治理要解决数据质量,数据管理,数据资产,数据安全等等.而数据治理的关键就在于元数据管理,我们要知道数据的来龙去脉,才能对数据进行全方位的管理,监控,洞察. DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具. 提到LinkedIn,不得不想到大名鼎鼎的Ka

1.项目简介 Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类.集中策略引擎.数据血缘.安全和生命周期管理在内的元数据治理核心能力. 官网地址:http://atlas.apache.org/ 2.项目架构 Data Hub使用的是Generalized metadata architecture(GMA),重点面对多种元数据可伸缩性的四项挑战. 建模:以对开发人员友好的方式对所有类型的元数据和关系进行建

距离上次atlas发布新版本已经有一年的时间了,但是这一年元数据管理平台的发展一直没有停止.Datahub,Amundsen等等,都在不断的更新着自己的版本.但是似乎Atlas在元数据管理,数据血缘领域的地位一直没有动摇. 最近Atlas终于迎来又一次大的更新,发布了全新的2.2.0版本. 首先来了解一下这个版本. Apache Atlas 2.2 有哪些新功能? 分类传播任务 : 分类传播将作为后台任务处理 (AtlasTask) 重新索引:添加重新索引作为 JAVA_PATCH 的一部分 模

随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为新一代的元数据管理平台,Datahub在近一年的时间里发展迅猛,大有取代老牌元数据管理工具Atlas之势.国内Datahub的资料非常少,大部分公司想使用Datahub作为自己的元数据管理平台,但可参考的资料太少. 所以整理了这份文档供大家学习使用. 本文档基于Datahub最新的0.8.20版本,整理自部分官网内容,各种博客及实践过程.文章较长,建议收藏.新版本的文档请关注公众号 大数据流动,会持续的更新~ 通过本文档

MySQL所在机器: 192.168.16.70(Master) 192.168.16.74(Slave)      192.168.16.72(atlas)注意:主从复制需要自行配置atlas配置使用:一,下载安装Atlashttps://github.com/Qihoo360/Atlas/releases注意操作系统的版本,安装相应版本的Atlas,我这里下载的是Atlas-2.2.el6.x86_64.rpmrpm -i https://github.com/Qihoo360/Atlas/

阅读目录 1. 数据库用户配置 2. 主从数据库连接 3. Atlas配置 4. 读写分离测试 序章 Atlas是360团队弄出来的一套基于MySQL-Proxy基础之上的代理,修改了MySQL-Proxy的一些BUG,并且优化了很多东西.而且安装方便.配置的注释写的蛮详细的,都是中文.英文不好的同学有福了. Atlas官方链接: https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md Atlas下载链接: https://githu

各节点架构 (说明:生产环境有两个节点可以组成一套完整集群,我是测试环境,因此对于manager以及atlas和binlog server都是单点,如果生产环境,相应的将manager以及atlas和binlog server每个节点都部署即可) 10.80.8.89 mysql-master manager,node atlas 10.80.8.90 mysql-slave node binlog server 安装步骤 10.80.8.89操作命令 1.#增加mha用户 useradd mh

Texture atlas [1][2] is a technique to group smaller textures into a larger texture. This decreases the number of state switches [3] a renderer needs to do and therefore often increases performance. Texture atlases have been used for a long time in t

Source: http://www.brainm.com/software/pubs/dg/BA_10-20_ROI_Talairach/nearesteeg.htm   Area LEFT RIGHT ba01 C3 C4 ba02 C3 C4 ba03 C3 C4 ba04 C3 C4 ba05 C1 CP2 ba06 FC3 FC4 ba07 P1 P2 ba08 F1 F2 ba09 AF3 AF4 ba10 FP1 FP2 ba11 AF7 FPz ba17 O1 O2 ba18 O

  文章 原始出处 :http://sofar.blog.51cto.com/353572/1601552 ========================================================================================== 一.基础介绍 ========================================================================================== 1.背景描述

前提得配置好主从:http://www.cnblogs.com/super-d2/p/4802990.html 首先,先去下载Altas的rpm包,下载地址:https://github.com/Qihoo360/Atlas/releases 要看清楚版本,centos 5.x:Atlas-1.0.3.el5.x86_64.rpm    centos 6.x: 我的系统是centos 6.4 ,所以下载Atlas-1.0.3.el6.x86_64.rpm 千万别搞错了,否则最后启动会出错.大家也

在NGUI中,通过创建图集及引用图集,实际使用时指定引用图集而非具体图集本身,可以创建多语言,或高配低配版本资源包. NGUI Atlashttp://www.cnblogs.com/answerwinner/p/3848074.html UI AtlasAtlas Type Reference You can have one atlas simply point to another one. This is useful if you want to be able to quickly

1.MySQL所在机器 192.168.29.128(Master) 192.168.29.129(Slave) 配置好主从同步,参考 http://www.cnblogs.com/luxh/p/4088420.html 2.下载安装Atlas https://github.com/Qihoo360/Atlas/releases 注意操作系统的版本,安装相应版本的Atlas.我下载的是Atlas-2.2.el6.x86_64.rpm 这里直接安装到192.168.29.130这台机器上. rpm

1:登录代理端口1234 [root@localhost bin]# mysql -uroot -p -P1234 -h127.0.0.1 proxy-address项配置,例如proxy-address = 0.0.0.0:1234代表客户端应该使用1234这个端口连接Atlas来发送SQL请求. 2:登录管理端口2345 [root@localhost bin]# mysql -ugechong -p -P2345 -h127.0.0.1 admin-address项配置,例如admin-a

MySQL HA方案之MySQL半复制+MHA+Keepalived+Atlas+LVS 简介 目前Mysql高可用的方案有好多,比如MMM,heartbeat+drbd,Cluster等,还有percona的Galera Cluster等.这些高可用软件各有优劣.在进行高可用方案选择时,主要是看业务还有对数据一致性方面的要求.本文探讨的是MHA这种方案. 至于DAL层,也有很多方案,现在主流的一是在应用层写数据库路由,当然这个效率也是最快的,但是最大的缺陷就是运维难度大,技术难度也大,需 要有

打开 Atlas Maker:NGUI -> Open -> Atlas Maker 新建一个 "Icon Atlas" 生成3个东西:

官方git https://github.com/Qihoo360/Atlas 参照:http://blog.qixingzhong.com/2013/09/centos-install-atlas.html 1. 安装必要的依赖包 yum install pkg-config libevent* glib lua 2. 升级安装autoconf,编译安装automake需要 wget ftp://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz &&am

一, Sprite Packer 可以直接在unity里放碎图,只要将Texture Type选为Sprite(2D and UI),Sprite Mode选为Single,再把想打在一张大图里的碎图指定为相同的Packing Tag,将来就会自动合并了. 如果想预览,可以打开菜单->Window->Sprite Packer,在View atlas里选择相应的packing tag,然后点Pack,查看pack效果. 为了解决使用Sprite Packer后图片质量变低的问题,可以将Gene

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差.下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧. Atlas Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目.它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性.360内部使用