一.前言   元数据管理是数据治理非常重要的一个方向,元数据的一致性,可追溯性,是实现数据治理非常重要的一个环节.传统数据情况下,有过多种相对成熟的元数据管理工具,而大数据时代,基于hadoop,最为成熟的,与Hadoop兼容性最好的元数据治理平台则是Apache Atlas.本文是<Apache Atlas元数据管理从入门到实战>系列博文的第1篇.相关内容配套视频课程,已发布在网易云课堂:<Apache Atlas元数据管理从入门到实战>,敬请关注.配套实验环境地址:http:/

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 0. 当我们谈论数据治理/元数据管理的时候,我们究竟在讨论什么? 谈到数据治理,自然离不开元数据.元数据(Metadata),用一句话定义就是:描述数

图形文件元数据管理工具exiv2   图形文件通常都包含多种元数据,如Exif.IPTC.XMP.这些信息往往是渗透人员收集的目标.为了便于管理这些信息,Kali Linux内置了专用工具exiv2.该工具支持24种文件格式,包括JPEG.TIFF.PNG.GIF.PSD.TGA.BMP等常见格式.该工具可以不仅可以显示和提取这些文件的元数据,还可以添加.修改.删除对应的元数据项.同时,该工具还可以篡改文件时间,避免被其他人员发现文件曾经被修改过.

随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整理了这份文档供大家学习使用. 本文档基于Atlas2.1.0版本,整理自部分官网内容,各种博客及实践过程.文章较长,建议收藏.新版本的文档请关注公众号 大数据流动,会持续的更新~ 本文档共分为8个部分,层级结构如下图所示. 文档版权为公众号 大数据流动 所有,请勿商用.相关技术问题以及安装包可以联系

公司里面的很多部门都在广泛的采用元数据管理,也采用了公司内部开发的元数据管理工具,有些部门的实施效果一直非常好,而有些部门的效果则差强人意.这个问题,其实和软件系统开发完成进入维护阶段后成本居高不下的性质是一样的. 究其本质,是因为国内很多的公司对流程的重视程度多浮于表面,较少的深入去掌握实质部分.在具体讨论元数据和API管理的问题之前,先来说说笔者在很多部门见到过的几类现状,一.大部分业绩比较差的公司/部门的考核通常是这样的,公司有新的项目开发,负责项目管理的项目经理问部门经理要了一批开发人员

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 1. 概述 Atlas允许用户为他们想要管理的元数据对象定义模型.该模型由称为type(类型)的定义组成.称为entities(实体)的type(类型

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 1. Glossary(术语表) 介绍 Atlas的术语表(Glossary)提供了一些适当的"单词",这些"单词"能彼

利用 yEd 软件做元数据管理 yEd Diagram editor 是我常用的 flow chart 制图工具, 另外我也用它画 ER 和 use case 图. 总结一下我喜欢 yEd 的原因:1. 出色的对齐功能2. 可随意拖动Node, 永远不用担心相连的 Edge 会自动断开连接3. 每个 Node 都自带一个Label, 加说明文字非常方便4. 每个 Edge 都自带一个Label, 加说明文字非常方便 今天总结的是一个非常有价值的使用场景, 在数据仓库和大数据平台中, 数据表的关系

本文主要从元数据的定义.作用.元数据管理现状.管理标准和元数据管理功能等方面讲述了我对元数据(Metadata)和元数据管理的认知及理解. 元数据管理 一.元数据的定义 按照传统的定义,元数据(Metadata)是关于数据的数据.在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据:元数据是描述数据仓库内数据的结构和建立方法的数据,可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metada

1. 介绍 Apache Atlas使用各种系统并与之交互,为数据管理员提供元数据管理和数据血缘信息.通过适当地选择和配置这些依赖关系,可以使用Atlas实现高度的服务可用性.本文档介绍了Atlas中的高可用性支持状态,包括其功能和当前限制,以及实现此高级别可用性所需的配置. 在高级架构章节(请参阅我翻译的<Atlas开发指南(中文版)>)概述了构成Atlas的各种组件.下面提到的各种组件的选项从上面的页面中获取上下文,在继续阅读本页之前值得一看. 2. Atlas Web Service 目

工欲善其事,必先利其器.几乎每个开发人员都有最钟爱的 MySQL 管理工具,它帮助开发人员在许多方面支持包括 PostgreSQL,MySQL,SQLite,Redis,MongoDB 等在内的多种数据库:提供各种最新的特性,包括触发器.事件.视图.存储过程和外键,支持导入.数据备份.对象结构等多种功能. 这篇文章收集了15款最佳的 MySQL 管理工具和应用软件,帮助你轻松快速完成工作. 您可能感兴趣的相关文章 网站开发中很有用的 jQuery 效果[附源码] 分享35个让人惊讶的 CSS3

元数据管理元数据管理是解决大量关键业务和技术挑战的基础,这些挑战包括元数据实体有多少,上游数据变化的影响,在浏览器中提供友好的分析展现界面,或提供企业范围内的元数据现状分析和改进视图.OMM是一款基于浏览器的工具,用于解决这些提到的迫切需求. 在12.2.1中有不少改进,下面是部分特性: 基于JAVA的架构OMM现在是100%的JAVA开发而来,支持部署到windows平台和各种linux/unix平台.在具有JAVA环境的linux/unix平台,现在也可以提供全部的UI功能.100%的JAV

在数据处理及数据仓库建设中,元数据管理是必不可少的,OEMM可以解决元数据管理过程中各种关键业务问题和技术挑战,其中包括如何元数据的统计信息,了解变更数据之后对下游的影响范围,而且OEMM站在业务的角度在浏览器中进行展现,并且可以在报表中展现企业内完整的元数据信息,用于分析和改进元数据管理.OEMM针对客户迫切的需求建立一个轻量级的基于浏览器的管理工具,当前的版本是12.1.3.0.1. 使用OEMM 12.1.3.0.1,你会发现业务术语表的更新等功能,为用户界面带来更好的体验,同时对元数据改

Git 是一个分布式版本号控制工具.它的作者 Linus Torvalds 是这样给我们介绍 Git  -- The stupid content tracker(傻瓜式的内容跟踪器) 1. Git 背景 Git 最初由Linus Torvalds编写,用于 Linux 内核开发的版本号控制工具. Git 与经常使用的版本号控制工具 CVS.Subversion 等不同,它採用了分布式版本号库的方式,不必server端软件支持.使源码的公布和交流极其方便. Git 的速度非常快,这对于诸如 Li

集群管理工具Salt 简介 系统管理员(SA)通常需要管理和维护数以百计的服务器,如果没有自动化的配置管理和命令执行工具,那么SA的工作将会变得很繁重.例如,要给集群中的每个服务器添加一个系统用户,那么他必须登陆到每台服务器上去逐一的执行命令.好在有编程能力的SA能通过bash + ssh的方式来自动化自己的工作,于是出现了ClusterShell这一类的工具.但这类工具只是解决了远程命令调用的问题,并没有对一些运维的过程进行抽象,在面对不同的操作系统等环境时,使用会变得复杂和繁琐,对常见的运维

背景 在上一篇「MySQL高可用复制管理工具 —— Orchestrator介绍」中大致介绍了Orchestrator的功能.配置和部署,当然最详细的说明可以查阅官方文档.本文开始对Orchestrator的各方面进行测试和说明. 测试说明 环境介绍 服务器环境: 三台服务器 :MySQL实例(3306是orch的后端数据库,3307是MySQL主从架构「开启GTID」) Master : Slave : Slave : :hosts(etc/hosts): 192.168.163.131 te

背景 在MySQL高可用架构中,目前使用比较多的是Percona的PXC,Galera以及MySQL 5.7之后的MGR等,其他的还有的MHA,今天介绍另一个比较好用的MySQL高可用复制管理工具:Orchestrator(orch). Orchestrator(orch):go编写的MySQL高可用性和复制拓扑管理工具,支持复制拓扑结构的调整,自动故障转移和手动主从切换等.后端数据库用MySQL或SQLite存储元数据,并提供Web界面展示MySQL复制的拓扑关系及状态,通过Web可更改MyS

yum:也是一个rpm包的管理工具,可以实现自动解决rpm包的依赖关系(自动安装依赖顺序进行rpm包的安装) 为何rpm包会有依赖关系? 制作rpm的人,在制作rpm包的时候,就将这个rpm的所依赖的软件的信息保存在这个rpm包的内部 yum的工作原理 1. 需要首先创建一个yum仓库(rpm包仓库.软件仓库) 1)仓库其实就是一个目录 2)仓库中存放的是rpm包 3)仓库中还保存了一个文件,文件中记录了该仓库中所有rpm包的元数据信息 4)元数据信息包括 软件名 软件版本 软件是否已经安装 软

一.  Kubernetes 介绍 Kubernetes是一个全新的基于容器技术的分布式架构领先方案, 它是Google在2014年6月开源的一个容器集群管理系统,使用Go语言开发,Kubernetes也叫K8S.K8S是Google内部一个叫Borg的容器集群管理系统衍生出来的,Borg已经在Google大规模生产运行十年之久.K8S主要用于自动化部署.扩展和管理容器应用,提供了资源调度.部署管理.服务发现.扩容缩容.监控等一整套功能.2015年7月,Kubernetes v1.0正式发布,截

什么是dep? dep和go,在一定程度上相当于maven之于Java,composer之于PHP,dep是go语言官方的一个包管理工具. 相比较go get而言,dep可以直接给引入的第三方包一个专门的目录,并且可以专门制定一个配置文件,控制go项目所引入的包,版本以及其他依赖关系. dep这个项目放在golang官方的github中:https://github.com/golang/dep 官方对于dep的解释是:dep is the official experiment, but no