1. 介绍 Apache Atlas使用各种系统并与之交互,为数据管理员提供元数据管理和数据血缘信息.通过适当地选择和配置这些依赖关系,可以使用Atlas实现高度的服务可用性.本文档介绍了Atlas中的高可用性支持状态,包括其功能和当前限制,以及实现此高级别可用性所需的配置. 在高级架构章节(请参阅我翻译的<Atlas开发指南(中文版)>)概述了构成Atlas的各种组件.下面提到的各种组件的选项从上面的页面中获取上下文,在继续阅读本页之前值得一看. 2. Atlas Web Service 目…

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 0. 当我们谈论数据治理/元数据管理的时候,我们究竟在讨论什么? 谈到数据治理,自然离不开元数据.元数据(Metadata),用一句话定义就是:描述数…

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 1. 概述 Atlas允许用户为他们想要管理的元数据对象定义模型.该模型由称为type(类型)的定义组成.称为entities(实体)的type(类型…

背景:笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获. 元数据管理系列文章: [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 1. Glossary(术语表) 介绍 Atlas的术语表(Glossary)提供了一些适当的"单词",这些"单词"能彼…

Daemon Fault Tolerance Storm有一些不同的守护进程 Nimbus负责调度workers supervisors负责运行和杀死workers log views负责访问日志 UI负责显示集群的状态 What happens when a worker dies? 当一个worker死了以后,supervisor将会重启它.如果在启动过程中不断的失败,并且不能发送心跳给Nimbus,那么Nimbus将重新调度这个worker. What happens when a nod…

一.前言   元数据管理是数据治理非常重要的一个方向,元数据的一致性,可追溯性,是实现数据治理非常重要的一个环节.传统数据情况下,有过多种相对成熟的元数据管理工具,而大数据时代,基于hadoop,最为成熟的,与Hadoop兼容性最好的元数据治理平台则是Apache Atlas.本文是<Apache Atlas元数据管理从入门到实战>系列博文的第1篇.相关内容配套视频课程,已发布在网易云课堂:<Apache Atlas元数据管理从入门到实战>,敬请关注.配套实验环境地址:http:/…

随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整理了这份文档供大家学习使用. 本文档基于Atlas2.1.0版本,整理自部分官网内容,各种博客及实践过程.文章较长,建议收藏.新版本的文档请关注公众号 大数据流动,会持续的更新~ 本文档共分为8个部分,层级结构如下图所示. 文档版权为公众号 大数据流动 所有,请勿商用.相关技术问题以及安装包可以联系…

元数据管理元数据管理是解决大量关键业务和技术挑战的基础,这些挑战包括元数据实体有多少,上游数据变化的影响,在浏览器中提供友好的分析展现界面,或提供企业范围内的元数据现状分析和改进视图.OMM是一款基于浏览器的工具,用于解决这些提到的迫切需求. 在12.2.1中有不少改进,下面是部分特性: 基于JAVA的架构OMM现在是100%的JAVA开发而来,支持部署到windows平台和各种linux/unix平台.在具有JAVA环境的linux/unix平台,现在也可以提供全部的UI功能.100%的JAV…

在数据处理及数据仓库建设中,元数据管理是必不可少的,OEMM可以解决元数据管理过程中各种关键业务问题和技术挑战,其中包括如何元数据的统计信息,了解变更数据之后对下游的影响范围,而且OEMM站在业务的角度在浏览器中进行展现,并且可以在报表中展现企业内完整的元数据信息,用于分析和改进元数据管理.OEMM针对客户迫切的需求建立一个轻量级的基于浏览器的管理工具,当前的版本是12.1.3.0.1. 使用OEMM 12.1.3.0.1,你会发现业务术语表的更新等功能,为用户界面带来更好的体验,同时对元数据改…

利用 yEd 软件做元数据管理 yEd Diagram editor 是我常用的 flow chart 制图工具, 另外我也用它画 ER 和 use case 图. 总结一下我喜欢 yEd 的原因:1. 出色的对齐功能2. 可随意拖动Node, 永远不用担心相连的 Edge 会自动断开连接3. 每个 Node 都自带一个Label, 加说明文字非常方便4. 每个 Edge 都自带一个Label, 加说明文字非常方便 今天总结的是一个非常有价值的使用场景, 在数据仓库和大数据平台中, 数据表的关系…