数据元&数据字典&元数据

1. 数据元 data element(数据元素),单个数据单元,是数据的基本单位.参阅data field(数据字段). 2. 元数据首先,我们举个例子来看看什么叫做“元”,在后现代主义文学中有一种小说叫作“元小说”,也就是“关于小说的小说”.传统小说就是围绕着主人公描述一系列发生的事件.而元小说则更关心作者是如何写这本小说的,例如写作的背景,用了什么样的写作手法,在创作过程中发生了什么事情. 那么举二反三,元数据就是“描述数据的数据”.元数据是指从信息资源中抽取出来的用于说明其特征.内容的…

数据库设计（1/9）：数据元（Data Elements）

对于设计和创建数据库完全是个新手?没关系,Joe Celko,世界上读者数量最多的SQL作者之一,会告诉你这些基础.和往常一样,即使是最专业的数据库老手,也会给他们带来惊喜.Joe是DMBS杂志是多年来最受读者喜爱的作者.他在美国.英国,北欧,南美及非洲传授SQL知识.他在ANSI / ISO SQL标准委员会工作了10年,为SQL-89和SQL-92标准做出了杰出贡献. 在你开始考虑你的数据库架构或表前,你需要细想下你的数据:数据是什么类型,你使用值的范围.它应该是唯一的,精确的且不含糊的.然…

数据治理之元数据管理的利器——Atlas入门宝典

随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整理了这份文档供大家学习使用. 本文档基于Atlas2.1.0版本,整理自部分官网内容,各种博客及实践过程.文章较长,建议收藏.新版本的文档请关注公众号大数据流动,会持续的更新~ 本文档共分为8个部分,层级结构如下图所示. 文档版权为公众号大数据流动所有,请勿商用.相关技术问题以及安装包可以联系…

复位应答ATR的基本结构和数据元

根据定义,复位应答是一系列字节的值,这些字节是由卡作为对复位命令的响应发送给接口设备的 ,在I/O电路上,每个字节在一个异步字符中传输.每个成功的复位操作,都会导致I/O上的一个初始字符TS,TS后面按照下面的次序,跟有最多32个字符. 初始字符定义了所有后继字符的解码协议. 格式字符声明了第一组接口字符和所有历史字符. 接口字符由格式字符声明的位图技术来指明. 历史字符由编码在格式字符中的一个数字来指明. 校检字符依赖于某些接口字符中参数T的值. ★ 初始字节TS TS 有两个可能值反向约定…

【EMV L2】数据元格式 & 对齐方式

[数据元格式] [对齐方式] 摘录:<中国金融集成电路(IC)卡规范第6部分:借记贷记应用终端规范.pdf>- 8 终端数据…

EF 数据类型 0xA7 的数据长度或元数据长度无效

测试方法 TestProject1.SysTest.HtmlAnalysisTest12 引发异常: System.Data.UpdateException: 更新项时出错.有关详细信息,请参阅“InnerException”. ---> System.Data.SqlClient.SqlException: 传入的表格格式数据流(TDS)远程过程调用(RPC)协议流不正确.参数 6 ("@3"): 数据类型 0xA7 的数据长度或元数据长度无效.. 将数据中varchar(…

java获取数据库数据表的元数据

Connction conn; DatabaseMetaData dmd=conn.getMetaData();//获取数据库元数据 PreparedStatment ps; ps.getParameterMetaData; //得到参数占位符的元数据 ResultSet rs; ResultSetMetaData rsmd=rs.getMetaData();//获取结果集的元数据…

Oracle EBS 获取说明性弹性域全局数据元

SELECT b.flex_value_set_id, t.application_column_name, t.form_left_prompt FROM fnd_descriptive_flexs_tl fdfl, fnd_descriptive_flexs fdf, fnd_descr_flex_col_usage_tl t, fnd_descr_flex_column_usages b, fnd_descr_flex_contexts_vl fc WHERE t.application_…

VMware vSphere学习整理

知识点整理内存选择一般来说,每个虚拟机需要的内存在1~4GB甚至更多,还要为VMware ESXi预留一部分内存 2个6核的2U服务器配置64GB内存,4个6核或8核心的4U服务器配置128GB或更多的内存网络带宽对于普通业务虚拟机来说磁盘占用400GB,当业务系统达到99.999%的需求时,有8台这样的虚拟机需要在315S内完成迁移需要的网络带宽 = 400GB * 8 * 10bit/315s = 102Gbit/s VMware ESXi (5.5)的硬件需求 1. 将仅在安装有…

微博AnalysisQl动态数据视图元数据设计

前言目前,AnalysisQl 数据视图的元数据(维度.指标.指标计算器)需要通过代码(API)或资源文件的形式硬编码,应用启动时,按照声明的顺序依次注册.这种模式下,数据视图是静态的,任何一项变更都需要重新升级发布应用服务,不利于服务快速迭代. 考虑到这种情况,AnalysisQl 在保留原有静态视图的前提下,扩展出动态视图方案,基于数据库实现元数据的存储,通过更新相应的数据库记录,即可实时动态地更新数据视图. AnalysisQl 项目主页:https://github…

《BI那点儿事》META DATA（元数据）

关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据.同时元数据还包含关于数据含义的商业信息,所有这些信息都应当妥善保存,并很好地管理.为数据仓库的发展和使用提供方便.关于数据的数据,用于构造.维持.管理.和使用数据仓库,在数据仓库中尤为重要.不同 OLAP 组件中的数据和应用程序的结构模型.元数据描述 OLTP 数据库中的表.数据仓库和数据集市中的多维数据集这类对象,还记录哪些应用程序引用不同的记录块. 当需要了解某地企业及其提供的服务时,电话黄…

Oracle DB 移动数据

描述移动数据的方式 • 创建和使用目录对象 • 使用SQL*Loader 加载非Oracle DB(或用户文件)中的数据 • 使用外部表并通过与平台无关的文件移动数据 • 说明Oracle 数据泵的一般体系结构 • 使用数据泵的导出和导入实用程序在Oracle DB 之间移动数据移动数据:一般体系结构移动数据:一般体系结构主要功能组件: • DBMS_DATAPUMP:包括高速导出与导入实用程序的API,可用于成批地移动数据和元数据. • 直接路径API (DPAPI):Orac…

【转载】主数据管理（MDM）与元数据管理

主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念.元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等.比如,某省地税开发了一套征收管理软件,以市为单位部署了17套,每套征收管理软件中的元数据都是一样的,但是主数据还是需要进行管理的.主数据管理和传统数据仓库解决方案不是一个概念,数据仓库会将各个业务系统的数据集中在一起在进行业务的分析,而主数据管理系统不会把所有数据都管理起来,只是把需要在各个系统间共享的主数据进行采集和发…

数据交换工具Kettle

网上搜集了一些关于开源数据交换工具Kattle的文章,特收藏例如以下: 文章一:ETL和Kettle简单介绍 ETL即数据抽取(Extract).转换(Transform).装载(Load)的过程.它是构建数据仓库的重要环节.数据仓库是面向主题的.集成的.稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程.数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用缩写词.惯用语.数据输入错误.反复记录.丢失值.拼写变化等.即便是一个设计和规划良好的数据库系统,假设当中存在着…

大数据小视角1：从行存储到RCFile

前段时间一直在忙碌写毕设与项目的事情,很久没有写一些学习心得与工作记录了,开了一个新的坑,希望能继续坚持写作与记录分布式存储相关的知识.为什么叫小视角呢?因为属于随想型的内容,可能一个由小的视角来审视海量数据的存储与计算技术,把知识点分为两到三章来梳理.管中窥豹,可见一斑,希望能利用这个过程提高自己,也欢迎阅读的朋友多指正. 第一章先从Facebook的一篇论文<RCFile: A Fast and Space-efficient Data Placement Structure in MapR…

MVC之Model元数据

Contronoller激活之后,ASP.NET MVC会根据当前请求上下文得到目标Action的名称,然后解析出对应的方法并执行之. 在整个Action方法的执行过程中,Model元数据的解析是一个非常重要的环节.ASP.NET MVC中的Model实际上View Model,表示最终绑定到View上的数据,而Model元数据描述了Model的数据结构,以及Model的每个数据成员的一些特性. 正是有了Model元数据的存在,才使模板化HTML的呈现机制成为可能.此外,Model元数据支撑了A…

SQLSERVER中的元数据锁

SQLSERVER中的元数据锁网上对于元数据锁的资料真的非常少元数据锁一般会出现在DDL语句里下面列出数据库引擎可以锁定的资源资源说明 RID 用于锁定堆(heap)中的某一行 KEY 用于锁定索引上的某一行,或者某个索引键 PAGE 锁定数据库中的一个8KB页,例如数据页或索引页 EXTENT 一组连续的8页(区) HOBT 锁定整个堆或B树的锁 TABLE 锁定包括所有数据和索引的整个表 FILE 数据库文件 APPLICATION 应用程序专用的资源 METADATA 元数…

TOP100summit：【分享实录】链家网大数据平台体系构建历程

本篇文章内容来自2016年TOP100summit 链家网大数据部资深研发架构师李小龙的案例分享. 编辑:Cynthia 李小龙:链家网大数据部资深研发架构师,负责大数据工具平台化相关的工作.专注于数据仓库.任务流调度.元数据管理.自助报表等领域.之前在百度从事了四年的数据仓库和工具平台的研发工作. 导读:链家网大数据部门负责收集加工公司各产品线的数据,并为链家集团各业务部门提供数据支撑.本文分享链家网大数据部成立后,在发展变革中遇到的一些问题和挑战,架构团队是如何构建一站式的数据平台来解决获取…

使用 Apache Atlas 进行数据治理

本文由网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采用Hadoop必须考虑数据管理的实际情况,元数据与数据治理成为企业级数据湖的重要部分. 为寻求数据治理的开源解决方案,Hortonworks 公司联合其他厂商与用户于2015年发起数据治理倡议,包括数据分类.集中策略引擎.数据血缘.安全和生命周期管理等方面.Apache Atlas 项目就是这个倡议…

Oracle12c之 CDB数据库中数据字典架构

数据字典就是元数据的集合,比如创建的表,列,约束,触发器等等这些都是元数据,需要保存到数据库中.除此之外,Oracle自身的一些数据库对象,如目录,PL/SQL代码等等这些都是元数据,都需要存放在数据字典中.随着12c 容器数据的普及,Oracle数据字典发生了哪些变化呢,下文即是具体描述. 一.数据字典及其形成 1.数据字典数据字典是元数据的集合,从逻辑上和物理上描述了数据库及内容,存储于SYSTEM与SYSAUX表空间内的若干段. SYS用户拥有所有的数据字典表,数据字典基本一般以结尾,如…

【学习笔记】大数据技术原理与应用（MOOC视频、厦门大学林子雨）

1 大数据概述大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低数据量大:大数据摩尔定律快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的时间非常少:1秒定律,这和传统的数据挖掘技术有着本质区别(谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据) 价值密度低,商业价值高大数据影响: 对科学研究影响:出现科学研究第四方式数据(前三个分别是实验.理论.计算) 对思维方式影响:全样而非抽样.效率而非准确.相关而非…

大数据系列文章-Hadoop基础介绍（一）

Hadoop项目背景简介 2003-2004年,Google公开了部分GFS个Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年的业余时间,实现了DFS和Mapreduce机制,一个微缩版:Nutch 名字来源于Doug Cutting儿子的玩具大象 Hadoop于2005年秋天作为Lucene的子项目Nutch的一不分正式引入Apahce基金会.2006年3月份,Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入称为…