元数据概念
刘耀铭同学元数据系列作品的第一篇,大家支持!
其他有兴趣的同学也可以联系我一起学习,进步!具体内容参考:
其他元数据相关系列文章:
1、 元数据是描述其他数据的数据(data about other data),用于提供某种资源有关信息的结构化数据(structed data)。字面上看无法看出所以然,但其实看对应的英文含义就明确了,Meta指“对······的描述”类似Meta tag,所以元数据就是对数据的解释和描述。
2、 这里主要将数据仓库的元数据分为3类:DBMS数据字典、ETL处理流程产生的日志、BI建模等。
DBMS数据字典
数据库管理系统(DBMS)中的元数据一般在所有的数据仓库都会包含,因为数据仓库一般都是基于数据库搭建的,而数据库本身的管理系统就会自动维护一套数据字典供用户查询。这些信息一般包括:
-
数据库的关系模型,包含的对象及对象的描述;
-
数据库的表结构、字段信息及描述;
-
表和字段中的主外键、索引、约束等信息;
-
各对象的存储位置和操作权限等。
ETL处理日志
ETL是数据仓库管理和维护的基础,就像是数据仓库的血液维系着整个数据的新陈代谢。我们需要时刻关注血液的循环是否正常,它是保证数据完整性、一致性、准确性和及时性的重要参考依据,所以我们需要记录ETL任务的处理日志。任务信息、调用的程序或脚本、前置任务;
-
数据来源、加载目标、转化规则或计算公式;
-
数据的刷新类型、刷新频率,任务调度信息;
-
每次运行的起始时间、结束时间、操作记录数、任务状态及出错信息。
记录ETL信息的方式有很多:一类是ETL基本信息与调度信息,另一类是ETL的每次运行日志。以文档或建数据库表的形式记录;
BI分析模型
这里的BI分析模型主要有两类,一类是数据仓库常见的多维模型,另一类是根据具体业务构建的商业分析模型。大概有一下几类信息:
-
分析模型的设计和结构;
-
模型的分析应用和商业价值;
-
模型中指标的定义、计算方法;
-
模型的展现和效果;
3、 元数据使用的目的:识别资源,评价资源,追踪资源在使用中的变化,实现简单高效地管理大量网络化数据,实现数据资源化的有效发现,查找,一体化组织对使用资源的有效管理。
个人新作《大数据架构详解:从数据获取到深度学习》一书,已由电子工业出版社出版,京东,淘宝,当当,亚马逊全网开售,有兴趣的同学直接上京东,淘宝,当当,亚马逊 搜索书名,详细了解:
微信扫一扫
关注该公众号
相关推荐
大数据-算法-卫生统计调查元数据概念模型的研究.pdf
有关元数据的概念,元数据对于Web开发的好处
空间数据的元数据 一、元数据概念与分类 二、空间数据元数据所涉及的概念 三、空间数据元数据的标准 四、空间数据元数据的获取与管理 五、空间数据元数据的应用 一、元数据概念与分类 元数据(Metadata) “meta”是...
元数据 元数据(Metadata),即关于数据的数据,是对数据和信息资源进行描述的信息。通常认为,元数据是为了更为有效地管理和使用数据而对它进行说明的信息。所以元数据与其描述的数据内容有着密切联系,不同领域的数据...
元数据的概念详细解析;元数据概念、元数据标准、元数据模型、元数据案例
借鉴"地质信息元数据标准",分析了煤地质学元数据标准的基本功能和主要内容,选择了合适的元数据标准产生规则,确定了简明扼要的煤地质学元数据概念结构图,在中国高校地学创新平台"中国煤炭资源特性数据库"得到初步应用...
数据元和元数据对比ppt。并提供数据操作和管理,提供资源管理目录
最近研究元数据管理,收集到的网上关于元数据管理的一些概念和相关说明
关于主数据、元数据、交易数据的概念及典型应用;主数据管理典型应用;
元数据的概念.pdf 元数据管理.pdf 元模型的设计.pdf 数据元与元数据、数据项区别.pdf 数据元内涵及标准化.pdf 数据治理_元数据治理在企业中的实践V2.pdf 数据湖的元数据治理实践.pdf 数据质量元数据管理平台用户操作...
本篇文章将为大家梳理元数据的概念,帮助企业理解元数据管理的作用。本文来自于搜狐,由火龙果软件Anna编辑、推荐。“元数据管理是企业数据治理的基础”,在数据治理战略实施的时候,这是我们经常会听到看到的一句话...
元数据管理规范,包含元数据的概念、实施规范、以中国移动为例子
本文对元数据的概念、相关格式、携带工具(RDF),以及数字化图书馆中元数据体系的内、外部系统和设计原则进行了探讨。并列举了两个元数据方案实例,以供借鉴。
讲述元数据元数据管理基本概念 –元数据定义 –元数据管理 •CWM元数据标准 –CWM标准概述 –对象模型层 –基础层 –资源层 –分析层 –管理层 管理商业智能系统的元数据 •贯穿商业智能系统的各个环节 •系统的各个...
摘 要 针对海量信息资源库元数据缺乏对信息内容描述、语义表现力差的问题,在基于元数据信息组织的基 础上,研究关系型数据库元数据质量自动评估方法,提出基于相似度计算的数据库元数据语义标注算法进行元数 据自动...
NC元数据相关概念 从实例开始学习 认识模型设计器 创建组件、实体、关系、枚举、业务接口 生成java代码 生成数据模型(表结构/ORMAP信息) 注册服务并发布 制作单据模板 元数据编程接口 元数据查询 基于元数据的数据...
1997年,IFLA的最终研究报告中提出,...在以下对国外元数据标准的比较研究中,首先使用实体分析方法来探讨各个元数据标准是如何对著录对象进行描述的,从实体、属性、联系的角度分析各个标准中元素/字段的设置,定义。
第一个“ BP”(以及该集合的起源)集中在EML元数据模式的使用上,并由LTER数据管理器创建(版本1 EML BP,2005年)(链接到此处,存档目录)。 随着时间的流逝,该文档得到了扩展,以包含有关LTER的数据类型和实践...
本文详细论述了元数据和数据元的概念定义用途两者的区别和联系两者的字典标准格式的相同与不同之处以及它们的应用