一文详解数据血缘实体结构

一文详解数据血缘实体结构

数据血缘是数据管理中至关重要的概念，它描述了数据从产生到消费的全生命周期中的流转和变化关系。从数据颗粒度划分来看，数据血缘可以分为数据库血缘、数据表血缘和字段血缘三种实体结构。

一、数据库血缘

数据库定义：
数据库是存放数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
常用的数据库有MySQL、Oracle、SqlServer、SQLite、INFORMIX、Redis、MongoDB、HBase、Neo4J、CouchDB，以及SAP推出的HANA数据库等。
数据库级别血缘：
数据存放在不同的位置，数据库技术经历了层次数据库、网状数据库和关系型数据库等阶段的发展。
在项目中，可能会遇到数据库的迁移，如为了灾备环境的数据安全，使用整个数据库的迁移。
数据库之间的血缘关系可以通过数据抽取或API的方式将数据同步到不同的库来形成。

二、数据表血缘

数据表定义：
表定义为列的集合，与电子表相似，数据在表中按行和列的格式组织排列。
表中的每一列都设计为存储某种类型的信息，表上有控制（约束、规则、默认值和自定义用户数据类型）用于确保数据的有效性。
数据表级别血缘：
数据表血缘是常用的血缘关系，特别是在项目实施过程中，需要知道不同数据表之间的关联。
在数据处理过程中，需要知道目标表的字段是来源于哪张原始表，对于复杂的SQL，需要一种方法来便捷地找到目标表和来源表。
数据表级别血缘关系需要遵循确保最终目标数据准确性、数据传输过程中的数据准确性以及确保数据合法合规性的规则。

三、字段级别血缘

字段定义：
数据表中的字段又称之为列，每个字段包含某一专题特定的信息。
字段类型包括二进制数据类型、字符数据类型、数字数据类型、Unicode数据类型、日期和时间数据类型、货币数据类型以及特殊数据类型等。
字段级别血缘：
字段级别的血缘关系是企业数据分析的重点，它描述了字段数据的来源和流转。
如某字段来源于客户管理系统，该客户数据会同步到不同的下游系统，所有数据的来源都可以追溯到该字段。
字段级别的血缘关系需要遵循单字段检核注意事项（如日期合法性检核、缺省字段的检查、标准参数的检核、值域标准检查）和多字段检核注意事项（如检查多个字段间关联和约束关系）。

数据血缘字段要求规范：

单字段检核注意事项：检查常用数据字段的取值范围和格式，如日期合法性、缺省字段、标准参数和值域标准。
多字段检核注意事项：检查表中多个字段间的关联和约束关系，如冻结止付金额与冻结止付状态、销户日期与状态、活期利息与积数和利率、建筑面积与地上建筑面积和地下建筑面积等。
多表间数据关联与约束性检核：检查不同表之间的数据关联和约束性，如机构号、柜员、凭证种类、账户冻结、账户止付和产品码等字段是否存在于相应的表中。

总结：数据血缘实体结构包括数据库血缘、数据表血缘和字段血缘。字段级别的血缘是数据血缘分析中最核心的部分，而字段级别的管理同样是数据资产管理必不可少的一部分。将数据血缘字段实现工具自动化收集，可以有效提升企业数据资产管理的能力。

热门标签