在接下来的几年中博客文章，我将分享如何通过利用数据沿袭功能来加强公司的数据治理计划。我将与大家分享的信息是基于我多年来领导和支持金融机构大数据治理计划的经验。无论您从事商业、零售还是投资银行、资产管理、资本市场、支付或保险业务，都可以从使用数据沿袭概念、方法和工具中受益。
在今天的文章中，我将讨论数据沿袭的基本原理及其在数据治理框架中的作用。
关于数据沿袭已经写了很多。它的功能是跟踪和记录数据元素的旅程，从它们的初始点到整个组织中的所有数据集。不管这些数据元素经历了多少跳转、下载、上传和转换，一个功能强大的数据沿袭工具将跟踪从系统到系统、从表到表的过程，并帮助弥合人工干预和处理点之间的差距。
数据沿袭工具可用于分解复杂的、相互依赖的系统流，并为其带来秩序，有助于识别企业中关键数据元素的“黄金来源”。
例如，随着担保隔夜融资利率(SOFR)取代伦敦银行间同业拆借利率(LIBOR)，金融机构利用数据沿袭工具来查找LIBOR利率的所有引用。虽然这是数据沿袭工具的完美用例，以及这些工具存在的原因，但它们可以通过使公司能够加强其数据治理计划，在组织中发挥更重要的作用。
DAMA国际DMBoK(数据管理知识手册)将数据治理定义为“对数据资产的管理行使权力和控制(计划、监视和执行)。”
在实践中，数据治理是包含数据所有权、隐私、控制、安全性和质量的首要术语。必须在整个组织中对这些属性和度量进行管理，无论数据在何处传输、分段、存储、仓库或存档。
为了支持数据治理，专门的应用程序处理这些组件中的一个或多个。在某些情况下，它使用集成的应用程序套件，而在其他情况下，它使用解决单个领域的最佳工具。
通常，数据治理程序将利用包括以下工具:
- 业务术语表:用于关键数据元素的术语/定义/分类
- 数据目录:企业中所有数据集/表中所有元数据元素的集中存储库
- 数据质量规则:数据元素的质量规则;硬编码，从元数据推断，和/或基于AI/ ml
当组合在一起时，这些工具(如果在企业内广泛实现)可以有效地作为数据治理计划的基础。关键数据元素可以用业务术语完全注释，信息的敏感性可以被标记[例如，个人身份信息(PII)、重要的非公开信息(MNPI)等]，并且数据存储库可以按目录扫描
可以提供数据字段/属性/特征的全面清单。无论是通过AI/ML推理分配还是派生，数据质量规则都可以应用于源、存储库(仓库、湖泊等)或关键使用点，如监管报告。
虽然这些工具很有效，但即使集成得很好，也会产生比必要时更密集的手工过程，并且在控制方面的差距已经成熟。正是在这种上下文中，数据沿袭可以转换数据治理过程。
例如，如果一个关键数据元素在其来源处被标记为PII，并且随后在其旅程中被数十个程序和系统读取、转换、存储、下载或上传，那么目录将只知道结果数据字段在下游数据表和文件中存在。在人工智能的应用下，目录最多可以推断出字段与关键数据元素的关系，以及它作为PII的划分(尽管不确定)。
同样的松散耦合关联也适用于业务术语表和数据质量规则。进一步转换或推导得到的下游领域，即使是训练有素的AI/ML算法也不太可能建立联系。
数据沿袭知道给定数据元素的所有下游位置的位置，无论是未更改的、已转换的还是派生字段的基础，并且可以提供自动应用与原始元素关联的控件所需的确定性。给定字段的下游实例(或派生)可以从源元素“继承”名称、隐私保护、质量规则、业务术语等。
当已知与数据元素的所有下游实例相关联的各种控制属性时，就可以强制执行自动屏蔽、加密和访问权限，而不会出现治理中的潜在漏洞，也无需手动标记每个项。
在类似的上下文中，数据访问权限的管理对任何数据治理计划都是一个挑战。了解谁可以查看敏感数据与了解数据在整个企业中的位置同样重要。
通常情况下，数据访问权限是在文件或表级别授予的，一些实现将分辨率降低到数据元素级别，在数据元素级别由相关的存储能力支持(例如，访问平面文件中的数据元素是全有或全无的事情)。当那些有权访问数据的个人或系统创建包含原始数据副本或衍生版本的下游数据集时，原始数据所有者(或指定的管理人员)经常失去对后续权利的洞察和控制。
与前面的数据敏感性分类示例一样，一旦将数据沿袭集成到授权流程中，任何下游数据集都可以继承与原始数据元素相关的授权限制，从而消除了对功能的大部分手动维护，同时确保敏感信息从一开始就受到保护，并且只有授权人员才能查看。
除了由谱系驱动的数据治理功能所提供的改进的可见性和控制之外，还有显著的经济效益。减少维护跨企业数据的动态生成和演变所需的手工工作，可以显著节省成本，进而获得更高的ROI。
在下一篇文章中，我将讨论自动数据沿袭解决方案是什么样子的。
与此同时，如果您有兴趣了解更多关于此主题的信息，请考虑下载我们的利用数据血统加强金融服务中的数据治理指南。
