如何实现基本的ETL测试场景(第1部分)

在这个博客中,我们将看看ETL的基本测试场景的测试。然而,在我们去之前ETL测试场景,让我先告诉你ETL是什么以及它是如何工作的,以及过程。

ETL是什么?

ETL代表提取-转换-装载,它是一个过程的数据从源系统加载到数据仓库。数据提取OLTP数据库,数据仓库模式转化为匹配,并加载到数据仓库数据库。许多数据仓库也从non-OLTP系统包含数据如文本文件,遗留系统和电子表格。

类型的ETL数据加载

主要有两种类型的数据加载可用基于装载过程。

1. 满载(批量加载)

数据加载过程当我们第一次这样做。它可以称为批量加载或新鲜的负载。

2. 增量加载

单独修改的数据将被更新在目标紧随其后的是一个完整的负载。的变化将被创建或修改日期相比较工作的最后运行日期。

什么是ETL测试?

ETL测试的目的是确保数据加载从源到目的地后业务转型是准确的。它还涉及数据的验证在不同的中间阶段,源和目的地之间使用。

ETL测试过程?

像其他的测试流程,ETL也经历不同的阶段。ETL的不同阶段测试过程如下。

ODS(操作数据存储):这只不过是一个数据库集成来自不同数据源的数据有不同的规则。直接从一个事务性的数据库数据。段历史数据有限,几乎30至90天的数据。

ETL /测试生命周期过程

像其他的测试流程,ETL也经历了不同的阶段

ETL测试的不同阶段如下。

1. 需求分析
2. 测试计划
3. 测试设计
4. 测试执行
5. 缺陷重新测试
6. 测试关闭/签字

需求分析

的主要输入测试团队将文档的数据模型和映射当我们开始我们的分析,我们需要确保源表或文件是正确的。

测试计划

功能测试计划没有多少区别,除了几个项目我们需要提到的数据流在范围和out-scope部分。

测试设计

测试用例将会做好准备以及映射文档本身在这个阶段我们需要找到requirement-related缺陷通过源数据的分析和映射文档等数据类型、数据长度、和关系。

测试执行

一旦所有入口准则都设置初始执行可以批量加载工作和执行所有的阶段从源到目标将受到考验。

缺陷重新测试

固定的缺陷将会休息和验证的任何拒绝。根据影响分析测试用例需要执行的缺陷修复。

签字

基于测试执行的退出标准批准邮件发送给利益相关者是继续推进到下一个级别的代码。

ETL测试场景

表结构验证

列的名称、数据类型、数据长度目标表的验证要求

约束的检查

我们确保所有必需的约束是可用的

指数检查

我们确保索引创建所需的列

源数据验证

源表记录数,确保不会有任何垃圾或错误数据退出。

数据统计检查

比较目标数据统计对源数据统计以及主要过滤或联接条件。

数据对比检查

我们确保源数据是正确地移动到目标表通过比较数据

重复的数据验证

注入复制源表中的条目根据惟一标识符和确保重复记录将被拒绝。

数据与主键和外键检查

测试主键和外键关系与父母和孩子不同的测试数据表。

Null检查

注入NOT NULL列的数据与零,并验证数据将被拒绝。

数据精度检查

在源表中创建测试数据有不同的精度,确保按要求加载的数据精度。

日期格式检查

所有装载日期列定义的日期格式

结论

ETL测试是重要的,以确保ETL方法的正确性和完整性。这个测试过程中起着重要作用在信息存储和帮助,确保信息完整而信息被提取,改建,加载到仓库的信息。这个特殊的测试方法验证和验证信息,防止信息丢失和重复的记录。今天,ETL测试是获得额外的意义由于放大了大量知识的迁移。企业应该利用ETL测试从下一代QA和自由计算机代码测试服务供应商的无缝迁移完全不同来源的信息。

这都是基本的测试场景的ETL测试第1部分,我们将在明年见面博客与ETL第2部分测试场景

快乐的学习。