使用Matillion ETL工具从Amazon RDS加载数据到雪花

Amazon关系数据库服务是由Amazon Web Services提供的一种服务，是一种完全托管的SQL数据库云服务，允许您创建和操作关系数据库。使用Amazon RDS，用户可以在任何地方访问所有文件和数据库，这是一种具有成本效益和高度可扩展性的方式。

Snowflake是一个基于云的平台，可以帮助数据专业人员摆脱单独的数据仓库、数据湖和数据集市。此外，它允许跨组织的安全数据共享。雪花构建在亚马逊网络服务、微软Azure和谷歌云基础设施之上。这个工具非常适合那些不需要专门资源来安装、维护和支持内部服务器的组织，因为Matillion不需要硬件或软件来安装、配置或管理它。

Matillion ETL是一个基于云的数据集成工具，可以帮助数据团队利用数据转换业务。Matillion用于更快地移动数据，并通过易于使用的可视化方法对其进行更多处理。该工具提供了用于集成和转换数据工作流的低代码接口。Matillion是一款具有成本效益的工具，供数据专业人员在云环境中更快地获得结果。

在本文中，我们将介绍一个使用Matillion ETL工具将数据从Amazon RDS加载到Snowflake的用例。下面是执行这些操作的先决条件。

先决条件：

1. 一个Matillion账户
2. 雪花账户
3. 用于创建Amazon RDS数据库的AWS帐户

如果您没有这些帐户，您可以使用免费试用来执行此用例。您可以免费试用AWS帐户1年，免费试用Snowflake 1个月，免费试用Matillion 14天。下面是使用Matillion ETL将数据从Amazon RDS加载到Snowflake的用例的步骤。

步骤：

• 创建AWS帐户后，转到Amazon RDS数据库服务。单击创建PostgreSQL引擎类型的Amazon RDS数据库。一旦创建了数据库实例，您将获得端点和端口，这将帮助我们连接RDS服务器并在其中创建数据库。

• 创建PostgreSQL引擎后，我们可以使用RDS端点通过pgAdmin连接到RDS实例，pgAdmin是一个基于web的GUI工具，用于与Postgres数据库实例交互，包括本地和远程服务器。使用这个GUI工具，我们将在其中创建数据库。

• 下一步是在Snowflake中创建一个数据库，这是我们从Amazon RDS加载源数据库的地方。雪花帐户创建后，我们可以看到雪花标志右侧的数据库图标，在这里我们可以通过单击create创建数据库。

• 接下来，我们将创建一个Matillion帐户。Matillion实例可以在Azure或AWS上创建，在这个用例中，Matillion实例将在AWS上创建。访问Matillion实例并创建一个项目。

• 创建一个文件夹(Mohini-wm)，添加一个业务流程作业(test1)。然后从组件中添加“Create Table”组件。我们将使用“Create Table”组件在雪花中创建一个表。我们已经指定了已经在雪花中创建的“数据库”名称。指定的“模式”，“新表名”和列名将需要在雪花中创建。

• 接下来我们将使用' RDS Query '组件。这个组件将帮助我们连接到Amazon RDS服务。指定如下所示的数据库类型、RDS端点等参数。

• 右键单击画布并运行作业。在右边我们可以看到作业的状态，在左边我们可以预览数据。

• 在雪花中，我们可以看到新表被创建，来自Amazon RDS服务器的数据被使用Matillion加载到雪花中。为了预览数据，我们必须运行SELECT查询。

此时，您已经成功地将数据从Amazon RDS数据库加载到使用Matillion ETL工具的Snowflake中。

《完美》如何帮助你?

Perficient是经过认证的亚马逊网络服务合作伙伴，在云平台解决方案、联络中心、应用现代化、迁移、数据分析、移动、开发人员和管理工具、物联网、无服务器、安全等方面拥有超过10年的企业级应用交付经验和专业知识。配合我们业界领先的战略和团队，Perficient能够帮助企业应对最严峻的挑战，并最大限度地利用他们的实施和集成。

在这里了解更多关于AWS的实践，并与我们的团队取得联系!