开始使用Matillion ETL工具

在这篇文章中,我将向您展示如何建立自己的Matillion实例,但是在我们开始之前,让我们谈谈Matillion ETL工具。

什么是Matillion,你为什么要在乎?

Matillion是ETL工具,它可以在云计算市场。它是完全基于云计算,收费每小时工资率,最显著的优势,加上雪花,红移和三角洲湖。获得很大的优势,我将向您展示本文Matillion耦合的雪花。

我们一直使用Matillion数据仓库ETL工具,如雪花的ETL项目为我们的客户。最近我在一个项目中,我致力于Matillion从源到目标数据转换和编制。

Matillion有两个主要类型的工作:

• 编制:编制主要关心DDL语句(特别是创建、删除和修改资源),加载数据从外部来源。
• 转换:用于转换表中已经存在的数据。这包括过滤数据,修改数据类型,和删除行。

它有各种类型的功能组件,作为你的工具包使用ETL的旅程。这些组件包括SQL DDL命令Python脚本,和其中一些组件的设计执行的一些最中心的任务。而且,它提供给我们创建变量的灵活性,我们可以使用在任何查询编辑器组件。Matillion提供变量在两个口味,环境变量和变量的工作。

我将向你展示的例子在我最近创建的转换工作和编制工作项目。

这是我用SQL查询的转换工作组件(蓝色)编写SQL脚本。结果传递给下一个组件是表更新组件(红色),它的结果更新SQL组件到目标表中定义的表更新组件。

这是编排的工作中我们使用的是几个组件,但是这个工作的主要任务是执行转换工作。正如你所看到的,我们有一个开始开始工作运行的组件,然后我们有一个转换工作执行转换(如上所示),然后我们结束成功运行组件,结束了工作。如果有失败的转换工作组件,然后或组件将等待它的任何输入在继续之前完成这项工作。所以,当发生故障或组件添加SNS消息组件的工作在邮件发送失败的通知使用AWS和最终失败的SNS服务组件运行失败的状态结束了工作。

现在,您已经有了一个基本的了解Matillion工具,你可能兴奋地为数据转换构建你的工作,所以让我给你完整的程序如何创建自己的Matillion实例并开始你的手脏。

让我们开始吧! ! !创建你的Matillion ETL的旅程。

首先,创建一个Matillion自由小道账户Matillion中心在这里。(注:Matillion账户需要组织域ID。它不允许自由域ID像gmail.com或yahoo.com)。

Matillion将给你发送一个确认电子邮件在您的组织id账户创建成功之后。您需要确保您的组织正确添加到你的账户如下所示的图像。

如果不添加您可以添加您的组织的“添加新组织”按钮,如上图所示。

一旦你添加了组织并点击到你的组织面板中,您需要选择一个服务,如下所示。

选择“添加新的Matillion ETL实例”选项来创建一个新的实例/ VM。

在下一个页面上,您将需要选择适当的云提供商根据您的需求选择(AWS和Azure)。请注意:GCP目前不支持,如下所示。

现在,让我们去作为一个云提供商使用AWS选项,接下来你将需要选择你的云数据平台。

在这种情况下我们要选择雪花作为数据平台。然后,您将需要选择的启动方法Matillion按你们的AWS服务。你将收到两个选项,如下所示。

选择1 - CloudFormation模板有几个先决条件需要定义在接下来几页。

首先,让我们选择的地区你想举办一个实例。

接下来,选择您的实例启动AWS资源VPC你定义一个虚拟网络。

下一个页面将允许您选择CloudFormation模板按您的需求,选择相应的模板。

然后,您将被重定向到AWS控制台页面,您将需要登录你的AWS凭证。

一旦登录到AWS,你将被要求创建一个堆栈的模板,请提供细节需要创建一个堆栈。之后,它会创建一个堆栈,并将推出你的Matillion实例与所选择的地区和VPC。堆栈状态应该create_complete状态如下所示。

选项2

如果你选择AMI选项启动实例,它将重定向你到AWS控制台页面,您将需要登录你的AWS凭证。

登录到你的AWS帐户后,你会得到一个列表Matillion AMI的ETL工具,你只需要选择一个AMI启动实例。

成功创建一个实例后(无论是AMI或CloudFormation模板),您完成了Mtillion ETL工具创建和现在需要访问该工具通过互联网作为一个SaaS平台。

访问Matillion ETL工具

用于访问Matillion工具,你需要确保你创建的实例已经启动并运行。你需要一个实例公共IP负载Matillion ETL工具在你的浏览器登录页面。

使用复制到剪贴板选项和粘贴任何浏览器上的公共IP。你会得到一个Matillion工具登录页面要求用户名和密码。的用户名取决于操作系统AMI构建。

在我的情况下,我的AMI是基于Linux的我将ec2-user用户名。密码将实例id如上图所示。

请确保你使用copy-to-clipboard选项来避免失败的登录尝试。下面图片显示的登录页面Matillion ETL工具。

一旦登录到Matillion ETL工具控制台你会得到一个弹出窗口,使用创建项目按钮创建一个新项目。你会得到windows 4阶段所需的项目。

填写所需细节如下所示。

下一步是AWS连接。如下所示,环境名称和AWS凭证需要继续。在我的例子中,我已经创建了一个用户在AWS帐户(也就是我。,mat-user所以我选择该用户AWS凭证)。添加一个我用户Matillion使用管理按钮。你需要访问密钥ID和秘密的,我的用户访问密钥。

下一步是设置雪花连接,提供细节的选项,如下所示。对于这些,你将需要一个雪花帐户。如果你没有一个帐户,请创建一个30天免费试用帐户在这里。

最后一个阶段是建立雪花违约的环境,这意味着雪花默认数据仓库设置。(见下面的参考)。如果雪花连接成功你会自动默认仓库选项的下拉列表。

单击Finish,您的项目将被创建。现在,您可以使用编排工作对Matillion ETL数据转换工作和变换工作。使用组件转换和数据流,下图所示。

一些基本的面板控制台页面上提供了几百万。

• 在右下角你得到任务状态(成功或失败)失败你也得到描述错误,故障排除。
• 中心,对底部,您将得到您使用网格中的所有活动的属性面板数据流。选择该活动和properties选项卡将显示您所有属性的活动。

在这里您已经成功地创建了一个实例使用AWS和雪花Matillion ETL工具。你现在已经能够成功地创建一个Matillion ETL工具实例使用AWS和雪花。了解更多关于我们的AWS云能力和企业实践和Perficient如何帮助您进一步的数字转换访问我们在这里!

不断学习! ! ! ! !

Perficient如何帮助你?

Perficient是注册Amazon Web服务伙伴有超过10年的经验提供企业级应用程序在云平台解决方案和专业知识,联系中心,应用现代化,迁移,数据分析,移动开发和管理工具,物联网,serverless,安全,和更多。配上我们的行业领先的战略和团队,Perficient装备来帮助企业解决最棘手的挑战,充分利用他们的实现和集成。

了解更多关于我们的AWS练习和接触我们的团队!