亚马逊网络服务 - 数据管道

AWS数据管道是一种网络服务，旨在简化用户整合分布在多个AWS服务中的数据并从单个位置分析数据的工作。

使用AWS数据管道，可以访问源数据，对其进行处理，然后将结果高效地传输到相应的AWS服务。

如何设置数据管道？

以下是设置数据管道的步骤：

步骤1 - 使用以下步骤创建管道。

• 登录AWS账户。

• 使用此链接打开AWS数据管道控制台：https://console.aws.amazon.com/datapipeline/

• 在导航栏中选择区域。

• 点击“创建新管道”按钮。

• 在相应的字段中填写所需详细信息。

  • 在“源”字段中，选择“使用模板构建”，然后选择此模板：“使用ShellCommandActivity入门”。

• 只有选择模板后，“参数”部分才会打开。保留S3输入文件夹和Shell命令运行的默认值。单击S3输出文件夹旁边的文件夹图标，然后选择存储桶。

• 在“计划”中，保留默认值。

• 在“管道配置”中，保持日志启用状态。单击日志的S3位置下的文件夹图标，然后选择存储桶。

• 在“安全/访问”中，保留IAM角色的默认值。

• 点击“激活”按钮。

如何删除管道？

删除管道也会删除所有关联的对象。

步骤1 - 从管道列表中选择管道。

步骤2 - 点击“操作”按钮，然后选择“删除”。

步骤3 - 将打开一个确认提示窗口。点击“删除”。

AWS数据管道的功能

简单且经济高效 - 其拖放功能使在控制台上创建管道变得容易。其可视化管道创建器提供了一个管道模板库。这些模板使为处理日志文件、将数据存档到Amazon S3等任务创建管道变得更容易。

可靠 - 其基础架构专为容错执行活动而设计。如果活动逻辑或数据源出现故障，则AWS数据管道会自动重试该活动。如果故障持续存在，则它将发送故障通知。我们甚至可以为成功运行、故障、活动延迟等情况配置这些通知警报。

灵活 - AWS数据管道提供各种功能，例如调度、跟踪、错误处理等。它可以配置为执行诸如运行Amazon EMR作业、直接对数据库执行SQL查询、执行在Amazon EC2上运行的自定义应用程序等操作。