亚马逊网络服务 - Kinesis

Amazon Kinesis 是一款托管的、可扩展的、基于云的服务，允许实时处理每秒大量流数据。它专为实时应用程序而设计，允许开发人员从多个来源摄取任意数量的数据，并可根据 EC2 实例上的运行情况进行扩展。

它用于捕获、存储和处理来自大型分布式流（例如事件日志和社交媒体信息流）的数据。处理数据后，Kinesis 会同时将其分发给多个消费者。

如何使用 Amazon KCL？

在需要快速移动数据及其持续处理的情况下使用它。Amazon Kinesis 可用于以下情况：

• 数据日志和数据馈送摄取 - 我们无需等待批量处理数据，可以在数据生成后立即将其推送到 Amazon Kinesis 流中。它还可以在数据生产者出现故障时保护数据免受丢失。例如：系统和应用程序日志可以连续添加到流中，并在需要时以秒为单位提供。

• 实时图表 - 我们可以使用 Amazon Kinesis 流提取图表/指标以创建报表结果。我们无需等待数据批次。

• 实时数据分析 - 我们可以使用 Amazon Kinesis 运行实时流数据分析。

Amazon Kinesis 的限制？

使用 Amazon Kinesis 流时，应牢记以下一些限制：

• 默认情况下，流的记录最多可访问 24 小时，通过启用扩展数据保留，最多可延长至 7 天。

• 单个记录中数据块（Base64 编码前的数据有效负载）的最大大小为 1 兆字节 (MB)。

• 一个分片每秒最多支持 1000 个 PUT 记录。

• 有关限制的更多信息，请访问以下链接：https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

如何使用 Amazon Kinesis？

以下是使用 Amazon Kinesis 的步骤：

步骤 1 - 使用以下步骤设置 Kinesis 流：

• 登录 AWS 账户。从亚马逊管理控制台选择 Amazon Kinesis。

• 单击“创建流”，并填写所需的字段，例如流名称和分片数。单击“创建”按钮。

• 现在，该流将显示在“流列表”中。

步骤 2 - 在 Kinesis 流上设置用户。创建新用户并为每个用户分配策略。（我们上面已经讨论了创建用户和为其分配策略的过程）

步骤 3 - 将您的应用程序连接到 Amazon Kinesis；在这里，我们将 Zoomdata 连接到 Amazon Kinesis。以下是连接步骤。

• 以管理员身份登录 Zoomdata 并单击菜单中的“来源”。

• 选择 Kinesis 图标并填写所需详细信息。单击“下一步”按钮。

• 在“流”选项卡上选择所需的流。

• 在“字段”选项卡上，根据需要创建唯一的标签名称，然后单击“下一步”按钮。

• 在“图表”选项卡上，启用数据的图表。根据需要自定义设置，然后单击“完成”按钮以保存设置。

Amazon Kinesis 的功能

• 实时处理 - 它允许实时收集和分析信息，例如股票交易价格，否则我们需要等待数据输出报告。

• 易于使用 - 使用 Amazon Kinesis，我们可以快速创建新的流，设置其要求并开始流式传输数据。

• 高吞吐量，弹性 - 它允许实时收集和分析信息，例如股票交易价格，否则我们需要等待数据输出报告。

• 与其他亚马逊服务集成 - 它可以与 Amazon Redshift、Amazon S3 和 Amazon DynamoDB 集成。

• 构建 Kinesis 应用程序 - Amazon Kinesis 为开发人员提供客户端库，使他们能够设计和操作实时数据处理应用程序。将 Amazon Kinesis 客户端库添加到 Java 应用程序中，它将在有新的数据可供处理时发出通知。

• 经济高效 - Amazon Kinesis 对于任何规模的工作负载都经济高效。按使用付费，按需付费。