Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose 是一个完全托管的服务,用于将实时流数据传输到目标,例如,Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES) 和 Splunk。Kinesis Data Firehose 与 Kinesis Data StreamsKinesis Video Streams 和 Amazon Kinesis Data Analytics 都是 Kinesis 流式处理数据平台的一部分。在使用 Kinesis Data Firehose 时,您无需编写应用程序或管理资源。您可以配置数据创建器以将数据发送到 Kinesis Data Firehose,后者自动将数据传输到您指定的目标。您还可以配置 Kinesis Data Firehose 以在传输之前转换数据。

数据流

对于 Amazon S3 目标,流数据将传输到您的 S3 存储桶。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶。

对于 Amazon Redshift 目标,流数据先传输到您的 S3 存储桶。然后,Kinesis Data Firehose 发出 Amazon Redshift COPY 命令,将数据从您的 S3 存储桶加载到 Amazon Redshift 集群。如果启用了数据转换,您可以选择将源数据备份到另一个 Amazon S3 存储桶。

对于 Amazon ES 目标,流数据将传输到您的 Amazon ES 集群,并且可以选择将流数据同时备份到 S3 存储桶中。

对于 Splunk 目标,流数据将传输到 Splunk,并且可以选择将流数据同时备份到 S3 存储桶中。

原文地址:https://www.cnblogs.com/cloudrivers/p/11620407.html

时间: 2024-08-30 11:13:07

Amazon Kinesis Data Firehose的相关文章

Amazon Kinesis Data Firehose 数据转换

Kinesis Data Firehose 可以调用您的 Lambda 函数转换传入的源数据并将转换后的数据传输给目标.当您创建传输流时,可以启用 Kinesis Data Firehose 数据转换. 数据转换流 启用 Kinesis Data Firehose 数据转换后,Kinesis Data Firehose 默认情况下将缓冲最多 3 MB 的传入数据.(要调整缓冲大小,请将 ProcessingConfiguration API 与名为 BufferSizeInMBs 的 Proce

Amazon Kinesis Data Streams 术语和概念

Kinesis Data Streams 高级别架构 下图演示 Kinesis Data Streams 的高级别架构.创建器会持续将数据推送到 Kinesis Data Streams,并且使用者 可实时处理数据.使用者(如在 Amazon EC2 上运行的自定义应用程序或 Amazon Kinesis Data Firehose 传输流)可以使用 Amazon DynamoDB.Amazon Redshift 或 Amazon S3 等 AWS 服务存储其结果. Kinesis Data S

读取 Amazon Kinesis Data Streams 中的数据

使用者 是一种处理 Kinesis 数据流中的所有数据的应用程序.当使用者使用增强型扇出功能 时,它会获取其自己的 2 MiB/秒的读取吞吐量配额,从而允许多个使用者并行读取相同流中的数据,而不必与其他使用者争用读取吞吐量.默认情况下,流中的每个分片均提供 2 MiB/秒的读取吞吐量.此吞吐量跨正在从某给定分片进行读取的所有使用器获取分片.换言之,每个分片的默认 2 MiB/秒的吞吐量是固定的,即使有多个使用器正在从分片中进行读取. 特性 没有增强型扇出功能的未注册使用者 具有增强型扇出功能的注

Kinesis Data Streams 的服务器端加密

服务器端加密是 Amazon Kinesis Data Streams 中的一项功能,此功能在数据成为静态数据之前使用您指定的 AWS KMS 客户主密钥 (CMK) 自动对数据进行加密.数据在写入 Kinesis 流存储层之前加密,并在从存储检索到之后进行解密.因此,在 Kinesis Data Streams 服务中对数据进行静态加密.这样,您就可以满足严格的监管要求并增强您数据的安全性. 采用服务器端加密时,您的 Kinesis 流创建者和使用者不需要管理主密钥或加密操作.您的数据在进入和

【总结】Amazon Kinesis实时数据分析最佳实践分享

1.邱洋总结 AWS的服务全部采用SOA架构可以需要时相互调用 关于大数据的实时流处理,AWS提供了传统方案和完全host方案 传统方案是EC2上面部署flume (采集).kafka(数据转存).storam(流处理) 完全host方案是Kinesis 使用Kinesis还是需要用户通过API来将手机.网站点击.IoT.传感器等各类数据源的数据接入 允许用户编写Kinesis的Worker来处理自定义的数据处理逻辑(扩展性) Kinesis处理之后的数据,AWS建议存储S3或redshift等

AWS 数据分析服务(十)

Amazon Kinesis 概念 处理AWS上大量流数据的数据平台 Kinesis Streams 用于搜集数据,Client Library 用于分析后的展示 构建用于处理或分析流数据的自定义应用程序 可以支持从数十万中来源捕获和存储TB级的数据,如网站点击流.财务交易.媒体馈送.IT日志等 使用IAM限制用户和角色对Kinesis的访问,使用角色的临时安全凭证可以提高安全性 Kiesis只能使用SSL加密进行访问 Kinesis组件 Kinesis Data Firehose 加载大量流数

使用JSONPath

SONPath是查询JSON对象元素的标准方法.JSONPath使用路径表达式来导航JSON文档中的元素,嵌套元素和数组.有关JSON的更多信息,请参阅JSON简介. 使用JSONPath访问JSON元素 接下来,您可以找到如何使用JSONPath表达式访问JSON格式数据中的各种元素.对于本节中的示例,假设源流包含以下格式的JSON记录. { "customerName":"John Doe", "address": { "stree

一篇文章带你看懂AWS re:Invent 2018大会,揭秘Amazon Aurora

本文由云+社区发表 | 本文作者: 刘峰,腾讯云NewSQL数据库产品负责人.曾职于联想研究院,Teradata北京研发中心,从事数据库相关工作8年.2017年加入腾讯数据库产品中心,担任NewSQL数据库产品负责人. 云数据库与传统数据库的战争已打响,一个字概括就是"抢". 如火如茶的 AWS re:Invent 2018大会闭幕了,相信云养鹅的产品经理们又准时打开油管,Recap一年一度的科技盛宴. 据说今年一共发布了140多项产品服务,但是,Amazon Aurora 数据库 仍

《从0到1学习Flink》—— Flink Data transformation(转换)

前言 在第一篇介绍 Flink 的文章 <<从0到1学习Flink>-- Apache Flink 介绍> 中就说过 Flink 程序的结构 Flink 应用程序结构就是如上图所示: 1.Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于本地集合的 source.基于文件的 source.基于网络套接字的 source.自定义的 source.自定义的 source 常见的有 Apache kafka.Amazon Kinesis Stre