读取 Amazon Kinesis Data Streams 中的数据

使用者 是一种处理 Kinesis 数据流中的所有数据的应用程序。当使用者使用增强型扇出功能 时,它会获取其自己的 2 MiB/秒的读取吞吐量配额,从而允许多个使用者并行读取相同流中的数据,而不必与其他使用者争用读取吞吐量。默认情况下,流中的每个分片均提供 2 MiB/秒的读取吞吐量。此吞吐量跨正在从某给定分片进行读取的所有使用器获取分片。换言之,每个分片的默认 2 MiB/秒的吞吐量是固定的,即使有多个使用器正在从分片中进行读取。

特性 没有增强型扇出功能的未注册使用者 具有增强型扇出功能的注册使用者
分片读取吞吐量 每个分片的 2MiB/秒总吞吐量是固定的。如果有多个使用器正在从同一分片进行读取,则它们将全部共享此吞吐量。它们从分片中接收的吞吐量总和不会超出 2 MiB/秒。 随着使用器注册进行扩展以使用增强型扇出功能。注册为使用增强型扇出功能的每个使用器均接收其自己的每个分片的读取吞吐量,最多 2MiB/秒,独立于其他使用器。
消息传播延迟 平均约 200 毫秒(如果您有一个从流中读取的使用者)。如果您有五个使用者,则这个平均值高达约 1000 毫秒。 通常情况下,平均为 70 毫秒,无论您是拥有一个使用者,还是五个使用者。
成本 不适用 存在数据检索费用和使用器分片小时费用。有关更多信息,请参阅 Amazon Kinesis 数据流定价
记录传输模型 使用 GetRecords 通过 HTTP 提取模型。 Kinesis Data Streams 使用 SubscribeToShard 通过 HTTP/2 将记录推送给您。

原文地址:https://www.cnblogs.com/cloudrivers/p/11632193.html

时间: 2024-11-08 06:08:10

读取 Amazon Kinesis Data Streams 中的数据的相关文章

Amazon Kinesis Data Streams 术语和概念

Kinesis Data Streams 高级别架构 下图演示 Kinesis Data Streams 的高级别架构.创建器会持续将数据推送到 Kinesis Data Streams,并且使用者 可实时处理数据.使用者(如在 Amazon EC2 上运行的自定义应用程序或 Amazon Kinesis Data Firehose 传输流)可以使用 Amazon DynamoDB.Amazon Redshift 或 Amazon S3 等 AWS 服务存储其结果. Kinesis Data S

Kinesis Data Streams 的服务器端加密

服务器端加密是 Amazon Kinesis Data Streams 中的一项功能,此功能在数据成为静态数据之前使用您指定的 AWS KMS 客户主密钥 (CMK) 自动对数据进行加密.数据在写入 Kinesis 流存储层之前加密,并在从存储检索到之后进行解密.因此,在 Kinesis Data Streams 服务中对数据进行静态加密.这样,您就可以满足严格的监管要求并增强您数据的安全性. 采用服务器端加密时,您的 Kinesis 流创建者和使用者不需要管理主密钥或加密操作.您的数据在进入和

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose 是一个完全托管的服务,用于将实时流数据传输到目标,例如,Amazon Simple Storage Service (Amazon S3).Amazon Redshift.Amazon Elasticsearch Service (Amazon ES) 和 Splunk.Kinesis Data Firehose 与 Kinesis Data Streams.Kinesis Video Streams 和 Amazon Kinesis D

Amazon Kinesis Data Firehose 数据转换

Kinesis Data Firehose 可以调用您的 Lambda 函数转换传入的源数据并将转换后的数据传输给目标.当您创建传输流时,可以启用 Kinesis Data Firehose 数据转换. 数据转换流 启用 Kinesis Data Firehose 数据转换后,Kinesis Data Firehose 默认情况下将缓冲最多 3 MB 的传入数据.(要调整缓冲大小,请将 ProcessingConfiguration API 与名为 BufferSizeInMBs 的 Proce

java中读取文件以及向文件中追加数据的总结

1 package gys; 2 3 import java.io.BufferedReader; 4 import java.io.File; 5 import java.io.FileInputStream; 6 import java.io.FileReader; 7 import java.io.FileWriter; 8 import java.io.IOException; 9 import java.io.InputStream; 10 import java.io.InputSt

利用java反射机制实现读取excel表格中的数据

如果直接把excel表格中的数据导入数据库,首先应该将excel中的数据读取出来. 为了实现代码重用,所以使用了Object,而最终的结果是要获取一个list如List<User>.List<Book>等,所以需要使用泛型机制去实现.下面会给出代码,可能会稍微复杂一点,但注释很清晰,希望大家耐心阅读. 在上代码之前简单说一下思路: 1.excel表格必须有表头,且表头中各列的值要与实体类的属性相同: 2.先读取表头信息,然后获取表头列数,接着确定需要使用的set方法的名称,并存到数

读取文件中的数据(以结构体存放)

/* *读取文件中的数据(数据以结构体存放) */ #include<iostream> #include <fstream> //#define Field 31 //field_anal number #define Field 15 //field_post number using namespace std; //the level restore certain level data //level_z show the level struct Level { int

C#读取Excel表格数据到DataGridView中和导出DataGridView中的数据到Excel

其实想在datagridview中显示excel表格中的数据跟读取数据库中的数据没什么差别,只不过是创建数据库连接的时候连接字段稍有差别. private void btnShow_Click(object sender, EventArgs e) { OpenFileDialog fd = new OpenFileDialog();//首先根据打开文件对话框,选择excel表格 ofd.Filter = "表格|*.xls";//打开文件对话框筛选器 string strPath;/

第18课-数据库开发及ado.net 连接数据库.增.删.改向表中插入数据并且返回自动编号.SQLDataReade读取数据

第18课-数据库开发及ado.net 连接数据库.增.删.改向表中插入数据并且返回自动编号.SQLDataReade读取数据 ADO.NET 为什么要学习? 我们要搭建一个平台(Web/Winform)让用户方便的操作数据库中的数据. 什么是ADO.NET 是一组库类,System.Data. Ado.net组成 Connection:用来连接数据库 Command:用来执行SQL语句 DataReader:只读.只进的结果集,一条一条读取数据(SteamReader.XmlReader) Da