前言
Apache Storm 是一个免费的,开源的,分布式的实时计算系统.
官方文档: http://storm.apache.org
中文文档: http://storm.apachecn.org
ApacheCN 最近组织了翻译 Storm 1.1.0 中文文档 的活动,整体 翻译进度 为 96%.
感谢大家参与到该活动中来
感谢无私奉献的 贡献者,才有了这份 Storm 1.1.0 中文文档
感谢一路有你的陪伴,我们才可以做的更好,走的更快,走的更远,我们一直在努力 。。。
网页地址: http://storm.apachecn.org/releases/cn/1.1.0/
github: https://github.com/apachecn/storm-doc-zh
如果您有任何意见建议,问题反馈,或者也想参与该翻译,或者想成为该项目的负责人,麻烦联系企鹅: 1042658081
技术交流企鹅群: 214293307
学习方法
- Storm 怎么学习,怎么入门 ?
我只能悄悄的告诉你,跟着中文文档走,把文档看一遍先,文档中的概念,例子什么的先弄懂,基本上就入门了
- Storm 如何成为大神呢?
先看看大佬们的 blog 学习下,多在群里面跟别人讨论下
文档内容目录
NOTE(注意)
在最新版本中, class packages 已经从 “backtype.storm” 改变成 “org.apache.storm” 了, 所以使用旧版本编译的 topology 代码不会像在 Storm 1.0.0 上那样运行了. 通过以下配置提供向后的兼容性
client.jartransformer.class: "org.apache.storm.hack.StormShadeTransformer"
如果要运行使用较旧版本 Storm 编译的代码, 则需要在 Storm 安装中添加上述配置. 该配置应该添加到您用于提交 topologies(拓扑)的机器中.
Storm 基础
- Javadoc
- 概念
- 调度器
- 配置
- 保证消息处理
- Daemon(守护进程)容错
- 命令行 client(客户端)
- REST API
- 理解 Storm topology 的 parallelism(并行度)
- FAQ
Layers on Top of Storm
Storm Trident
Trident 是 Storm 的另一个 interface(接口).
它提供了 exactly-once(仅且一次)处理, “transactional(事务性的)” datastore persistence(数据存储持久化), 以及一些常见的 stream analytics operations(流式分析操作).
- Trident 教程 – 基础的概念和预排工作
- Trident API 概述 – 针对 transforming(转换)和 orchestrating 数据的操作
- Trident State(状态) – exactly-once(仅且一次)处理以及 fast(快速的), persistent aggregation(持久化的聚合)
- Trident spouts – transactional(事务性的)和 non-transactional(非事务性的)数据引入
- Trident RAS API – 与 Trident 一起使用 Resource Aware Scheduler .
Storm SQL
该 Storm SQL 的集成可以让用户在 Storm 的 streaming data(流式数据)上来运行 SQL 查询.
NOTE(注意): Storm SQL 是一个 experimental(实验性的)
功能, 所以 Storm SQL 的结构和所支持的功能在以后可能会发生变化.
但是小的变化不会影响用户体验. 在引入 UX 更改时, 我们会及时通知用户.
Flux
Storm 安装和部署
- 安装一个 Storm 集群
- Local mode(本地模式)
- 问题排查
- 在生产 cluster(集群)上运行 topologies(拓扑)
- 构建 Storm with Maven
- 安装 Secure(安全的)Cluster(集群)
- CGroup 的实施
- Pacemaker 针对大集群减低在 zookeeper 上的负载
- Resource Aware Scheduler(资源意识调度器)
- Daemon Metrics/Monitoring(守护进程的度量/监控)
- Windows 平台的用户指南
Storm 中级
- Serialization(序列化)
- Common patterns(常见模式)
- Clojure DSL
- 与 Storm 一起使用非 JVM 的语言
- 分布式的 RPC
- Transactional topologies(事务性的拓扑)
- Hooks(钩子)
- Metrics(度量)
- State Checkpointing
- Windowing(窗口操作)
- Joining Streams
- Blobstore(Distcahce)
Storm 调试
Storm 与外部系统, 以及其它库的集成
- Apache Kafka 集成, 新的 Kafka Consumer(消费者)集成
- Apache HBase 集成
- Apache HDFS 集成
- Apache Hive 集成
- Apache Solr 集成
- Apache Cassandra 集成
- JDBC 集成
- JMS 集成
- Redis 集成
- Event Hubs 集成
- Elasticsearch 集成
- MQTT 集成
- Mongodb 集成
- OpenTSDB 集成
- Kinesis 集成
- Druid 集成
- Kestrel 集成
Container, Resource Management System Integration
Storm 高级
- 为 Storm 定义非 JVM 语言的 DSL
- 多语言协议(如何为其它语言提供支持)
- 实现文档
结束感言
翻译过程中,大家有说有笑,有时候大家自己也不太懂,关键字啥的都会搞错,完全看不懂,一脸懵逼,醉了 。。。
但总算是把这份中文文档给弄好了吧,也算是对大家,或者对自己有一个交代,没有半途而废吧!~~~
希望大家可以一起走的更快,走的更远 。。。
如果您有任何意见建议,问题反馈,或者也想参与该翻译,或者想成为该项目的负责人,麻烦联系企鹅: 1042658081
技术交流企鹅群: 214293307