2016-12-20

初识Storm

1.storm有一个分支，则这个分支一个事jstorm，这个是阿里巴巴将要开源的
2.离线计算:
批量获取数据，批量传输数据
代表技术:Sqoop批量导入数据，HDFS批量存储数据，MapReduce批量计算数据
大量消耗hive，消耗大量SQL语句
主要工作量:
1.hivesql(工作量较多)
2.调度平台
3.hadoop 集群运维
4.数据清洗(脚本语言)
5.元数据管理
6.数据稽查
7.数据仓库模型架构

3.流式计算:
数据实时产生产生，数据实时传输，数据实时计算，实时展示
代表技术:Flume实时获取数据,Kafka/metag实时数据存储，Storm/JStorm实时数据计算,Redis实时结果缓存，持久化存储
一句话总结:将源源不断的产生的数据实时手机并实时计算，尽可能快的得到计算结果

4.离线计算与实时计算的区别
最大的区别:实时收集，实时计算，实时展示

Storm用来实时处理数据，特点:低延迟,高可用,分布式，可扩展，数据不丢失，提供简单容易理解的接口，便于开发。

我们为什么要进行实时监控:
1.例如11.11，我们可以监控自己的流量情况，根据实时的情况可以发一些优惠券，从而可以最大限度的刺激消费
2.对于业务人员,可以看自己的所管辖的业务范围内，根据用户所喜爱的东西来适当的发布优惠券，例如对于用户所喜爱的，我们可以少发布优惠券，对于用户不喜爱的产品，我们可以大量发布优惠券，从而可以起到刺激消费的功能，
以上两点就是为什么要进行实时监控的原因

海量数据：
数据类型很多，产生数据的终端很多，处理数据能力增强
Storm用来实时处理数据，特点:低延迟，高可用，分布式，可扩展，数据不丢失，提供简单容易理解的接口，便于开发。