目录

Storm是什么？

实时流计算是什么？

实时计算处理流程

Storm设计思想

Storm是什么？

Storm是一个可扩展的、具备数据容错系统的分布式实时计算框架。可以方便的在一个计算机集群中编写可扩展复杂的实时计算，保证每个消息都会得到处理，在一个小集群中，每秒可以处理数以百万计的消息（经测试，每个节点每秒可以处理100万个数据元组）。

实时流计算是什么？

随着信息量个爆发式膨胀，人们对信息时效性的需求也越来越高，数据的价值随着时间的流逝而降低，所以事件出现后，必须尽快对他们进行处理，最好事件发生一个便立刻对其进行处理，而不是将其缓存起来成一批处理。

在数据持久性建模不满足现状的情况下，人们急需对数据流的瞬时建模或者计算处理。例如：商用的搜索引擎（Google、Bing等），通常在用户查询响应中提供结构化的Web查询结果，同时也插入基于流量的点击付费模式的文本广告。为了在页面上的最佳位置展示最相应的广告，可以通过一些算法来动态估算给定上下文中一个广告被点击的可能性（上下文可能包括用户偏好、地理位置、历史查询、历史点击等信息）。一个主搜索引擎可能每秒钟处理成千上万次查询，每个页面都可能会包含多个广告。为了及时处理用户反馈，需要一个低延迟、可扩展、高可靠的处理引擎。对于这种需求，可以采用MapReduce来处理实时数据流，但是尽管MapReduce做了实时性的改进，也很难真正稳定的满足应用需求（这是因为Hadoop MapReduce框架为批处理做了高度优化，典型的是通过调度批量任务来操作静态数据，任务不是常驻服务，数据也不是实时流入）。而数据流计算的典型范式之一是不确定数据速率的时间流流入系统，系统处理能力必须与事件流量匹配。

实时计算处理流程

处理互联网上的海量数据（日志流）：

数据实时采集：

完整的收集到所有日志数据，为实时应用提供实时数据；响应时间上药保证实时性、低延迟（满足每秒数百MB的日志数据采集和传输需求）；配置简单，部署容易；系统稳定可靠。（数据采集工具有：scribe、kafka、Flume、TimeTunnel、Chukwa等）

数据实时计算：

在流数据不断变化的运动过程中实时地进行分析捕捉到可能对用户有用的信息，并把结果发送出去。在蒸锅过程中数据分析处理系统是主动的，而用户处于被动接收的状态（传统数据操作，首先将数据采集并存储到DBMS中，然后通过查询和DBMS进行交互，得到用户想要的答案，这个过程，用户是主动地，DBMS系统是被动的）。

实时计算的需求---适应流式数据、不间断查询、系统稳定可靠、可扩展性好、可维护性好。

数据实时查询：

全内存---直接提供数据读取服务，定期转存到磁盘或数据库进行持久化；

半内存---使用Redis、Memcache、MongoDB、BerkeleyDB等内存数据库提供数据实时查询服务，由这些系统进行持久化操作。

全磁盘---使用HBase等以分布式文件系统（HDFS）为基础的NoSQL数据库，对于Key-Value内存引擎，关键是设计好Key的分布。

Storm设计思想

Storm中有对流（Stream）的抽象，在建立事件流时，Storm把流中的事件抽象为Tuple（元组）——所以在Storm中，流是一个不间断的、无界的连续Tuple。

Storm中认为每个流都有一个Stream源（原始元组的源头）——所以他将这个源头抽象为Spout（Spout可能连接Twitter API并不断发出推文Tweet，也可能从某个队列中不断读取队列元素并装配为Tuple发射）。

将流的中间状态转换抽象为Bolt（Bolt可以消费任意数量的输入流，只要将流方向导向该Blot，同时它也可以发送新的流给其他Blot使用，这样，只要打开特定的Spout，再将Spout中流出的Tuple导向特定的Bolt，由Bolt处理导入的流后在导向其他Bolt或者目的地）。

关系图如下：假设Spout是一个水龙头，并且每个水龙头里流出的水是不同的，想获得哪种水就要打开对应的水龙头，然后把水通过管道

导向一个处理器Bolt，处理后继续使用管道导向另一个处理器，直到处理完成后存入容器。

还有其他结构，多对一：

拓扑结构：

Storm将上图抽象为Topology（拓扑），这是Storm中最高层次的一个抽象概念，提交拓扑到Storm集群执行，一个拓扑就是一个流转换图，每个节点是一个Spout或者Blot，边表示Bolt订阅了哪些流。