流式计算系统-StreamBase
StreamBase是IBM开发的一款商业流式计算系统，在金融行业和政府部门使用，其本身是商业应用软件，但提供了Develop Edition。相对于付费使用的Enterprise Edition，前者的功能更少，但这并不妨碍我们从外部使用和API接口来对StreamBase本身进行分析。
成都创新互联公司主营桑珠孜网站建设的网络公司,主营网站建设方案,APP应用开发,桑珠孜h5微信小程序开发搭建,桑珠孜网站营销推广欢迎桑珠孜等地区企业咨询
StreamBase使用Java开发，IDE是基于Eclipse进行二次开发，功能非常强大。StreamBase也提供了相当多的 Operator、Functor以及其他组件来帮助构建应用程序。用户只需要通过IDE拖拉控件，然后关联一下，设置好传输的Schema并且设置一下控件计算过程，就可以编译出一个高效处理的流式应用程序了。同时，StreamBase还提供了类SQL语言来描述计算过程。
StreamBase的组件交互情况如图3所示。
图3 StreamBase组件交互图
StreamBase Server是节点上启动的管理进程，它负责管理节点上Container的实例，每个Container通过Adapter获得输入，交给应用逻辑进行计算，然后通过Adapter进行输出。各个Container相互连接，形成一个计算流图。
Adapter负责与异构输入或输出交互，源或目的地可能包括CSV文件、JDBC、JMS、Simulation(StreamBase提供的流产生模拟器)或用户定制。
每个StreamBase Server上面都会存在一个Sytsem Container，主要是产生系统监控信息的流式数据。
HA Container用于容错恢复，可以看出它实际包含两个部分：Heartbeat和HA Events，其中HeartBeat也是Tuple在Container之间传输。在HA方案下，HA Container监控Primary Server的活动情况，然后将这些信息转换成为HA Events交给StreamBase Monitor来处理。
Monitor就是从System Container和HA Container中获取数据并且进行处理。StreamBase认为HA 问题应该通过CEP方式处理，也就是说如果哪个部件出现问题，就肯定会反映在System Container和HA Container的输出流上面，然后 Monitor通过复杂事件处理这些Tuples的话就能够检测到机器故障等问题，并作出相应处理。
StreamBase提出了以下4种模板策略来解决容错问题。
- Hot-Hot Server Pair Template
Primary Server和Secondary Server都在同时计算，并且将计算结果交给下游。优点是Primary Server如果故障的话那么Secondary Server依然工作，几乎没有任何切换时间;并且下游只需要选取先到来的Tuple就可以处理了，保证处理速度最快;缺点是浪费计算和网络资源。
- Hot-Warm Server Pair Template
Primary Server和Secondary Server都在同时计算，但只有Primary Server将计算结果交给下游。优点是如果Primary Server故障，Secondary Server可以很快切换，而不需要任何恢复状态的工作。相对于Hot-Hot方式时间稍微长一些，但没有Hot-Hot那么耗费网络资源，同时也浪费了计算资源。
- Shared Disk Template
Primary Server在计算之后，将计算的一些中间关键状态存储到磁盘、SAN(Storage Area Network)或是可靠的存储介质。如果Srimary Server故障，Secondary Server会从介质中读取出关键状态，然后接着继续计算。优点是没有浪费任何计算和网路资源，但恢复时间依赖状态的量级而定，相对于前两种，恢复时间可能会稍长。
- Fast Restart Template
这种方案限定了应用场景，只针对无状态的应用。对于无状态的情况，方案可以非常简单，只要发现Primary Server故障，Secondary Server立即启动，并接着上游的数据流继续计算即可。
分享标题：流式计算系统-StreamBase
URL分享：http://www.shufengxianlan.com/qtweb/news28/498228.html
网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等
声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联