5个大数据处理/数据分析/分布式工具

作者：中公优就业 2018-08-24 10:28:41

大数据

存储软件

分布式 Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

创新互联长期为超过千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为永仁企业提供专业的做网站、网站建设，永仁网站改版等技术服务。拥有10余年丰富建站经验和众多成功案例,为您定制开发。

 1.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

2.Druid

Druid是实时数据分析存储系统，Java语言中***的数据库连接池。Druid能够提供强大的监控和扩展功能。

Druid是一个分布式的、面向列的、实时的分析数据存储库，通常用于为多租户环境中的探索性仪表板供电。

Druid作为一种数据仓库解决方案，擅长于对petabyte大小的数据集进行快速聚合查询。Druid支持各种灵活的过滤器、精确计算、近似算法和其他有用的计算。

Druid可以同时加载流数据和批处理数据，并与Samza、Kafka、Storm、SPark和Hadoop集成。

3.Ambari

大数据平台搭建、监控利器；类似的还有CDH

Ambari能够：

提供Hadoop集群

• Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。
• Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

• Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

• Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。
• 安巴里杠杆Ambari度量系统用于度量集合。
• 安巴里杠杆Ambari警报框架用于系统警报，并在需要注意时通知您(例如，节点下降，剩余磁盘空间较低等)。

4.Spark

一个快速通用的集群计算系统.它在Java、Scala、Python和R中提供了高级API，并提供了支持通用执行图的优化引擎。大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

5.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

当前标题：5个大数据处理/数据分析/分布式工具
网址分享：http://www.shufengxianlan.com/qtweb/news17/233217.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联