大数据领域常用的Kafka、ON和数据库简介(kafkajson数据库)

随着信息化和网络化程度的加深，大数据技术已经走进我们的生活和工作之中。而在大数据技术中，Kafka、ON和数据库无疑是非常重要和常用的技术工具。本文将分别介绍它们的概念、特点以及使用方法。

一、Kafka

1.概念

Kafka是一种开源的分布式流处理平台，由Apache基金会开发。它是一个高吞吐量、低延迟的消息传递系统，用于处理实时数据流。Kafka将数据以流的形式发布和订阅，为数据提供高可用性，可扩展性和可快速部署的特性。

2.特点

Kafka有以下特点：

（1）多分区支持。Kafka中的数据分为topic、partitions、messages三个概念。在Kafka中，消息被分配到不同的partitions中，每个partition在不同的broker上被维护。

（2）高吞吐量。Kafka能处理的消息数达到每秒上万条，同时保持低延迟和高可用性。

（3）可扩展性。基于分布式计算的架构设计，Kafka能够支持水平扩展，提高处理能力。

（4）消息持久化。在Kafka中，消息被保存在硬盘中，保证了可靠性和持久性。

3.使用方法

Kafka的使用方法包括以下几步：

（1）安装配置Kafka服务器。

（2）创建topics，指定partitions数量。

（3）生产者将消息推送到topic。

（4）消费者从topic中获取消息。

二、ON

1.概念

ON（JavaScript Object Notation）是一种轻量级的数据交换格式，可以方便地在应用程序中进行解析和生成。ON格式被设计为具有易读性，以及有效的机器和人类可读交互性，并且易于编写和解析。

2.特点

ON有以下特点：

（1）简洁。ON格式为纯文本，易于编写和阅读。

（2）可读性高。ON格式具有良好的易读性和可视化效果。

（3）可嵌套。ON格式的元素可以嵌套，构成一个综合的数据结构。

（4）可扩展。ON格式可以根据需求扩展新增属性和方法。

3.使用方法

ON的使用方法包括以下几步：

（1）创建一个需要转换的ON对象。

（2）把ON对象序列化成ON字符串。

（3）把ON字符串传输到另一个系统。

（4）把ON字符串反序列化成ON对象。

（5）根据需求，对ON对象进行解析。

三、数据库

1.概念

数据库是一种组织和存储数据的软件，用于管理和维护大量有组织的数据。数据库可以被视为一个文件库，可以存储和操作各种数据，如数字、声音、图像等。

2.特点

数据库有以下特点：

（1）可持久化。数据库中的数据可以长期存储，不会因为电脑重启或程序结束而消失。

（2）高效性。数据库可以实现高性能的数据访问，能够高速处理大量数据。

（3）可拓展。基于分布式计算的架构设计，数据库能够支持水平扩展，提高处理能力。

（4）安全性。数据库提供了严格的权限管理和多层次安全保护，防止数据被非法访问。

3.使用方法

数据库的使用方法包括以下几步：

（1）创建一个数据库管理系统。

（2）创建一个数据库。

（3）创建一个表格，并定义其结构和属性。

（4）向表格中添加数据。

（5）进行数据查询和修改。

综上所述，Kafka、ON和数据库是大数据领域中非常重要和常用的工具。它们各有不同的特点和优势，可以帮助我们更好地处理大量的数据，提高工作效率和数据管理能力。在实际应用中，需要根据需求选择合适的工具，并学习其使用方法和技巧。

相关问题拓展阅读：

• clickhouse与kafka集成

clickhouse与kafka集成

clickhouse支持与多种存储引擎集成，可以从集成的引擎里面读取消息，然后写到真正的数据存储表里。

clickhouse批量写入则老李的性能比较好，我们的业务场景下会大批量的产生数据，如果使用clickhouse-jdbc去写的，写入时机和每批次写入的数量不好把控，最终选择了先将消息写入kafka，然后由clickhouse从kafka消孙迟费数据，clickhouse server消费到数据之后写入真正的数据表。

clickhouse集成kafka引擎见官方文档：

下面的介绍会与官方文档有重复，然后补充一些集成过程中遇到的坑。

下面介绍clickhouse与kafka集成的步骤，clickhouse版本是22.1.3.7

必要参数

可选参数

关于必选参数中的kafka_format参数，参见Formats部分，format具体解释如下

。

ONEachRow, ONStringsEachRow, ONCompactEachRow, ONCompactStringsEachRow

这几种格式，ClickHouse会将行输出为用换行符分隔的ON值，这些输出数据作为一个整体时，由于没有分隔符(,)因而不是有效的ON文档。

官方文档给了一些示例。

由于我的真实的数据表，有一个字段是json类型的字符串，但是一开始设置kafka_format的类型为ONEachRow时，从kafka消费数据会报错，所以kafka_format格式设置成了ONAsString,具体的错误后面贴出来。

创建kafka引擎表，用于从kafka消费数据

由于我的数据结构里有嵌套json，如果使用ONEachRow，有个字段是json类型的字符串，带转义字符，导致clickhouse解析失败，没找到解决办法，所以使用了ONAsString格式。

一个简单的MergeTree引擎的表，其中content是json格式的字符串。

创建的物化视图用于把从kafka消费到的数据，写到真实的数据表里，在这个例子里，msg_json_source从kafka消费到数据，然后通过物化视图msg_json_source_consumer将消费到的数据写到真实的数据表msg_target中。

由于从kafka消费到的数据就是一个json字符串，在这里使用ONExtractString等json字段提取工具，提取msg里的字段，比如biz,sender_id,content等字段。

status_time原本计划用DatTime64类型的，但是这个时间格式有坑，最终选择了使用UInt64存毫秒级时间戳，具体的问题下面再介绍。

在clickhouse创建好3张表之后(kafka引擎表，真实数据表，物化视图表)，往kafka发消息

本地安装一个简易的kafka服务端，然后创建topic

创建好topic之后，使用Java客户端往kafka发消息，使用confluent client发也可以。

添加kafka依赖

实体类,使含搭用fastjson的@ONField注解，实体类转字符串的时候，将驼峰转换为下划线

测试类

最终发送完，我们查看一下clickhouse里的数据表的数据,可以发现我们发送到kakfa里的数据，已经成功的消费，并且写入到真实的数据表里了。

当时测试环境部署的版本是21.9，但是这个版本有问题，不推荐安装，建议直接部署22以上的clickhouse

我一开始就是使用的ONEachRow格式，但是我的消息体里还有嵌套的json，类似下面这种格式，里面有个字段还是个json，转行成字符串带转义字符。

然后消息体的string字符串贴一条在这里

然后clickhouse解析消息体报错，当时的错找不到了，现在复现不出来了，非常的难顶。。。。

后来因为赶版本的原因把kafka_format换成了ONAsString。

clickhouse是支持DateTime64格式的，可以到毫秒级，但是实际使用过程中却有些坑在，

首先是有的客户端解析毫秒字符串有问题，其次是使用ONExtract*的方法，会有差异，再然后是jdbc查询的时候，也会导致时间查询有问题。

拿毫秒时间戳和秒级时间戳做试验，clickhouse-server版本是22.3.1.1

把上面的kafka引擎表拿出来改一下

其中status_time这个字段的类型改成DateTime64(3, ‘Asia/Shanghai’)，使用ONExtractUInt提取时间，看下效果

首先发条数据，数据内容如下

传入的是毫秒级时间戳，然后数据表存储的时候就变成了2282年

然后如果传入秒级的时间戳，真实的数据是这样

clickhouse存储的时候看着时间正常了，但是毫秒丢失了

然后修改一下物化视图的字段提取方式，之前是 ONExtractUInt(msg,’status_time’) as status_time，现在改成使用 ONExtractString(msg,’status_time’) as status_time提取时间

会发现时间类型又正常了。

这一条数据内容如下

最终使用ONExtractString提取毫秒时间戳，得到了正确的DateTime64的时间，非常的神奇

最终我决定来了个釜底抽薪的方法，时间直接用UInt64存，因为我发送出去的数据是毫秒级时间戳，最终存时间戳，查询时间范围的时候直接用long类型的数据between好了。

这也是无奈之举，万一哪天server更新版本，导致时间出现问题，那就完蛋了，希望后面时间可以稳定一点吧。

kafka json 数据库的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于kafka json 数据库,大数据领域常用的Kafka、ON和数据库简介,clickhouse与kafka集成的信息别忘了在本站进行查找喔。

香港服务器选创新互联，2H2G首月10元开通。
创新互联（www.cdcxhl.com）互联网服务提供商,拥有超过10年的服务器租用、服务器托管、云服务器、虚拟主机、网站系统开发经验。专业提供云主机、虚拟主机、域名注册、VPS主机、云服务器、香港云服务器、免备案服务器等。

网页标题：大数据领域常用的Kafka、ON和数据库简介(kafkajson数据库)
新闻来源：http://www.shufengxianlan.com/qtweb/news40/448790.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联