随着信息化和网络化程度的加深,大数据技术已经走进我们的生活和工作之中。而在大数据技术中,Kafka、ON和数据库无疑是非常重要和常用的技术工具。本文将分别介绍它们的概念、特点以及使用方法。
一、Kafka
1.概念
Kafka是一种开源的分布式流处理平台,由Apache基金会开发。它是一个高吞吐量、低延迟的消息传递系统,用于处理实时数据流。Kafka将数据以流的形式发布和订阅,为数据提供高可用性,可扩展性和可快速部署的特性。
2.特点
Kafka有以下特点:
(1)多分区支持。Kafka中的数据分为topic、partitions、messages三个概念。在Kafka中,消息被分配到不同的partitions中,每个partition在不同的broker上被维护。
(2)高吞吐量。Kafka能处理的消息数达到每秒上万条,同时保持低延迟和高可用性。
(3)可扩展性。基于分布式计算的架构设计,Kafka能够支持水平扩展,提高处理能力。
(4)消息持久化。在Kafka中,消息被保存在硬盘中,保证了可靠性和持久性。
3.使用方法
Kafka的使用方法包括以下几步:
(1)安装配置Kafka服务器。
(2)创建topics,指定partitions数量。
(3)生产者将消息推送到topic。
(4)消费者从topic中获取消息。
二、ON
1.概念
ON(JavaScript Object Notation)是一种轻量级的数据交换格式,可以方便地在应用程序中进行解析和生成。ON格式被设计为具有易读性,以及有效的机器和人类可读交互性,并且易于编写和解析。
2.特点
ON有以下特点:
(1)简洁。ON格式为纯文本,易于编写和阅读。
(2)可读性高。ON格式具有良好的易读性和可视化效果。
(3)可嵌套。ON格式的元素可以嵌套,构成一个综合的数据结构。
(4)可扩展。ON格式可以根据需求扩展新增属性和方法。
3.使用方法
ON的使用方法包括以下几步:
(1)创建一个需要转换的ON对象。
(2)把ON对象序列化成ON字符串。
(3)把ON字符串传输到另一个系统。
(4)把ON字符串反序列化成ON对象。
(5)根据需求,对ON对象进行解析。
三、数据库
1.概念
数据库是一种组织和存储数据的软件,用于管理和维护大量有组织的数据。数据库可以被视为一个文件库,可以存储和操作各种数据,如数字、声音、图像等。
2.特点
数据库有以下特点:
(1)可持久化。数据库中的数据可以长期存储,不会因为电脑重启或程序结束而消失。
(2)高效性。数据库可以实现高性能的数据访问,能够高速处理大量数据。
(3)可拓展。基于分布式计算的架构设计,数据库能够支持水平扩展,提高处理能力。
(4)安全性。数据库提供了严格的权限管理和多层次安全保护,防止数据被非法访问。
3.使用方法
数据库的使用方法包括以下几步:
(1)创建一个数据库管理系统。
(2)创建一个数据库。
(3)创建一个表格,并定义其结构和属性。
(4)向表格中添加数据。
(5)进行数据查询和修改。
综上所述,Kafka、ON和数据库是大数据领域中非常重要和常用的工具。它们各有不同的特点和优势,可以帮助我们更好地处理大量的数据,提高工作效率和数据管理能力。在实际应用中,需要根据需求选择合适的工具,并学习其使用方法和技巧。
相关问题拓展阅读:
clickhouse与kafka集成
clickhouse支持与多种存储引擎集成,可以从集成的引擎里面读取消息,然后写到真正的数据存储表里。
clickhouse批量写入则老李的性能比较好,我们的业务场景下会大批量的产生数据,如果使用clickhouse-jdbc去写的,写入时机和每批次写入的数量不好把控,最终选择了先将消息写入kafka,然后由clickhouse从kafka消孙迟费数据,clickhouse server消费到数据之后写入真正的数据表。
clickhouse集成kafka引擎见官方文档:
下面的介绍会与官方文档有重复,然后补充一些集成过程中遇到的坑。
下面介绍clickhouse与kafka集成的步骤,clickhouse版本是22.1.3.7
必要参数
可选参数
关于必选参数中的kafka_format参数,参见Formats部分,format具体解释如下
。
ONEachRow, ONStringsEachRow, ONCompactEachRow, ONCompactStringsEachRow
这几种格式,ClickHouse会将行输出为用换行符分隔的ON值,这些输出数据作为一个整体时,由于没有分隔符(,)因而不是有效的ON文档。
官方文档给了一些示例。
由于我的真实的数据表,有一个字段是json类型的字符串,但是一开始设置kafka_format的类型为ONEachRow时,从kafka消费数据会报错,所以kafka_format格式设置成了ONAsString,具体的错误后面贴出来。
创建kafka引擎表,用于从kafka消费数据
由于我的数据结构里有嵌套json,如果使用ONEachRow,有个字段是json类型的字符串,带转义字符,导致clickhouse解析失败,没找到解决办法,所以使用了ONAsString格式。
一个简单的MergeTree引擎的表,其中content是json格式的字符串。
创建的物化视图用于把从kafka消费到的数据,写到真实的数据表里,在这个例子里,msg_json_source从kafka消费到数据,然后通过物化视图msg_json_source_consumer将消费到的数据写到真实的数据表msg_target中。
由于从kafka消费到的数据就是一个json字符串,在这里使用ONExtractString等json字段提取工具,提取msg里的字段,比如biz,sender_id,content等字段。
status_time原本计划用DatTime64类型的,但是这个时间格式有坑,最终选择了使用UInt64存毫秒级时间戳,具体的问题下面再介绍。
在clickhouse创建好3张表之后(kafka引擎表,真实数据表,物化视图表),往kafka发消息
本地安装一个简易的kafka服务端,然后创建topic
创建好topic之后,使用Java客户端往kafka发消息,使用confluent client发也可以。
添加kafka依赖
实体类,使含搭用fastjson的@ONField注解,实体类转字符串的时候,将驼峰转换为下划线
测试类
最终发送完,我们查看一下clickhouse里的数据表的数据,可以发现我们发送到kakfa里的数据,已经成功的消费,并且写入到真实的数据表里了。
当时测试环境部署的版本是21.9,但是这个版本有问题,不推荐安装,建议直接部署22以上的clickhouse
我一开始就是使用的ONEachRow格式,但是我的消息体里还有嵌套的json,类似下面这种格式,里面有个字段还是个json,转行成字符串带转义字符。
然后消息体的string字符串贴一条在这里
然后clickhouse解析消息体报错,当时的错找不到了,现在复现不出来了,非常的难顶。。。。
后来因为赶版本的原因把kafka_format换成了ONAsString。
clickhouse是支持DateTime64格式的,可以到毫秒级,但是实际使用过程中却有些坑在,
首先是有的客户端解析毫秒字符串有问题,其次是使用ONExtract*的方法,会有差异,再然后是jdbc查询的时候,也会导致时间查询有问题。
拿毫秒时间戳和秒级时间戳做试验,clickhouse-server版本是22.3.1.1
把上面的kafka引擎表拿出来改一下
其中status_time这个字段的类型改成DateTime64(3, ‘Asia/Shanghai’),使用ONExtractUInt提取时间,看下效果
首先发条数据,数据内容如下
传入的是毫秒级时间戳,然后数据表存储的时候就变成了2282年
然后如果传入秒级的时间戳,真实的数据是这样
clickhouse存储的时候看着时间正常了,但是毫秒丢失了
然后修改一下物化视图的字段提取方式,之前是 ONExtractUInt(msg,’status_time’) as status_time,现在改成使用 ONExtractString(msg,’status_time’) as status_time提取时间
会发现时间类型又正常了。
这一条数据内容如下
最终使用ONExtractString提取毫秒时间戳,得到了正确的DateTime64的时间,非常的神奇
最终我决定来了个釜底抽薪的方法,时间直接用UInt64存,因为我发送出去的数据是毫秒级时间戳,最终存时间戳,查询时间范围的时候直接用long类型的数据between好了。
这也是无奈之举,万一哪天server更新版本,导致时间出现问题,那就完蛋了,希望后面时间可以稳定一点吧。
kafka json 数据库的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于kafka json 数据库,大数据领域常用的Kafka、ON和数据库简介,clickhouse与kafka集成的信息别忘了在本站进行查找喔。
来源地址:大数据领域常用的Kafka、ON和数据库简介 (kafka json 数据库)
转载声明:本站文章若无特别说明,皆为原创,转载请注明来源:www.88531.cn资享网,谢谢!^^