轻松上手SpringBoot&Kafka实战!

轻松上手 Spring Boot & Kafka 实战!

作者:Java领域佼佼者 2020-04-23 15:59:04

前端
Kafka Kafka需要依赖zookeeper,并且自身集成了zookeeper,zookeeper至少需要3个节点保证集群高可用,下面是在单机linux下创建kafka3个节点伪集群模式。

创新互联建站服务项目包括博乐网站建设、博乐网站制作、博乐网页制作以及博乐网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,博乐网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到博乐省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

Kafka集群安装、配置和启动

Kafka需要依赖zookeeper,并且自身集成了zookeeper,zookeeper至少需要3个节点保证集群高可用,下面是在单机linux下创建kafka3个节点伪集群模式。

1、下载包

下载地址:http://kafka.apache.org/downloads

2、解压包

  
 
 
 
  1. tar -zxvf kafka_2.11-1.0.0.tgz\mv kafka_2.11-1.0.0 kafka1\mv kafka_2.11-1.0.0 kafka2\mv kafka_2.11-1.0.0 kafka3 

3、创建ZK集群

修改ZK配置文件:kafka1-3/config/zookeeper.properties分别修改对应的参数。

  
 
 
 
  1. dataDir=/usr/local/kafka/zookeeper1 
  2. dataLogDir=/usr/local/kafka/zookeeper/log 
  3. clientPort=2181 
  4. maxClientCnxns=0 
  5. tickTime=2000 
  6. initLimit=100 
  7. syncLimit=5 
  8. server.1=127.0.0.1:2888:3888 
  9. server.2=127.0.0.1:4888:5888 
  10. server.3=127.0.0.1:6888:7888 

/usr/local/kafka/zookeeper1-3目录下分别创建myid文件,内容对应1~3

启动ZK,分别进行Kafka1-3目录:

  
 
 
 
  1. bin/zookeeper-server-start.sh config/zookeeper.properties & 

启动报文件失败,需要手动创建文件目录并赋予对应的权限。

4、创建Kafka集群

配置文件:kafka1-3/config/server.properties分别修改对应的参数。

  
 
 
 
  1. broker.id=1  
  2. zookeeper.connect=localhost:2181,localhost:2182,localhost:2183 
  3. listeners=PLAINTEXT://192.168.12.11:9091  
  4. log.dirs=/tmp/kafka-logs-1 

启动Kafka,分别进行Kafka1-3目录:

  
 
 
 
  1. bin/kafka-server-start.sh config/server.properties & 

启动报文件失败,需要手动创建文件目录并赋予对应的权限。

5、集群测试

在kafka1上面发送消息:

  
 
 
 
  1. bin/kafka-console-producer.sh --broker-list localhost:9091 --topic test 

在kafka2、kafka3消费消息:

  
 
 
 
  1. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic 

Spring Boot 集成 Kafka 实战

1、添加spring-kafka依赖

  
 
 
 
  1. 2.1.0.RELEASE 
  2.  
  3.  
  4.  
  5.     org.springframework.kafka 
  6.     spring-kafka 
  7.     ${spring-kafka.version} 
  8.  

2、添加Spring Boot的自动配置

自动配置类:

  • org.springframework.boot.autoconfigure.kafka.KafkaAutoConfiguration

配置属性类:

  • org.springframework.boot.autoconfigure.kafka.KafkaProperties
  
 
 
 
  1. Spring: 
  2.   kafka: 
  3.     bootstrap-servers: 
  4.       - 192.168.101.137:9091 
  5.       - 192.168.101.137:9092 
  6.       - 192.168.101.137:9093 
  7.     producer: 
  8.       retries: 0 
  9.       batch-size: 16384 
  10.       buffer-memory: 33554432 
  11.       key-serializer: org.apache.kafka.common.serialization.StringSerializer 
  12.       value-serializer: org.apache.kafka.common.serialization.StringSerializer 
  13.     consumer: 
  14.       group-id: foo 
  15.       auto-offset-reset: earliest 
  16.       enable-auto-commit: true 
  17.       auto-commit-interval: 100 
  18.       key-deserializer: org.apache.kafka.common.serialization.StringDeserializer 
  19.       value-deserializer: org.apache.kafka.common.serialization.StringDeserializer 

3、发送消息

  
 
 
 
  1. @Autowired 
  2. private KafkaTemplate kafkaTemplate; 
  3.  
  4. @GetMapping("/send") 
  5. public Object send(String msg) { 
  6.     kafkaTemplate.send("test", "name", msg); 
  7.     return "send ok"; 

4、接收消息

在任何bean里面,添加@KafkaListener,支持消息接收。

  
 
 
 
  1. @KafkaListener(topics = "test") 
  2. public void processMessage(String content) { 
  3.     logger.info("收到消息, topic:test, msg:{}", content); 

本文题目:轻松上手SpringBoot&Kafka实战!
网站地址:http://www.shufengxianlan.com/qtweb/news8/520358.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联