Kafka命令行工具 kcat或kafkacat

0    118    1

👉 本文共约981个字,系统预计阅读时间或需4分钟。

简介

kcat, 又称为 kafkacat,是一款非 JVM 的 Kafka 消息生产和消费的命令行工具,适用于 Kafka 0.8 及以上版本。

github地址:https://github.com/edenhill/kcat

生产者模式:kcat 从标准输入读取数据,-D 指定分割符,把数据发送到Kafka 集群,-b 指定集群地址, -t 指定topic名称, -p 指定分区

消费者模式:kcat 从指定的 topic 和 partition 消费数据,并打印到标准输出。

kcat 还支持打印 Kafka 集群的状态,topics,pairtions 信息。

kafkacat has been renamed to kcat to adhere to the Apache Software Foundation's (ASF) trademark policies.

kafkacat 是基于kafka C语言的librdkafka库的 kafka客户端,不依赖java,小巧轻便,支持主流系统。

在高版本的debain、Ubuntu下可以直接apt-get install kafkacat,maxos下可以用brew install kafkacat
也可以自己编译安装。

安装方式

  1. Ubuntu 环境

  2. MacOS 环境

  3. 从源码编译安装

    使用

    Ubuntu 中使用 kafkacat, 在 MacOS 中使用 kcat, 如果是源码方式安装也是使用 kcat

    生产者

    常用参数:
    -P: 说明以生产者模式运行
    -b : Kafka集群地址,端口为9092时可省略端口
    -t: topic名称
    -p: 分区编号
    -z: 压缩格式,如snappy

示例

读取 /var/log/syslog 文件的数据,数据写到“syslog” 主题

消费者

常用参数:
-P: 说明以消费者模式运行
-b : Kafka集群地址,端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-J: 以 Json 格式打印数据

示例:

消费 syslog 所有数据

本人提供Oracle、MySQL、PG等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!

消费 syslog 最近2000条数据

消费 mytopic 指定时间戳的数据

消费多个 topic

Kafka信息查询

查询给定时间戳对应的 offset

打印 Kafka 集群所有元数据信息

以 Json 格式打印 Kafka 集群所有元数据信息

示例

    头像

    小麦苗

    学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

    您可能还喜欢...

    发表评论

    您的电子邮箱地址不会被公开。

    7 + 3 =

     

    嘿,我是小麦,需要帮助随时找我哦
    • 18509239930
    • 个人微信

    • 麦老师QQ聊天
    • 个人邮箱
    • 点击加入QQ群
    • 个人微店

    • 回到顶部
    返回顶部