Apache Kafka是一个开放源代码的分布式事件流平台,成千上万的公司使用它来实现高性能数据管道,流分析,数据集成和关键任务应用程序。
在Debian 10 Buster上安装Apache Kafka
步骤1.在运行下面的教程之前,重要的是通过apt
在终端中运行以下命令来确保系统是最新的:
sudo apt update
步骤2.安装Java。
现在,使用以下命令安装Java:
sudo apt install default-jdk
通过运行以下命令来验证Java版本:
java -version
步骤3.在Debian 10上安装Apache Kafka。
现在,我们运行以下命令从官方网站下载Apache Kafka软件包:
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
然后,解压缩下载的存档文件:
tar xzf kafka_2.12-2.8.0.tgz mv kafka_2.12-2.8.0 /usr/local/kafka
步骤4.创建系统单位文件。
现在,我们systemd
为Zookeeper和Kafka服务创建单位文件。这将有助于管理Kafka服务以使用以下systemctl
命令启动或停止:
nano /etc/systemd/system/zookeeper.service
添加以下文件:
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
接下来,systemd
使用以下命令创建Kafka单位文件:
nano /etc/systemd/system/kafka.service
添加以下内容:
[Unit] Description=Apache Kafka Server Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
保存文件并重新加载systemd
守护程序以应用新更改:
sudo systemctl daemon-reload sudo systemctl start zookeeper sudo systemctl start kafka
步骤5.在Kafka中创建主题。
首先,使用单个分区和单个副本创建一个名为“ MakeTopic”的主题:
cd /usr/local/kafka bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic
之后,您可以通过运行以下命令在Kafka上查看创建的主题:
$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181 MakeTopic
步骤6.将消息发送到Kafka。
现在我们运行生产者,然后在控制台中输入一些消息以发送到服务器:
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic >Welcome to kafka >This is my first topic >
第7步。使用Kafka Consumer。
Apache Kafka还具有一个命令行使用者,可以从Kafka集群中读取数据并向标准输出显示消息。
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning Welcome to kafka This is my first topic
感谢您使用本教程在Debian系统上安装最新版本的Apache Kafka。有关其他帮助或有用信息,建议您查看Apache Kafka官方网站。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun50220.html