Apache Kafka - 基本操作

首先，让我们开始实现`单节点-单代理`配置，然后我们将设置迁移到单节点-多代理配置。

希望你现在已经在你的机器上安装了 Java、ZooKeeper 和 Kafka。在进入 Kafka 集群设置之前，你需要先启动你的 ZooKeeper，因为 Kafka 集群使用 ZooKeeper。

启动 ZooKeeper

打开一个新的终端并输入以下命令：

bin/zookeeper-server-start.sh config/zookeeper.properties

要启动 Kafka 代理，请输入以下命令：

bin/kafka-server-start.sh config/server.properties

启动 Kafka 代理后，在 ZooKeeper 终端输入命令`jps`，你将看到以下响应：

821 QuorumPeerMain
928 Kafka
931 Jps

现在你可以看到终端上运行着两个守护进程，其中 QuorumPeerMain 是 ZooKeeper 守护进程，另一个是 Kafka 守护进程。

单节点-单代理配置

在此配置中，你只有一个 ZooKeeper 和代理 ID 实例。以下是配置步骤：

**创建 Kafka 主题** - Kafka 提供了一个名为`kafka-topics.sh`的命令行实用程序来在服务器上创建主题。打开新的终端并输入以下示例。

语法

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 
--partitions 1 --topic topic-name

示例

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1   
--partitions 1 --topic Hello-Kafka

我们刚刚创建了一个名为`Hello-Kafka`的主题，它只有一个分区和一个副本因子。上面创建的输出将类似于以下输出：

**输出** - 创建主题`Hello-Kafka`

创建主题后，你可以在 Kafka 代理终端窗口中收到通知，并在 `config/server.properties` 文件中指定的“/tmp/kafka-logs/”中查看已创建主题的日志。

主题列表

要获取 Kafka 服务器中的主题列表，可以使用以下命令：

语法

bin/kafka-topics.sh --list --zookeeper localhost:2181

输出

Hello-Kafka

由于我们已经创建了一个主题，它只会列出`Hello-Kafka`。假设你创建了多个主题，你将在输出中获得主题名称。

启动生产者发送消息

语法

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name

从上面的语法来看，生产者命令行客户端需要两个主要参数：

**代理列表** - 我们要向其发送消息的代理列表。在本例中，我们只有一个代理。`Config/server.properties` 文件包含代理端口 ID，因为我们知道我们的代理正在端口 9092 上监听，所以你可以直接指定它。

主题名称 - 这是一个主题名称的示例。

示例

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka

生产者将等待来自 stdin 的输入并发布到 Kafka 集群。默认情况下，每一行都作为一条新消息发布，然后默认的生产者属性在`config/producer.properties`文件中指定。现在你可以在终端输入几行消息，如下所示。

输出

$ bin/kafka-console-producer.sh --broker-list localhost:9092 
--topic Hello-Kafka[2016-01-16 13:50:45,931] 
WARN property topic is not valid (kafka.utils.Verifia-bleProperties)
Hello
My first message

My second message

启动消费者接收消息

与生产者类似，默认的消费者属性在`config/consumer.properties`文件中指定。打开一个新的终端并输入以下语法来消费消息。

语法

bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic topic-name 
--from-beginning

示例

bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Hello-Kafka 
--from-beginning

输出

Hello
My first message
My second message

最后，你能够从生产者的终端输入消息，并看到它们出现在消费者的终端。目前，你对具有单个代理的单节点集群有了很好的理解。现在让我们继续讨论多个代理的配置。

单节点-多代理配置

在继续进行多个代理集群设置之前，首先启动你的 ZooKeeper 服务器。

**创建多个 Kafka 代理** - 我们已经在 `config/server.properties` 中已经有了一个 Kafka 代理实例。现在我们需要多个代理实例，所以将现有的 `server.properties` 文件复制到两个新的配置文件中，并将其重命名为 `server-one.properties` 和 `server-two.properties`。然后编辑这两个新文件并进行以下更改：

config/server-one.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
# The port the socket server listens on
port=9093
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs-1

config/server-two.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
# The port the socket server listens on
port=9094
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs-2

**启动多个代理** - 在对三个服务器进行所有更改后，打开三个新的终端来一个一个地启动每个代理。

Broker1
bin/kafka-server-start.sh config/server.properties
Broker2
bin/kafka-server-start.sh config/server-one.properties
Broker3
bin/kafka-server-start.sh config/server-two.properties

现在我们有三台不同的代理在机器上运行。自己尝试一下，通过在 ZooKeeper 终端输入 **jps** 来检查所有守护进程，然后你将看到响应。

创建主题

让我们为此主题分配副本因子值为 3，因为我们有三个不同的代理正在运行。如果你有两个代理，则分配的副本值为 2。

语法

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 
-partitions 1 --topic topic-name

示例

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 
-partitions 1 --topic Multibrokerapplication

输出

created topic “Multibrokerapplication”

`Describe` 命令用于检查哪个代理正在监听当前创建的主题，如下所示：

bin/kafka-topics.sh --describe --zookeeper localhost:2181 
--topic Multibrokerappli-cation

输出

bin/kafka-topics.sh --describe --zookeeper localhost:2181 
--topic Multibrokerappli-cation

Topic:Multibrokerapplication    PartitionCount:1 
ReplicationFactor:3 Configs:
   
Topic:Multibrokerapplication Partition:0 Leader:0 
Replicas:0,2,1 Isr:0,2,1

从上面的输出中，我们可以得出结论：第一行总结了所有分区，显示了主题名称、分区计数和我们已经选择的副本因子。在第二行中，每个节点将成为随机选择的一部分分区的领导者。

在我们的例子中，我们看到我们的第一个代理（broker.id 为 0）是领导者。然后 Replicas:0,2,1 表示所有代理最终复制主题，`Isr` 是`in-sync`副本的集合。嗯，这是当前处于活动状态并与领导者保持同步的副本子集。

启动生产者发送消息

此过程与单代理设置中的过程相同。

示例

bin/kafka-console-producer.sh --broker-list localhost:9092 
--topic Multibrokerapplication

输出

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication
[2016-01-20 19:27:21,045] WARN Property topic is not valid (kafka.utils.Verifia-bleProperties)
This is single node-multi broker demo
This is the second message

启动消费者接收消息

此过程与单代理设置中显示的过程相同。

示例

bin/kafka-console-consumer.sh --zookeeper localhost:2181 
—topic Multibrokerapplica-tion --from-beginning

输出

bin/kafka-console-consumer.sh --zookeeper localhost:2181 
—topic Multibrokerapplica-tion —from-beginning
This is single node-multi broker demo
This is the second message

基本主题操作

在本章中，我们将讨论各种基本主题操作。

修改主题

正如你已经了解了如何在 Kafka 集群中创建主题一样。现在让我们使用以下命令修改已创建的主题

语法

bin/kafka-topics.sh —zookeeper localhost:2181 --alter --topic topic_name 
--parti-tions count

示例

We have already created a topic “Hello-Kafka” with single partition count and one replica factor. 
Now using “alter” command we have changed the partition count.
bin/kafka-topics.sh --zookeeper localhost:2181 
--alter --topic Hello-kafka --parti-tions 2

输出

WARNING: If partitions are increased for a topic that has a key, 
the partition logic or ordering of the messages will be affected
Adding partitions succeeded!

删除主题

要删除主题，可以使用以下语法。

语法

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic_name

示例

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka

输出

> Topic Hello-kafka marked for deletion

**注意 -** 如果未将 **delete.topic.enable** 设置为 true，则此操作无效

打印页面