Phenquestions
Grundlagen von Apache Kafka-Partitionen:
Um die Grundlagen von Apache Kafka . zu verstehen Partitions, Sie müssen über Kafka wissen Thema zuerst.
EIN Thema ist wie eine Datenbank in einer SQL-Datenbank wie MariaDB für Apache Kafka. EIN Thema hat einen Namen oder eine Kennung, die Sie zum Gruppieren von Nachrichten in Apache Kafka verwenden.
EIN Partition ist wie ein Kanal für jeden Thema. EIN Thema kann viele haben Partitions oder Kanäle.
Ein Netzwerkkabel, das zwei Computer verbindet, hat zwei Enden, eines sendet Daten, das andere empfängt Daten. Genauso hat Apache Kafka Topic zwei Enden, Produzents und Verbraucherso. EIN Produzent erstellt Nachrichten und sendet sie in einem der Partitions von a Thema. EIN Verbraucher liest andererseits die Nachrichten vom Partitions von a Thema.
Mehrere Partitions oder Kanäle werden erstellt, um die Redundanz zu erhöhen. Es wird auch verwendet, um Nachrichten in einem bestimmten zu gruppieren Thema.
Das sind die Grundlagen von Apache Kafka Partitionso. Weitere Informationen zu Apache Kafka-Partitionen finden Sie in einem anderen speziellen Artikel Apache Kafka-Partitionierung unter https://linuxhint.com/apache-kafka-partitioning
Apache Kafka installieren:
Ich habe einen speziellen ausführlichen Artikel darüber, wie es geht Installieren Sie Apache Kafka unter Ubuntu, die Sie unter https://linuxhint lesen können.com/install-apache-kafka-ubuntu/
Mit ein paar Optimierungen können Sie Apache Kafka auch auf anderen Linux-Distributionen installieren install.
Starten des Apache Kafka-Servers:
Wenn Sie meinem Artikel zur Installation von Apache Kafka gefolgt sind, starten Sie zuerst den Apache Kafka-Server mit dem folgenden Befehl:
$ sudo kafka-server-start.sch /etc/kafka.EigenschaftenApache Kafka-Server sollte starten. Lassen Sie dieses Terminal so lange geöffnet, wie der Apache Kafka-Server ausgeführt werden soll server.
Erstellen eines Apache Kafka-Themas:
Sie können einen Apache Kafka . erstellen Thema testen mit folgendem Befehl:
$ sudo kafka-themen.Sch \--erstellen \
--Tierpfleger localhost:2181 \
--Replikationsfaktor 1 \
--Partitionen 1 \
--Thementest
Das Thema testen sollte erstellt werden. Diese Thema hat 1 Partition.
Wenn Sie erstellen möchten, sagen wir Nein Partitionen, dann set -Partitionen zu Nein.
Lass uns einen anderen erstellen Thema, sagen wir Benutzer, mit 3 Partitions und führen Sie dann den folgenden Befehl aus:
$ sudo kafka-themen.Sch \--erstellen \
--Tierpfleger localhost:2181 \
--Replikationsfaktor 1 \
--Partitionen 3 \
--Thema Benutzer
Themenbenutzer sollte mit 3 . erstellt werden Partitionso.
Partitionierte Nachrichten zum Thema hinzufügen:
EIN Partitioned Nachricht von a Thema hat ein Schlüssel und ein Wert. Das Schlüssel und Wert wird normalerweise durch a . getrennt Komma oder anderes Sonderzeichen. Es spielt keine Rolle, welches Sonderzeichen Sie verwenden, um die zu trennen Schlüssel und Wert Paar. Dafür musst du aber überall das gleiche Sonderzeichen verwenden Thema. Sonst könnte es schief gehen.
Das Schlüssel wird verwendet, um zu bestimmen, welche Partition eine Nachricht von a Thema gehört. Es sollte einzigartig sein auf a Thema. Wenn Sie haben 3 Partitions, dann solltest du verwenden 3 anders Schlüsselso. Damit die Nachrichten aufgeteilt werden können in 3 Partitionso.
Sagen wir unser Benutzer Thema hast 3 Benutzer mit Taste 1, 2, und 3, jeder von ihnen gehört zu einem der 3 Partitions von der Benutzer Thema.
Führen Sie den folgenden Befehl aus, um den ersten Benutzer mit hinzuzufügen Taste 1 Verwendung der Kafka-Produzenten-API:
$ echo "1,Name: 'Shahriar Shovon', Land: 'BD'" | sudo kafka-console-producer.Sch \--Broker-Liste localhost:9092 \
--Thema Benutzer \
--Eigenschaftsanalyse.Schlüssel=wahr \
--Eigenschaftsschlüssel.Trennzeichen=,
Jetzt können Sie die Nachricht vom . auflisten Benutzer Thema Verwendung der Kafka-Verbraucher-API mit folgendem Befehl:
$ sudo kafka-console-consumer.Sch \--Tierpfleger localhost:2181 \
--Thema Benutzer \
--Eigenschaft drucken.Schlüssel=wahr \
--Eigenschaftsschlüssel.Trennzeichen=, \
--von Anfang an
Wie Sie sehen können, ist die Schlüssel und Wert Paar, das ich gerade hinzugefügt habe Benutzer Thema ist aufgelistet.
Ich werde das behalten Verbraucher Programm für Benutzer Thema Öffnen Sie auf diesem Terminal und fügen Sie die anderen Benutzer zum Benutzer Thema von einem anderen Terminal und schau was passiert.
Einen anderen Benutzer hinzufügen mit Taste 2 mit folgendem Befehl:
$ echo "2,Name: 'John Doe', Land: 'BD'" | sudo kafka-console-producer.Sch \--Broker-Liste localhost:9092 \
--Thema Benutzer \
--Eigenschaftsanalyse.Schlüssel=wahr \
--Eigenschaftsschlüssel.Trennzeichen=,
Wie Sie im markierten Abschnitt des Screenshots unten sehen können, wird der neue Benutzer sofort im Verbraucherprogramm aufgeführt listed.
Fügen wir unseren letzten Benutzer mit hinzu Taste 3 mit folgendem Befehl:
$ echo "3,Name: 'Evelina Aquilino', Land: 'US'" | sudo kafka-console-producer.Sch \--Broker-Liste localhost:9092 \
--Thema Benutzer \
--Eigenschaftsanalyse.Schlüssel=wahr \
--Eigenschaftsschlüssel.Trennzeichen=,
Wie Sie sehen, wird der neue Benutzer auch in der Verbraucher Programm.
Sie können auch viele Benutzer zu demselben hinzufügen Partition. Stellen Sie nur sicher, dass Schlüssel ist dasselbe.
Lassen Sie uns einen weiteren Benutzer zum hinzufügen Partition mit Taste 1:
$ echo "1,Name: 'Lynelle Piatt', Land: 'CA'" | sudo kafka-console-producer.Sch \--Broker-Liste localhost:9092 \
--Thema Benutzer \
--Eigenschaftsanalyse.Schlüssel=wahr \
--Eigenschaftsschlüssel.Trennzeichen=,
Wie Sie sehen, wird der neue Benutzer dem richtigen hinzugefügt Partition des Benutzer Thema.
Ich kann weiterhin zufällige Benutzer zum . hinzufügen Benutzer Thema und sie werden durch die richtige Partition gesendet, wie Sie auf dem Screenshot unten sehen können.
Also so geht's Partitions in Apache Kafka funktioniert. Jeder Partition ist wie ein Warteschlange, die erste Nachricht, die Sie über diese Partition senden, wird zuerst angezeigt, dann die zweite Nachricht usw. in der Reihenfolge, in der sie gesendet werden.
Wenn du ein Java Entwickler, können Sie verwenden Java Programmiersprache und Apache Kafka Java-APIs interessante Dinge mit Apache Kafka zu tun Partitionso. Sie können beispielsweise verschiedene Partition für verschiedene Chatrooms für Ihre Instant Messaging-App, da Nachrichten in der Reihenfolge angezeigt werden müssen, in der sie gesendet werden.
Das war's für heute. Vielen Dank für das Lesen dieses Artikels.
