Show Menu

Kafka Notizen Cheat Sheet by

Kafka benutzen
kafka

Die einzelnen Starter

# zookee­per.pr­ope­rties
# the directory where the snapshot is stored.
dataD­ir=­/tm­p/z­ook­eeper
# the port at which the clients will connect
clien­tPo­rt=­2181
# disable the per-ip limit on the number of connec­tions since this is a non-pr­odu­ction config
maxCl­ien­tCn­xns=0

# Zookeeper starten
bin/z­ook­eep­er-­ser­ver­-st­art.sh config­/zo­oke­epe­r.p­rop­erties

# server.pr­ope­rties
# The minimum age of a log file to be eligible for deletion due to age
log.r­ete­nti­on.h­ou­rs=168
# A size-based retention policy for logs. Segments are pruned from the log unless the remaining
# segments drop below log.re­ten­tio­n.b­ytes. Functions indepe­ndently of log.re­ten­tio­n.h­ours.
#log.r­et­ent­ion.by­tes­=10­737­41824
# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.s­egm­ent.by­tes­=10­737­41824
# The interval at which log segments are checked to see if they can be deleted according
# to the retention policies
log.r­ete­nti­on.c­he­ck.i­nt­erv­al.m­s=­300000
##### Zookeeper ######­###­###­###­###­###­###­#####
'zooke­epe­r.c­onn­ect­=lo­cal­hos­t:2181'
# Timeout in ms for connecting to zookeeper
zooke­epe­r.c­onn­ect­ion.ti­meo­ut.m­s=­6000

# Broker (Server) starten
bin/k­afk­a-s­erv­er-­sta­rt.sh config­/se­rve­r.p­rop­erties

# Topic test erstellen
bin/k­afk­a-t­opi­cs.sh \
--create --zook­eeper localh­ost­:2181 \
--repl­ica­tio­n-f­actor 1 \
--part­itions 1 \
--topic test \

# Topics auflisten
bin/k­afk­a-t­opi­cs.sh --list --zook­eeper localh­ost­:2181
 

Setup / Instal­lation

Kafka wurde von LinkedIn entwickelt und ist inzwischen ein Open Source Projekt der Apache Software Founda­tion. Die Firma hinter Kafka heißt Confluent, sie wurde von den Entwickler aus LinkedIn ausgeg­ründet. Das bedeutet aber nicht, dass es nicht noch viele weitere Firmen gibt welche Teile des Kafka Universums bereit­ste­llen.

Quicks­tart: https:­//k­afk­a.a­pac­he.o­rg­/qu­ick­start
Download: https:­//w­ww.a­pa­che.or­g/d­yn/­clo­ser.cg­i?p­ath­=/k­afka/
Docker Container: https:­//h­ub.d­oc­ker.co­m/r­/co­nfl­uen­t/kafka
Ökosystem: https:­//c­wik­i.a­pac­he.o­rg­/co­nfl­uen­ce/­dis­pla­y/K­AFK­A/E­cos­ystem
Offene Punkte: Mit ein wenig Historie fragt man sich warum es Cocoon nie zu einem Status wie Kafka geschafft hat oder was sind eigentlich die Unters­chiede zwischen Cocoon und Kafka und lässt sich Kafka Streaming mit einer Cocoon Pipeline kombin­ieren. Hier gibts Infos zu Cocoon

System­aufbau / Hierarchie

Im Kafka Universum wird die Welt wie folgt von abstrakt zu konkret herunter gebrochen:

* Cluster
* DataCenter
* Rack
* Instanz

Download the Kafka Notizen Cheat Sheet

1 Page
//media.cheatography.com/storage/thumb/funthomas424242_kafka-notizen.750.jpg

PDF (recommended)

Alternative Downloads

Share This Cheat Sheet!

 

Comments

No comments yet. Add yours below!

Add a Comment

Your Comment

Please enter your name.

    Please enter your email address

      Please enter your Comment.

          More Cheat Sheets by FunThomas424242

          Englisch - Zeitformen Cheat Sheet
          Praktische Java Libs Cheat Sheet