{"id":26780,"date":"2020-04-22T00:00:00","date_gmt":"2020-04-21T22:00:00","guid":{"rendered":"https:\/\/blexin.com\/?p=26780"},"modified":"2021-05-21T20:28:16","modified_gmt":"2021-05-21T18:28:16","slug":"la-metamorfosi-della-comunicazione-con-kafka","status":"publish","type":"post","link":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/","title":{"rendered":"\u201cLa Metamorfosi\u201d della comunicazione con Kafka"},"content":{"rendered":"\n
\"\"<\/figure>\n\n\n\n

Nei miei precedenti articoli, abbiamo visto come sia utile utilizzare tecnologie e soluzioni per la comunicazione come RabbitMQ<\/a> o un ESB (Enterprise Service Bus<\/em>) come Rebus<\/a>, siano essi on premise o cloud, per disaccoppiare la comunicazione nei sistemi software.<\/p>\n\n\n\n

Non molti anni fa, in Linkedin provarono ad utilizzare ActiveMQ<\/a> per tentare di risolvere un problema relativo all\u2019accesso in tempo reale a dati di monitoring e di tracciabilit\u00e0 delle attivit\u00e0 degli utenti, che, peraltro, presentavano anche delle correlazioni tra essi. La prova non and\u00f2 a buon fine, in quanto, con ActiveMQ<\/em>, non riuscivano a scalare per gestire l\u2019enorme quantit\u00e0 di traffico. Decisero, quindi, di sviluppare un sistema di messaggistica che prevedesse sia la persistenza dei messaggi, in modo da renderli fruibili a pi\u00f9 applicazioni, sia la possibilit\u00e0 di scalare orizzontalmente in modo da gestire una grossa quantit\u00e0 di dati. Infine decisero di dargli un nome di uno scrittore che suonasse bene e fu cos\u00ec che nacque Kafka <\/em>(Kafka: The Definitive Guide<\/a>).<\/p>\n\n\n\n

Concetti fondamentali<\/strong><\/h2>\n\n\n\n

Inizialmente, \u00e8 stato dunque creato come un \u201cdistributed publish\/subscribe messaging system\u201d fino ad evolversi in una piattaforma di streaming distribuita. Di base, avremo un Publisher<\/em> (Producer<\/em>) che pubblica messaggi su di un Broker<\/em> (Kafka Broker<\/em>) e un Subscriber<\/em> (Consumer<\/em>) che si sottoscrive ad essi.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Il messaggio<\/em> \u00e8 l\u2019unit\u00e0 di informazione che viaggia in Kafka e non \u00e8 altro che un array di byte che, opzionalmente, pu\u00f2 essere accompagnato da una key<\/em> utilizzata per gestire la scrittura del messaggio. In genere, per motivi di efficienza, in Kafka si preferisce trasmettere messaggi in batch<\/em>.<\/p>\n\n\n\n

Quando un broker riceve un messaggio da un producer, lo categorizza in un Topic<\/em>. Di fatto, il topic \u00e8 la rappresentazione effettiva dello stream<\/em> di dati che passa dal producer al consumer. I topic sono a loro volta suddivisi in partitions<\/em>. Una partizione \u00e8 una sequenza ordinata ed immutabile di messaggi che vengono immagazzinati uno dopo l\u2019altro e che pu\u00f2 essere letta solo nell\u2019ordine in cui sono stati scritti. Infatti, i messaggi non saranno ordinati all\u2019interno del topic ma lo saranno a livello di partizioni, assegnando ad ogni messaggio un id<\/em> univoco detto Offset<\/em>. Le partizioni, oltre a garantire l\u2019ordine dei messaggi, sono anche uno strumento di ridondanza e scalabilit\u00e0, in quanto possono essere replicati all\u2019interno di Kafka.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Infatti, l\u2019idea di base \u00e8 che un broker Kafka operi come parte di un Cluster<\/em> di broker eseguiti su uno o pi\u00f9 server. Un cluster ha il compito di ricevere i messaggi, salvarli nei topic per un retention period<\/em> configurabile e assegnare gli offset all\u2019interno delle partizioni. Le partizioni possono essere replicate all\u2019interno del cluster e per ogni partizione ci sar\u00e0 un solo broker che far\u00e0 da leader<\/em>, ovvero gestir\u00e0 i messaggi per quella partizioni, mentre gli altri broker, su cui la partizione \u00e8 replicata, agiranno da followers,<\/em> salvando copie in maniera passiva rispetto al leader. Questo \u00e8 molto importante, perch\u00e9 se il broker leader fallisce, uno dei followers pu\u00f2 essere eletto come tale e quindi permettere al cluster di funzionare correttamente.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Come ulteriore meccanismo di fault-tolerance,<\/em> uno dei broker all\u2019interno del cluster svolger\u00e0 il ruolo di controller<\/em> e si occuper\u00e0 di assegnare le partizioni agli altri broker e di vigilare sullo stato di salute dei componenti del cluster.<\/p>\n\n\n\n

Abbiamo detto che i messaggi sono pubblicati dai Producer<\/em>. Un Producer, oltre a creare lo stream di dati, ha la facolt\u00e0 di scegliere in quale partizione scrivere un determinato messaggio mediante un partitioner<\/em>. La scelta di solito \u00e8 basata sulla key del messaggio: se la chiave non \u00e8 specificata il partitioner sceglier\u00e0 la partizione secondo uno scheduling round-robin (RR)<\/em> per bilanciare il carico; altrimenti, se la chiave non \u00e8 nulla, il partitioner potr\u00e0 instradare i messaggi verso partizioni specifiche, ad esempio, facendo l\u2019hash della chiave in modo che i messaggi con lo stesso valore di hash siano scritti nella stessa partizione.<\/p>\n\n\n\n

Lo stream di messaggi sar\u00e0 consumato da quei software, i consumer<\/em>, che si sottoscrivono ad un determinato topic e ne prelevano i messaggi ordinati grazie all\u2019utilizzo dell\u2019offset di cui abbiamo parlato. Infatti, quando un consumer inizia a consumare i messaggi di una partizione, viene creato un topic particolare chiamato _consumer_offsets, <\/em>dove salva l\u2019offset dell\u2019ultimo messaggio consumato e mantiene quindi uno stato della sua lettura.<\/p>\n\n\n\n

Anche i consumer sono pensati per operare come parte di un un insieme, chiamato Consumer Group<\/em>. Un Consumer Group \u00e8 formato da uno o pi\u00f9 consumer che lavorano insieme per consumare in maniera pi\u00f9 efficiente i messaggi all\u2019interno di un topic dividendosi tra loro le partizioni in maniera equa. Infatti, se uno dei consumer del gruppo fallisce, la sua parte viene distribuita tra gli altri consumers. Oltre ad avere pi\u00f9 consumer all\u2019interno di un gruppo, si possono avere anche pi\u00f9 gruppi che consumano messaggi di un topic. Questo \u00e8 molto utile quando ci sono pi\u00f9 applicazioni interessate ai messaggi di un determinato topic.<\/p>\n\n\n\n

Il concetto di Consumer Group consente di generalizzare i vantaggi dei sistemi tradizionali di messaggistica: come in un sistema a coda \u00e8 possibile dividere il processamento tra vari consumer e ci\u00f2 viene fatto attraverso le varie istanze di consumer all\u2019interno del gruppo; come in un sistema publish\/subscribe i messaggi possono essere letti da pi\u00f9 Consumer Group.<\/p>\n\n\n\n

In questo modo, \u00e8 possibile garantire sia la scalabilit\u00e0 per l\u2019elaborazione sia l\u2019affidabilit\u00e0 per la consegna a pi\u00f9 User Group e quindi a pi\u00f9 applicazioni interessate. Inoltre, con il concetto di partizione, Kafka garantisce l\u2019ordine dei messaggi anche con pi\u00f9 consumer, a differenza di un sistema pi\u00f9 tradizionale come quello a coda, in cui i messaggi sono consegnati in maniera asincrona e quindi in presenza di pi\u00f9 consumer non \u00e8 possibile garantire l\u2019ordinamento.<\/p>\n\n\n\n

Facciamo un esempio<\/strong><\/h2>\n\n\n\n

Introdotti tutti i concetti chiave di Kafka, vediamo un esempio di publish\/subscribe realizzato in .NET Core<\/em>. Per il server kafka, utilizzeremo un\u2019 immagine istanziata su un container Docker<\/em>.<\/p>\n\n\n\n

Per fare in modo che un server kafka funzioni correttamente, dobbiamo innanzitutto assicurarci che sia collegato ad un\u2019istanza Zookeeper<\/em>. Zookeeper \u00e8 un servizio centralizzato che gestisce le configurazioni e la sincronizzazioni in applicazioni distribuite. Kafka utilizza Zookeeper per salvare metadati relativi ai broker, ai topics e alle partizioni.<\/p>\n\n\n\n

Quindi creiamo un container docker per Zookeeper lanciando il seguente comando da terminale dove andiamo a specificare la porta ed un server id<\/em>:<\/p>\n\n\n

\ndocker run --net=kafka \\\n-d \\\n--name=zookeeper \\\n-e ZOOKEEPER_CLIENT_PORT=2181 \\\n-e ZOOKEEPER_SERVER_ID=1 \\\nconfluentinc\/cp-zookeeper:5.4.1\n<\/pre><\/div>\n\n\n
Successivamente, creiamo il container per il server Kafka specificando l\u2019indirizzo di Zookeeper, un indirizzo dove raggiungere Kafka al di fuori del container e il valore di replicazione dei topic da specificare in caso di cluster single-node:<\/p>\n\n\n
\ndocker run --net=kafka \\\n-d \\\n-p 9092:9092 \\\n--name=kafka \\\n-e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \\\n-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT:\/\/localhost:9092 \\\n-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \\\nconfluentinc\/cp-kafka:5.4.\n<\/pre><\/div>\n\n\n
Creiamo un topic con tre partizioni con il seguente comando:<\/p>\n\n\n
\ndocker exec -it kafka kafka-topics --bootstrap-server localhost:9092 --create --topic demo-topic --partitions 3\n<\/pre><\/div>\n\n\n
per vedere il risultato utilizziamo invece:<\/p>\n\n\n
\ndocker exec -it kafka kafka-topics --describe --bootstrap-server localhost:9092\n<\/pre><\/div>\n\n\n
\"\"<\/figure>\n\n\n\n
Una volta creato il topic, realizziamo una console application<\/em> che svolger\u00e0 il compito di Producer<\/em>. Utilizzeremo il client<\/em> di Kafka per .NET ,Confluent.Kafka,<\/em> messo a disposizione da Confluent<\/a>.<\/p>\n\n\n
\nusing System;\nusing System.Threading.Tasks;\nusing Confluent.Kafka;\n\u00a0\nnamespace Kafka.Producer\n{\n\u00a0\u00a0\u00a0\u00a0class Program\n\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0static async Task Main(string[] args)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0var config = new ProducerConfig { BootstrapServers = "localhost:9092", Partitioner = Partitioner.Random };\n\u00a0\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0using (var producer = new ProducerBuilder<Null, string>(config).Build())\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0try\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0for (int i = 0; i < 5; i++)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0var deliveryResult = await producer.ProduceAsync("demo-topic", new Message<Null, string> { Value = $"DemoMessage '{i}'" });\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0Console.WriteLine($"Published message to '{deliveryResult.TopicPartitionOffset}'");\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0catch (ProduceException<Null, string> e)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0Console.WriteLine($"Error publishing message: {e.Error.Reason}");\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0}\n}\n<\/pre><\/div>\n\n\n
Configuriamo il Producer indicando l\u2019indirizzo del server Kafka ed il tipo di Partitioner (in questo caso Random<\/em> attuer\u00e0 uno scheduling RR<\/em> ). Creiamo quindi un Producer mediante il ProducerBuilder<\/em> con chiave nulla, avendo scelto un partitioner non basato su chiave.<\/p>\n\n\n\n
Tramite il metodo ProduceAsync<\/em>() inviamo i messaggi su \u201cdemo-topic\u201d e stampiamo in console il risultato della scrittura, in modo da visualizzare in quale partizione e in quale offset sono stati salvati i messaggi.<\/p>\n\n\n\n
Eseguendo il programma otteniamo il seguente risultato :<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Con il comando seguente andiamo ad utilizzare il console consumer di Kafka, un tool che legge i messaggi all\u2019interno del topic e li riporta sulla console:<\/p>\n\n\n
\ndocker exec -it kafka kafka-console-consumer --bootstrap-server localhost:9092 --topic demo-topic --from-beginning\n<\/pre><\/div>\n\n\n
\"\"<\/figure>\n\n\n\n
Come possiamo vedere, i messaggi non sono mostrati in ordine perch\u00e9, come abbiamo detto, l\u2019ordine \u00e8 a livello di partizione, non di topic. Possiamo vedere ci\u00f2 con il seguente comando relativo alla partizione 2:<\/p>\n\n\n
\ndocker exec -it kafka kafka-console-consumer --bootstrap-server localhost:9092 --topic demo-topic --from-beginning --partition 2\n<\/pre><\/div>\n\n\n
\"\"<\/figure>\n\n\n\n
Come possiamo vedere risultano ordinati. Creiamo adesso l\u2019applicazione consumer:<\/p>\n\n\n
\nusing System;\nusing Confluent.Kafka;\n\u00a0\nclass Program\n{\n\u00a0\u00a0\u00a0\u00a0public static void Main(string[] args)\n\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0var conf = new ConsumerConfig\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0GroupId = "demo-consumer-group",\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0BootstrapServers = "localhost:9092",\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0AutoOffsetReset = AutoOffsetReset.Earliest\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0};\n\u00a0\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0using (var consumer = new ConsumerBuilder<Ignore, string>(conf).Build())\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0consumer.Subscribe("demo-topic");\n\u00a0\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0var readingMessage = true;\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0try\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0while (readingMessage)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0try\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0var consumeResult = consumer.Consume(10000);\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0if (consumeResult == null)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0Console.WriteLine("There are no messages in topic");\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0readingMessage = false;\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0else\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0Console.WriteLine($"Consumed message '{consumeResult.Message.Value}' at: '{consumeResult.TopicPartitionOffset}'.");\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0catch (ConsumeException e)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0Console.WriteLine($"Error occured: {e.Error.Reason}");\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0catch (OperationCanceledException)\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0{\n\u00a0\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0consumer.Close();\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\n\u00a0\u00a0\u00a0\u00a0}\n}\n<\/pre><\/div>\n\n\n
Configuriamo il consumer indicando il Consumer Group, l’indirizzo del server Kafka e specificando quale azione intraprendere quando non c\u2019\u00e8 nessun offset iniziale. Creiamo il consumer e sottoscriviamolo al nostro topic, poi iniziamo la lettura del topic fino al timeout<\/em> specificato tramite il metodo Consume<\/em>. Stampiamo il risultato della lettura in console e infine con il metodo Close<\/em> committiamo gli offset su Kafka, avvertendo che il consumer sta lasciando il gruppo.<\/p>\n\n\n\n
Eseguendo il Consumer possiamo vedere che tutti i messaggi pubblicati sono stati consumati correttamente.<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
L\u2019ecosistema Kafka<\/strong><\/p>\n\n\n\n
Questa \u00e8 solo una panoramica sulle funzionalit\u00e0 core di Kafka, che negli anni \u00e8 diventato un vero e proprio ecosistema. Infatti, oltre allo scambio di messaggi, tra producer e consumer esistono due ulteriori feature: Kafka Connect e Kafka Stream<\/em>.<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
La prima \u00e8 un framework per il trasferimento di dati di sistemi eterogenei attraverso Kafka che mette a disposizione delle API ben definite per implementare dei cosiddetti connectors<\/em>. Si pensi alla variazione del campo di una tabella di un database notificata tramite Kafka: ci\u00f2 \u00e8 possibile mediante un connettore del database verso Kafka.<\/p>\n\n\n\n
La seconda feature, invece, \u00e8 una libreria per la creazione di applicazioni di streaming, ovvero applicazioni che trasformano topic di input di Kafka in topic di output.<\/p>\n\n\n\n
Conclusioni<\/strong><\/h2>\n\n\n\n
Sperando che questa introduzione sia stata interessante per entrare nell\u2019ecosistema Kafka, vi lascio il link del repository<\/a> dove potete trovare l\u2019implementazione del producer e del consumer, nonch\u00e9 i comandi per creare i container per Kafka e Zookeeper.<\/p>\n\n\n\n
Alla prossima!<\/p>\n\n\n\n\n","protected":false},"excerpt":{"rendered":"
Andiamo alla scoperta di Kafka introducendo i concetti fondamentali e mostrando un esempio in .NET Core<\/p>\n","protected":false},"author":196716251,"featured_media":26782,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"off","_et_pb_old_content":"","_et_gb_content_width":"","_coblocks_attr":"","_coblocks_dimensions":"","_coblocks_responsive_height":"","_coblocks_accordion_ie_support":"","inline_featured_image":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_wpcom_ai_launchpad_first_post":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"{title}\n\n{excerpt}\n\n{url}","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"_wpas_customize_per_network":false,"jetpack_post_was_ever_published":false},"categories":[688637374],"tags":[688637541,688637545,688637437,688637536],"class_list":["post-26780","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog","tag-dotnetcore","tag-docker","tag-kafka","tag-swdesign"],"yoast_head":"\n\u201cLa Metamorfosi\u201d della comunicazione con Kafka - Blexin<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"\u201cLa Metamorfosi\u201d della comunicazione con Kafka - Blexin\" \/>\n<meta property=\"og:description\" content=\"Andiamo alla scoperta di Kafka introducendo i concetti fondamentali e mostrando un esempio in .NET Core\" \/>\n<meta property=\"og:url\" content=\"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/\" \/>\n<meta property=\"og:site_name\" content=\"Blexin\" \/>\n<meta property=\"article:published_time\" content=\"2020-04-21T22:00:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2021-05-21T18:28:16+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/i1.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"608\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Genny Paudice\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Genny Paudice\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/\"},\"author\":{\"name\":\"Genny Paudice\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/#\\\/schema\\\/person\\\/ae0e97a3ebb79d2f73e4411c1eb28973\"},\"headline\":\"\u201cLa Metamorfosi\u201d della comunicazione con Kafka\",\"datePublished\":\"2020-04-21T22:00:00+00:00\",\"dateModified\":\"2021-05-21T18:28:16+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/\"},\"wordCount\":1596,\"image\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/i0.wp.com\\\/blexin.com\\\/wp-content\\\/uploads\\\/2020\\\/12\\\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1\",\"keywords\":[\".NetCore\",\"Docker\",\"Kafka\",\"softwaredesign\"],\"articleSection\":[\"Blog\"],\"inLanguage\":\"it-IT\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/\",\"url\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/\",\"name\":\"\u201cLa Metamorfosi\u201d della comunicazione con Kafka - Blexin\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/i0.wp.com\\\/blexin.com\\\/wp-content\\\/uploads\\\/2020\\\/12\\\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1\",\"datePublished\":\"2020-04-21T22:00:00+00:00\",\"dateModified\":\"2021-05-21T18:28:16+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/#\\\/schema\\\/person\\\/ae0e97a3ebb79d2f73e4411c1eb28973\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#breadcrumb\"},\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#primaryimage\",\"url\":\"https:\\\/\\\/i0.wp.com\\\/blexin.com\\\/wp-content\\\/uploads\\\/2020\\\/12\\\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1\",\"contentUrl\":\"https:\\\/\\\/i0.wp.com\\\/blexin.com\\\/wp-content\\\/uploads\\\/2020\\\/12\\\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1\",\"width\":1024,\"height\":608},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/blog\\\/la-metamorfosi-della-comunicazione-con-kafka\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/blexin.com\\\/it\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"\u201cLa Metamorfosi\u201d della comunicazione con Kafka\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/#website\",\"url\":\"https:\\\/\\\/blexin.com\\\/it\\\/\",\"name\":\"Blexin\",\"description\":\"Con noi \u00e8 semplice\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/blexin.com\\\/it\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/blexin.com\\\/it\\\/#\\\/schema\\\/person\\\/ae0e97a3ebb79d2f73e4411c1eb28973\",\"name\":\"Genny Paudice\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3093a6ee7b7f555e94e4a5d6f19cb09f3af33635007643b2076eb89329789828?s=96&d=identicon&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3093a6ee7b7f555e94e4a5d6f19cb09f3af33635007643b2076eb89329789828?s=96&d=identicon&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/3093a6ee7b7f555e94e4a5d6f19cb09f3af33635007643b2076eb89329789828?s=96&d=identicon&r=g\",\"caption\":\"Genny Paudice\"},\"url\":\"https:\\\/\\\/blexin.com\\\/it\\\/author\\\/genny-paudiceblexin-com\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"\u201cLa Metamorfosi\u201d della comunicazione con Kafka - Blexin","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/","og_locale":"it_IT","og_type":"article","og_title":"\u201cLa Metamorfosi\u201d della comunicazione con Kafka - Blexin","og_description":"Andiamo alla scoperta di Kafka introducendo i concetti fondamentali e mostrando un esempio in .NET Core","og_url":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/","og_site_name":"Blexin","article_published_time":"2020-04-21T22:00:00+00:00","article_modified_time":"2021-05-21T18:28:16+00:00","og_image":[{"width":1024,"height":608,"url":"https:\/\/i1.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608","type":"image\/png"}],"author":"Genny Paudice","twitter_card":"summary_large_image","twitter_misc":{"Scritto da":"Genny Paudice","Tempo di lettura stimato":"9 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#article","isPartOf":{"@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/"},"author":{"name":"Genny Paudice","@id":"https:\/\/blexin.com\/it\/#\/schema\/person\/ae0e97a3ebb79d2f73e4411c1eb28973"},"headline":"\u201cLa Metamorfosi\u201d della comunicazione con Kafka","datePublished":"2020-04-21T22:00:00+00:00","dateModified":"2021-05-21T18:28:16+00:00","mainEntityOfPage":{"@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/"},"wordCount":1596,"image":{"@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#primaryimage"},"thumbnailUrl":"https:\/\/i0.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1","keywords":[".NetCore","Docker","Kafka","softwaredesign"],"articleSection":["Blog"],"inLanguage":"it-IT"},{"@type":"WebPage","@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/","url":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/","name":"\u201cLa Metamorfosi\u201d della comunicazione con Kafka - Blexin","isPartOf":{"@id":"https:\/\/blexin.com\/it\/#website"},"primaryImageOfPage":{"@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#primaryimage"},"image":{"@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#primaryimage"},"thumbnailUrl":"https:\/\/i0.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1","datePublished":"2020-04-21T22:00:00+00:00","dateModified":"2021-05-21T18:28:16+00:00","author":{"@id":"https:\/\/blexin.com\/it\/#\/schema\/person\/ae0e97a3ebb79d2f73e4411c1eb28973"},"breadcrumb":{"@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/"]}]},{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#primaryimage","url":"https:\/\/i0.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1","contentUrl":"https:\/\/i0.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1","width":1024,"height":608},{"@type":"BreadcrumbList","@id":"https:\/\/blexin.com\/it\/blog\/la-metamorfosi-della-comunicazione-con-kafka\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/blexin.com\/it\/"},{"@type":"ListItem","position":2,"name":"\u201cLa Metamorfosi\u201d della comunicazione con Kafka"}]},{"@type":"WebSite","@id":"https:\/\/blexin.com\/it\/#website","url":"https:\/\/blexin.com\/it\/","name":"Blexin","description":"Con noi \u00e8 semplice","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/blexin.com\/it\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"it-IT"},{"@type":"Person","@id":"https:\/\/blexin.com\/it\/#\/schema\/person\/ae0e97a3ebb79d2f73e4411c1eb28973","name":"Genny Paudice","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/secure.gravatar.com\/avatar\/3093a6ee7b7f555e94e4a5d6f19cb09f3af33635007643b2076eb89329789828?s=96&d=identicon&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/3093a6ee7b7f555e94e4a5d6f19cb09f3af33635007643b2076eb89329789828?s=96&d=identicon&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/3093a6ee7b7f555e94e4a5d6f19cb09f3af33635007643b2076eb89329789828?s=96&d=identicon&r=g","caption":"Genny Paudice"},"url":"https:\/\/blexin.com\/it\/author\/genny-paudiceblexin-com\/"}]}},"jetpack_publicize_connections":[],"jetpack_shortlink":"https:\/\/wp.me\/pcyUBx-6XW","jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/i0.wp.com\/blexin.com\/wp-content\/uploads\/2020\/12\/a02436f4-6edd-4491-856a-c1985e9aa754.png?fit=1024%2C608&ssl=1","_links":{"self":[{"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/posts\/26780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/users\/196716251"}],"replies":[{"embeddable":true,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/comments?post=26780"}],"version-history":[{"count":11,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/posts\/26780\/revisions"}],"predecessor-version":[{"id":27793,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/posts\/26780\/revisions\/27793"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/media\/26782"}],"wp:attachment":[{"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/media?parent=26780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/categories?post=26780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blexin.com\/it\/wp-json\/wp\/v2\/tags?post=26780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}