@jeqo

Presentado al Perú JUG

Una de las características más importantes de Apache Kafka es el manejo de múltiples consumidores. Cada consumer group tiene un offset, que determina hasta que punto del topic se encuentra consumido por consumer group. Así, cada consumer group puede manejar los offset independientemente, por partición. Esto ofrece la posibilidad de retroceder en el tiempo y reprocesar mensaje desde el inicio de un topic y regenerar el estado actual del sistema. Pero, cómo realizar esto de forma programática?

En este post mostraré como utilizar contenedores Docker para crear y escalar un clúster de Kafka, y también como crear, escalar y mover topics dentro del clúster.

Hace poco decidi probar una rápida implementación entre aplicaciones Java EE y RxJava/Kafka/Avro, para publicar/subscribirse a “topic messages”. Puedes ir directamente al código, o revisar el enfoque que apliqué:  TL;DR He estado realizando alguna pruebas de concepto con Kafka seducido por los beneficios que propone (rapidez, escalabilidad, y funcionar como una fuente de eventos durable) para implementar una propagación de eventos usando el patrón “Publish/Subscribe”. En estos momentos que estoy escribiendo esta entrada del blog, me he dado cuenta que las APIs para acceder a Kafka están en constante evolución y volviéndose más simples de utilizar, y no ha sido fácil encontrar un ejemplo con la versión actual.