Creemos que una plataforma de transmisión tiene tres capacidades clave
Le permite publicar y suscribirse a flujos de registros. En este sentido, es similar a una cola de mensajes o un sistema de mensajería empresarial.
Le permite almacenar flujos de registros de manera tolerante a fallas.
Le permite procesar flujos de registros a medida que ocurren.
¿Para qué sirve Apache Kafka?
Se utiliza para dos amplias clases de aplicaciones:
- Crear canalizaciones de datos de transmisión en tiempo real que obtengan datos de manera confiable entre sistemas o aplicaciones
- Creación de aplicaciones de transmisión en tiempo real que se transforman o reaccionan a las corrientes de datos
- Para comprender cómo Kafka hace estas cosas, profundicemos y exploremos las capacidades de Kafka de abajo hacia arriba.
Primero algunos conceptos:
- Kafka se ejecuta como un clúster en uno o más servidores.
- El clúster de Kafka almacena flujos de registros en categorías denominadas temas .
- Cada registro consta de una clave, un valor y una marca de tiempo.
Kafka tiene cuatro API principales:
- La API Productor permite que una aplicación para publicar un flujo de registros a uno o más temas Kafka.
- La API del consumidor permite que una aplicación se suscriba a uno o más temas y procese el flujo de registros que se les genera.
- La API de Streams permite que una aplicación actúe como un procesador de flujo , consumiendo un flujo de entrada de uno o más temas y produciendo un flujo de salida a uno o más temas de salida, transformando efectivamente los flujos de entrada en flujos de salida.
- La API del conector permite crear y ejecutar productores o consumidores reutilizables que conectan temas de Kafka con aplicaciones o sistemas de datos existentes. Por ejemplo, un conector a una base de datos relacional puede capturar todos los cambios en una tabla.
- En Kafka, la comunicación entre los clientes y los servidores se realiza con un protocolo TCP simple, de alto rendimiento e independiente del lenguaje . Este protocolo está versionado y mantiene la compatibilidad con versiones anteriores. Proporcionamos un cliente Java para Kafka, pero los clientes están disponibles en muchos idiomas .
Registro de cambios v2.7
[ KAFKA-9893 ]: tiempo de espera de conexión TCP configurable y mejora de la recuperación inicial de metadatos
[ KAFKA-9915 ] - Acelerar las operaciones de creación de tema, creación de partición y eliminación de tema
[ KAFKA-10054 ] - Agregar métricas de latencia de extremo a extremo a nivel de TRACE a las transmisiones
[ KAFKA-10259 ] - KIP-554: Agregar API de configuración SCRAM del lado del agente
[ KAFKA-10338 ]: admite el formato PEM para certificados SSL y clave privada
Descargar Apache Kafka 2.7 sistema de suscripcion de mensajeria distribuida
Gracias por visitar este sitio, espero que te haya gustado y vuelvas proximamente, compartela en las redes sociales, gracias
