Kafka详解
一、Kafka介绍
1、简介
Kafka是一种分布式流处理平台,最初由Linkedln开发,现在是Apache基金会的一部分。它的核心功能主要包括消息队列、流处理和数据集成。Kafka以高吞吐 量、低延迟、可扩展和高容错性著称。kafka官网
Kafka的主要应用场景有:
1)消息队列:用作高吞吐量的消息系统,将消息从一个系统传递另一个系统。
2)日志收集:集中收集日志数据,然后通过Kafka传递到实时监控系统或存储系统。
3)流计算:处理实时数据流,将数据传递给实时计算系统,如Apache Storm或Apache Flink.
4)事件溯源:记录事件发生的历史,以便稍后进行数据回溯或重亲处理。
5)Metrics收集和监控:收集来自不同服务的监控指标,统一存储和处理。
6)数据集成:在不同的数据存储系统之间传递和同步数据。