书签栏
一、官方网址
- 官网：https://kafka.apache.org
- 工具名称：Apache Kafka
二、核心功能
- 高吞吐消息管道：发布订阅模型支持每秒百万级消息，持久化存储保证数据不丢。
- Kafka Connect：标准化连接器框架，实现数据库、文件、搜索等系统的实时进出同步。
- Kafka Streams：流处理客户端库，支持过滤、转换、聚合、关联等实时清洗逻辑。
- 分布式高可用：分区副本机制保障容错，可水平扩展至数千节点集群。
- 生态丰富：与 Flink、Spark、ksqlDB 等流处理生态无缝衔接。
三、适用场景
- 实时日志与事件数据的采集分发
- 系统间解耦的实时数据同步管道
- 实时数仓的流式清洗与宽表构建
四、使用优势
- 吞吐与延迟表现业界顶尖
- 社区活跃，几乎所有公司都在使用
- Exactly-once 语义保证数据准确性
五、注意事项
- 本身是管道而非完整 ETL 工具，需搭配处理引擎
- 集群运维有门槛，小团队可考虑云托管版本