三分钟快速掌握Kafka入门知识（kafka教程视频）

Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目，由Scala写成。Kafka最初是由LinkedIn开发，并于2011年初开源。

该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。

日前，Apache Kafka 2.0.0 正式发布，超过30%的世界500强公司已经在使用Kafka。

Kafka的特性：

（1）高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作；

（2）可扩展性：kafka集群支持热扩展；

（3）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失；

（4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）；

（5）高并发：支持数千个客户端同时读写；

（6）支持实时在线处理和离线处理：可以使用Storm这种实时流处理系统对消息进行实时进行处理，同时还可以使用Hadoop这种批处理系统进行离线处理；

Kafka的使用场景：

（1）日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。

（2） 消息系统：解耦和生产者和消费者、缓存消息等。

（3）用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。

（4） 运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。

（5）流式处理：比如spark streaming和storm

（6）事件源

Kafka的基本配置和运行：

Kafka支持Linux和WIndows环境，本文运行环境使用Linux（CentOS）。

Kafka官方地址为：https://kafka.apache.org

Kafka官方文档非常的详细，提供的快速入门也很友好，虽然是英文的，但是看命令就能明白，快速入门地址为：https://kafka.apache.org/quickstart。下面内容基本摘自官方快速入门，建议对比英文原版了解更多。

1. 下载代码

首先从下面地址下载 Kafka，当前最新的版本为 2.0.0。

https://kafka.apache.org/downloads

下载完成后，解压压缩包并进入Kafka目录：

2. 启动服务器

• 启动ZooKeeper

Kafka使用ZooKeeper，所以您需要先启动一个ZooKeeper服务器，如果您还没有。您可以使用随Kafka一起打包的便捷脚本来获取一个快速但是比较粗糙的单节点ZooKeeper实例。

这个 zookeeper中主要就3个配置：

我们需要记住zookeeper的端口 2181，在后面会用到。

• Kafka基本配置

Kafka在config目录下提供了一个基本的配置文件。为了保证可以远程访问Kafka，我们需要修改两处配置。

打开config/server.properties文件，在很靠前的位置有listeners和 advertised.listeners两处配置的注释，去掉这两个注释，并且根据当前服务器的IP修改如下：

当前服务器IP为192.168.16.150，你需要修改为外网或局域网可以访问到的服务器IP。

• 启动Kafka

接下来启动Kafka服务：

• 创建 Topic

使用下面的命令创建 Topic。

除了命令方式外，使用后面介绍的Kafka-manager可以更方便的创建。

• 启动一个消费者

在一个新的终端执行下面的命令。

这个消费者就是简单的将消息输出到控制台。

• 启动生产者

启动后，可以输入内容，然后回车。

此时你应该可以在上一个消费者中看到有消息输出。

到此关于Kafka的基本命令就结束了。

对编程感兴趣，想了解更多的编程知识，关注头条号一起玩转编程

更多编程资讯、干货持续更新中~