Kafka的成长正在蹦沙卡拉卡!
在《财富》 500强公司中,超过三分之一的公司使用Kafka。这些公司包括排名前十的旅行社,排名前十的银行中有七个,排名前十的保险公司中有八个,排名前十的电信公司中有九个,等等。LinkedIn,Microsoft和Netflix每天使用Kafka(1,000,000,000,000)处理消息。国内腾讯、阿里、特别是支付宝等,都大量在用。
Kafka用于实时数据流,收集大数据或进行实时分析。Kafka与内存中的微服务一起使用,提供持久性,并且可以将事件馈送到CEP(复杂事件流系统)和IoT / IFTTT风格的自动化系统。
为什么选择Kafka?
Kafka通常用于实时流数据架构中以提供实时分析。由于Kafka是一种快速,可伸缩,持久且具有容错能力的发布系统,因此Kafka用于JMS、RabbitMQ和AMQP的用例中。
Kafka具有更高的吞吐量,可靠性和复制特性,这使其可用于跟踪服务呼叫或跟踪可能不考虑传统MOM的IoT传感器数据之类的事。
Kafka可以与Flume / Flafka,Spark Streaming,Storm,HBase,Flink和Spark一起使用,以实时提取,分析和处理流数据。也是用于送Hadoop BigData的数据流。同时它还代理支持大量消息流,以便在Hadoop或Spark中进行低延迟的后续分析。此外,Kafka Streams(一个子项目)也可以用于实时分析。
Kafka用例
简而言之,Kafka用于流处理,网站活动跟踪,指标收集和监视,日志聚合,实时分析,CEP,将数据摄取到Spark中,将数据摄取到Hadoop,CQRS,重播消息,错误恢复和有保证的分布式提交用于内存计算(微服务)的日志。
谁使用Kafka?
许多处理大量数据的大公司都使用Kafka。起源于LinkedIn的LinkedIn用来跟踪活动数据和运营指标。Twitter将其用作Storm的一部分,以提供流处理基础结构。Square使用Kafka作为总线,将所有系统事件移至各个Square数据中心(日志,自定义事件,指标等),向Splunk输出,用于Graphite(仪表板),并实现类似Esper/CEP警报系统。
