后台-系统设置-扩展变量-手机广告位-首页/栏目头部广告位

Kafka消息队列

Kafka两级调度实现分布式协调微服务任务分配Golang版

Kafka消息队列
Jul 16,2019

Kafka内部为了协调内部的consumer和kafka connector的工作实现了一个复制协议, 主要工作分为两个步骤:

Kafka凭什么速度那么快?

Kafka消息队列
Jul 16,2019

Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。

Kafka压缩详解(初稿)

Kafka消息队列
Jul 16,2019

Kafka压缩 概括 需要理解kafka压缩则需要理解Kafka的存储格式. Kafka存储格式 RecordBatch {代码...} Record {代码...} Record Header {代码...} Note: 图片来源.推荐阅读该文章来更好的了解Kafka消息格式演变过...

python3连接kafka模块pykafka生产者简单封装

Kafka消息队列
Jul 16,2019

1.1安装模块 {代码...} 1.2基本使用 {代码...} 1.3简单封装 {代码...} 1.4引用来源 博客园:Python测试Kafka集群(pykafka) 知乎:使用生成器把Kafka写入效率提高1000倍

极客时间《Kafka核心技术与实战》返现 + 脑图 + 送学习笔记

Kafka消息队列
Jul 16,2019

关注有课学微信公众号,回复暗号 kafka 获取购买《Kafka核心技术与实战》极客时间专栏地址,购买成功后提交购买截图即可获得返现,另外送 《Kafka核心技术与实战》专栏学习笔记,待课程更新完成送统一通过微信公...

开源一个kafka增强:okmq-1.0.0

Kafka消息队列
Jul 16,2019

mq是个好东西,我们都在用。这也决定了mq应该是高高高可用的。某团就因为这个组件,出了好几次生产事故,呵呵。

kafka

Kafka消息队列
Jul 16,2019

topic是发布记录的类别或订阅源名称。 Kafka的topic总是多用户; 也就是说,一个主题可以有零个,一个或多个消费者订阅写入它的数据。

大数据系列——kafka学习笔记

Kafka消息队列
Jul 16,2019

1. 大数据领域数据类型 1.1 有界数据 ​ 一般批处理(一个文件 或者一批文件),不管文件多大,都是可以度量 ​ mapreduce hive sparkcore sparksql 1.2 无界数据 ​ 源源不断的流水一样 (流数据) ​ Storm SparkStreami...

多维度对比5款主流分布式MQ消息队列,妈妈再也不担心我的技术选型了

Kafka消息队列
Jul 16,2019

对于即时通讯系统(包括IM、消息推送系统等)来说,MQ消息中件间是非常常见的基础软件,但市面上种类众多、各有所长的MQ消息中件间产品,该怎么去选择?这是个问题!

kafka常用命令

Kafka消息队列
Jul 16,2019

./kafka-server-stop.sh {代码...}

Kafka集群部署指南

Kafka消息队列
Jul 16,2019

Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Ela...

大数据学习路线

Kafka消息队列
Jul 16,2019

上图是一个简化的大数据处理流程图,大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解:

KafKa集群部署手册

Kafka消息队列
Jul 16,2019

Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Prod...

SpringBoot + KafKa集群的集成

Kafka消息队列
Jul 16,2019

本文主要讲在springboot2中,如何通过自定义的配置来集成,并可以比较好的扩展性,同时集成多个kafka集群

深入理解Apache Kafka

Kafka消息队列
Jul 16,2019

Kafka由LinkedIn公司于2011年推出,自那时起功能逐步迭代,目前演变成一个完整的平台级产品,它允许您冗余地存储巨大的数据量,拥有一个具有巨大吞吐量(数百万/秒)的消息总线,并且支持实时流任务处理。总的来...

Kafka原理你真的知道吗?

Kafka消息队列
Jul 16,2019

Apache Kafka最早是由LinkedIn开源出来的分布式消息系统,现在是Apache旗下的一个子项目,并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始,Kafka的标语已经从“一个高吞吐量,分...

推荐学习PHP,Redis,MySQL,Kafka,Go,Javascript的几个教程

Kafka消息队列
Jul 16,2019

Redis 小册作者是老钱,业界大佬Mysql 的作者辞职一年写的小册,内容非常详细,质量极高,物超所值。Kafka 的作者是美团的大佬,实战经验丰富,三个都非常推荐

Apache Kafka

Kafka消息队列
Jul 16,2019

Apache Kafka is an open source, distributed publish-subscribe messaging system,and its main characters include:

kafka介绍

Kafka消息队列
Jul 16,2019

同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。

Kafka - Zookeeper/Kafka集群的部署

Kafka消息队列
Jul 16,2019

zookeeper 集群使用 Raft 选举模式,故至少要三个节点(生产中应部署在三个不同的服务器实例上,这里用于演示就不那么做了)。

Kafka - PHP 使用 Rdkafka 生产/消费数据

Kafka消息队列
Jul 16,2019

Kafka集群部署 安装rdkafka rdkafka 依赖 libkafka {代码...} [链接] 可以参阅支持的kafka客户端版本 生产者 连接集群,创建 topic,生产数据。 {代码...} 消费者-HighLevel 自动分配partition,rebalance,comsu...

使用多线程增加kafka消费能力

Kafka消息队列
Jul 16,2019

kafka通过一系列优化,写入和读取速度能够达到数万条/秒。通过增加分区数量,能够通过部署多个消费者增加并行消费能力。但还是有很多情况下,某些业务的执行速度实在是太慢,这个时候我们就要用到多线程去消费,...

Burrow 使用记录

Kafka消息队列
Jul 16,2019

Burrow是linkedin开源的一个监控Apache Kafka的工具,burrow可以将消费者滞后检查作为一项服务来对外提供。 它监视所有消费者的承诺偏移量,并根据需要计算消费者的状态,提供HTTP endpoint接口来获取消费者状态...

EFK接入kafka消息队列

Kafka消息队列
Jul 16,2019

在笔者最开始维护的日志服务中,日质量较小,没有接入kafka。随着业务规模扩增,日质量不断增长,接入到日志服务的产品线不断增多,遇到流量高峰,写入到es的性能就会降低,cpu打满,随时都有集群宕机的风险。因...

Kafka 日志存储

Kafka消息队列
Jul 16,2019

在进行详解之前,我想先声明一下,本次我们进行讲解说明的是 Kafka 消息存储的信息文件内容,不是所谓的 Kafka 服务器运行产生的日志文件,这一点希望大家清楚。

推荐文章

热门标签

    热门文章 最新文章 文章云

站内导航

全站搜索