文章库ARTICLE COLUMN

  • 设计一个百万级的消息推送系统

    设计一个百万级的消息推送系统

    摘要:所以本次分享的内容不但可以满足物联网领域同时还支持以下场景基于的聊天系统点对点群聊。基于的消息推送平台。因此我觉得最好是在满足业务需求的情况下定制自己的私有协议,在我这个场景下其实有标准的物联网协议。 showImg("https://segmentfault.co...

    RindiaRindia 评论0 收藏0
  • Kafka两级调度实现分布式协调微服务任务分配Golang版

    Kafka两级调度实现分布式协调微服务任务分配Golang版

    摘要:背景基于消息队列的两级协调调度架构内部为了协调内部的和的工作实现了一个复制协议,主要工作分为两个步骤通过或获取自身的等元数据信息,交给的完成选举节点获取到存储的和信息,来进行二级分配,实现结合具体业务的负载均衡分配从功能实现上两级调度...

    Loong_TLoong_T 评论0 收藏0
  • Kafka凭什么速度那么快?

    Kafka凭什么速度那么快?

    摘要:后面简称也被翻译成内存映射文件,在位操作系统中一般可以表示的数据文件,它的工作原理是直接利用操作系统的来实现文件到物理内存的直接映射。完成映射之后你对物理内存的操作会被同步到硬盘上操作系统在适当的时候。 showImg("https://segmentfault....

    CloudDeveloperCloudDeveloper 评论0 收藏0
  • Kafka压缩详解(初稿)

    Kafka压缩详解(初稿)

    摘要:压缩概括需要理解压缩则需要理解的存储格式存储格式图片来源推荐阅读该文章来更好的了解消息格式演变过程消息比较用可视化的方式分析变长弃用变长变长变长变长变长开启消息压缩上面是未压缩的数据结论消息压缩只是针对部分 Kafka压缩 概括 需要理解kaf...

    wall2flowerwall2flower 评论0 收藏0
  • python3连接kafka模块pykafka生产者简单封装

    python3连接kafka模块pykafka生产者简单封装

    摘要:安装模块基本使用生产者简单封装初始化实例连接地址设置获取当前所有获取当前生产者对象发送数据需要传入的可迭代对象连接切换设置新的获取当前设置的获取所有要发送的可迭代对象引用来源博客园测试集群知乎使用生成器把写入效率提高倍 1.1安装模块 pi...

    BrennerBrenner 评论0 收藏0
  • 极客时间《Kafka核心技术与实战》返现 + 脑图 + 送学习笔记

    极客时间《Kafka核心技术与实战》返现 + 脑图 + 送学习笔记

    摘要:作者胡夕人人贷计算平台部总监,将在这篇专栏中一步一步的教你填平这些坑,全面提升你的实战能力搭配掘金小册图解之核心原理学习效果更佳哦送学习笔记 showImg("https://segmentfault.com/img/bVbsg9O?w=258&h=258");关注有课学微信公众号,回复暗号 k...

    notebinnotebin 评论0 收藏0
  • 开源一个kafka增强:okmq-1.0.0

    开源一个kafka增强:okmq-1.0.0

    摘要:只有两个基础组件同时死亡,才会受到严重影响。的意外死亡,造成生产端发送失败。后台会有一个线程进行这些失败消息的遍历和重新投递。二阻塞业务正常进行。死亡,或者多带带死亡,消息最终都会被发出,仅当与同时死亡,消息才会发送失败,并记录在日志...

    ChiclaimChiclaim 评论0 收藏0
  • kafka

    kafka

    摘要:生产者和消费者生产者将数据发布到他们选择的。如果领导者失败,其中一个粉丝将自动成为新的领导者。每过,消费者会自动把从方法接收的最大提交上去。在回应之前一直阻塞,限制了应用程序的吞吐量。只有同步的才能在当前宕机时被选定为新的。 该博客迁...

    HalfHalf 评论0 收藏0
  • 大数据系列——kafka学习笔记

    大数据系列——kafka学习笔记

    摘要:当某一台故障失效时,生产者和消费者转而使用其它的机器整体健壮性的组件一个消息队列需要哪些部分生产消费消息类别存储等等主题处理的消息的不同分类消息代理集群中的一个服务节点称为一个,主要存储消息数据存在硬盘中。 1. 大数据领域数据类型 1.1 ...

    MAX_zuoMAX_zuo 评论0 收藏0
  • 多维度对比5款主流分布式MQ消息队列,妈妈再也不担心我的技术选型了

    多维度对比5款主流分布式MQ消息队列,妈妈再也不担心我的技术选型了

    摘要:维度消息事务支持支持。使用事务会使得性能有所下降不支持支持支持维度负载均衡支持负载均衡。发送消息通过轮询队列的方式发送,每个队列接收平均的消息量。 1、引言 对于即时通讯系统(包括IM、消息推送系统等)来说,MQ消息中件间是非常常见的基础软...

    sf190404sf190404 评论0 收藏0
  • kafka常用命令

    kafka常用命令

    ./kafka-server-stop.sh 直接执行,无需加任何参数,当前机器中的所有broker都会被停止。

    DrizzleXDrizzleX 评论0 收藏0
  • Kafka集群部署指南

    Kafka集群部署指南

    摘要:另外,也是目前性能最好的消息中间件。架构在集群中,一个节点就是一个,消息由来承载,可以存储在个或多个中。发布消息的应用为消费消息的应用为,多个可以促成共同消费一个中的消息。 一、前言 1、Kafka简介 Kafka是一个开源的分布式消息引擎/消息中...

    qc1iuqc1iu 评论0 收藏0
  • 大数据学习路线

    大数据学习路线

    摘要:学习资料大数据最权威和最全面的学习资料就是官方文档。热门的大数据框架社区都比较活跃版本更新迭代也比较快,所以其出版物都明显滞后于其实际版本,基于这个原因采用书本学习不是一个最好的方案。 一、大数据处理流程 showImg("https://segmentfault...

    widuuwiduu 评论0 收藏0
  • KafKa集群部署手册

    KafKa集群部署手册

    摘要:对消息保存时根据进行归类,发送消息者成为消息接受者成为此外集群有多个实例组成,每个实例成为。无论是集群,还是和都依赖于来保证系统可用性集群保存一些信息。 1 简介 1.1 简介 Kafka is a distributed,partitioned,replicated commit logse...

    lmxdawnlmxdawn 评论0 收藏0
  • SpringBoot + KafKa集群的集成

    SpringBoot + KafKa集群的集成

    摘要:新增,修改,删除等主题配置类杨攀年月日下午管理员,委派给以创建在应用程序上下文中定义的主题的管理员。杨攀年月日下午配置实例的连接地址的管理客户端,用于创建修改删除主题等杨攀年月日下午创建一个新的的,如果中的已经存在,则忽略。 简介 本...

    suxiersuxier 评论0 收藏0
  • 深入理解Apache Kafka

    深入理解Apache Kafka

    摘要:一介绍在世界享有盛名,大部分互联网公司都在使用它,那么它到底是什么呢由公司于年推出,自那时起功能逐步迭代,目前演变成一个完整的平台级产品,它允许您冗余地存储巨大的数据量,拥有一个具有巨大吞吐量数百万秒的消息总线,并且支持实时流任务处理...

    shmilyshmily 评论0 收藏0
  • Kafka原理你真的知道吗?

    Kafka原理你真的知道吗?

    摘要:而在服务器中应该充分利用多线程来处理执行逻辑。能保证所在的失效,该消息仍然可以从新选举的中获取,不会造成消息丢失。这意味着无需等待来自的确认而继续发送下一批消息。 showImg("https://segmentfault.com/img/remote/1460000018373147?w=702&h=...

    BLUEBLUE 评论0 收藏0
  • 推荐学习PHP,Redis,MySQL,Kafka,Go,Javascript的几个教程

    推荐学习PHP,Redis,MySQL,Kafka,Go,Javascript的几个教程

    摘要:小册作者是老钱,业界大佬的作者辞职一年写的小册,内容非常详细,质量极高,物超所值。的作者是美团的大佬,实战经验丰富,三个都非常推荐还有康神的进阶系列讲座,点我的链接有优惠优惠链接极客时间的数据结构和算法,无需多少解释了买了就是精通了 ...

    OnlyLingOnlyLing 评论0 收藏0
  • Apache Kafka

    Apache Kafka

    摘要: Apache Kafka is an open source, distributed publish-subscribe messaging system,and its main characters include: -Persistent Messaging -High throughput -Distributed: support messages partitionin...

    wqj97wqj97 评论0 收藏0
  • kafka介绍

    kafka介绍

    摘要:在一上篇文章介绍了消息队列的使用场景,现在介绍下主要特点同时为发布和订阅提供高吞吐量。据了解,每秒可以生产约万消息,每秒处理万消息。消息被处理的状态是在端维护,而不是由端维护。消息和数据生产者,向的一个发布消息的过程叫做。 在一上篇文...

    AlanKeeneAlanKeene 评论0 收藏0
  • Kafka - Zookeeper/Kafka集群的部署

    Kafka - Zookeeper/Kafka集群的部署

    摘要:分区数查看列表查看详情可以描述分区数副本数副本副本等信息删除注意,只是删除在的元数据,日志数据仍需手动删除。查看消费组消费者这里有两个消费组的消费者查看消费详情可以查看到消费的订阅的,负责的,消费进度积压的消息。 下载kafka,自带 zook...

    DrummorDrummor 评论0 收藏0
  • Kafka - PHP 使用 Rdkafka  生产/消费数据

    Kafka - PHP 使用 Rdkafka 生产/消费数据

    摘要:集群部署安装依赖可以参阅支持的客户端版本生产者连接集群,创建,生产数据。链接集群创建消费者自动分配,,。消费者指定消费。没有消费组的概念,也可以认为每个消费者都属于一个独立消费组。 Kafka集群部署 安装rdkafka rdkafka 依赖 libkafka yum ...

    894974231894974231 评论0 收藏0
  • 使用多线程增加kafka消费能力

    使用多线程增加kafka消费能力

    摘要:通过增加分区数量,能够通过部署多个消费者增加并行消费能力。然后使用了饱和策略,使得多线程处理不过来的时候,能够阻塞在的消费线程上。多线程是为了增加效率,等是为了增加可靠性。 前提:本例适合那些没有顺序要求的消息主题。 kafka通过一系列优...

    yuxueyuxue 评论0 收藏0
  • Burrow 使用记录

    Burrow 使用记录

    摘要:它监视所有消费者的承诺偏移量,并根据需要计算消费者的状态,提供接口来获取消费者状态,能够监控消费消息的延迟从而监控应用的健康状况,并且可以同时监控多个集群。通过配置的间隔时间,定期的获取的状态,并发送相关满足配置的消息提醒。 一、Burr...

    chenatuchenatu 评论0 收藏0
  • EFK接入kafka消息队列

    EFK接入kafka消息队列

    摘要:前言在笔者最开始维护的日志服务中,日质量较小,没有接入。因此,接入消息队列,进行削峰填谷就迫在眉睫。本文主要介绍在的基础上如何接入,并做到向前兼容。 1 前言 在笔者最开始维护的日志服务中,日质量较小,没有接入kafka。随着业务规模扩增,日...

    sanyangsanyang 评论0 收藏0
<