大数据系列之kafka(一)

venmos 发布于2019-07-16 14:41 / 394人阅读

摘要：而就是内数据的副本数，保证消息不会丢失。修改配置文件，基本配置包括这个在集群中是唯一的，运行的主机以及端口号，生成目录运行端口。

什么是Kafka

Kafka是一个分布式流处理平台，我们可以初步理解为一个Kafka就是一个存储消息的篮子(broker)，可以实时去放消息或取消息，不同的消息按照不同的标签(topics)分类，这个篮子是可扩展的(Kafka集群)，篮子里的消息高可靠不会丢失。

Kafka架构

Kafka基础架构

producer:多个应用向Kafka集群的一个或多个topic推送一条数据流
consumer:多个应用根据需求订阅指定的topic流
stream:处理订阅的topic流，并依据结果向cluster集群推送一条新的topic流
connector:与关系型数据库相连，可以捕捉到每次数据库中表的变化

*Kafka的partition(分区)和replica(副本)区别：一个topic可以指定多个partition，当我们往指定topic存放一条消息(由key-value构成)时会根据消息key的哈希值将其分配在指定的分区上。而replica就是topic内数据的副本数，保证消息不会丢失。

Kafka的使用

单节点单broker

1.Kafka是依赖于ZooKeeper(提供集群的配置管理包括集群名字服务、集群配置服务、分布式锁等)的，因此我们需要先启动ZooKeeper，如何启动见官网，也很简单。
2.修改Kafka配置文件conf/server.properties，基本配置包括brokerId这个在集群中是唯一的，运行的主机ip以及端口号，log生成目录,zookeeper运行端口。

3.启动Kafka kafka-server.sh server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The port the socket server listens on
port=9092
# Hostname the broker will bind to. If not set, the server will bind to all interfaces
host.name=localhost
# A comma seperated list of directories under which to store log files
log.dirs=/root/tmp/kafka-logs
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181

USDP大数据平台托管Hadoop集群系列之系列之二架构之坑系列大数据之都

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/33913.html

大数据系列之kafka(一)

摘要：而就是内数据的副本数，保证消息不会丢失。修改配置文件，基本配置包括这个在集群中是唯一的，运行的主机以及端口号，生成目录运行端口。什么是Kafka Kafka是一个分布式流处理平台，我们可以初步理解为一个Kafka就是一个存储消息的篮子(broker)，可以实时去放消息或取消息，不同的消息按照不同的标签(topics)分类，这个篮子是可扩展的(Kafka集群)，篮子里的消息高可靠不会丢...

jone5679 2019-05-28 18:39 评论0 收藏0
大数据系列——kafka学习笔记

摘要：当某一台故障失效时，生产者和消费者转而使用其它的机器整体健壮性的组件一个消息队列需要哪些部分生产消费消息类别存储等等主题处理的消息的不同分类消息代理集群中的一个服务节点称为一个，主要存储消息数据存在硬盘中。 1. 大数据领域数据类型 1.1 有界数据一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量 mapreduce hive sparkcor...

MAX_zuo 2019-07-16 14:52 评论0 收藏0
网易云捕性能踩坑解决之道上篇

摘要：从零开始设计开发一个日处理数据亿的大数据高并发实时系统，哪些性能问题需要特别注意这里我们一起梳理一下本文中我将以，同学戏称的系统网易云捕设计开发实践中两年的时间里碰到的真实问题，踩过的坑及解决问题的方法和大家一起讨论如何解决这些问题。本文由作者余宝虹授权网易云社区发布。从零开始设计开发一个日处理数据8亿的大数据高并发实时系统，哪些性能问题需要特别注意？这里我们一起梳理一下,本文中我...

李义 2019-06-28 11:08 评论0 收藏0
大数据开发系列五：kafka& zookeeper 配置kerberos认证

大数据开发系列五：kafka& zookeeper 配置kerberos认证 img{ display:block; margin:0 auto !important; width:100%; } body{ ...

不知名网友 2023-01-11 11:02 评论0 收藏2694
必看！java后端，亮剑诛仙（最全知识点）

摘要：鉴于目前大多数服务器环境都是，提前接触能够相辅相成。正则也是必须要掌握的一个知识点。有多种创建多线程的方式，不过目前使用线程池的多一些。原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。你可能有所感悟。零散的资料读了很多，但是很难有提升。到处是干货，但是并没什么用，简单来说就是缺乏系统化。另外，噪音太多，雷同的框架一大把，我不至于全都要去学了吧。这里，我...

陈江龙 2019-08-19 10:34 评论0 收藏0