大数据各组件搭建，版本冲突问题解决方案

yeooo 发布于2019-07-16 14:46 / 1015人阅读

摘要：最近由于搭建的环境，需要做一整套大数据的方案。然后问题来了中自带的，运行了一下的，成功连上，但是发现发送到的数据，根本无法消费到，并且运行中出现无法识别配置的警告。组件版本发行版版本不适用本文仅做参考。

最近由于搭建hadoop、flink、kafka的环境，需要做一整套大数据的方案。
分别取相应的官网上查看几个组件的最新情况。
hadoop选用CDH，目前最新版本为CDH6.0.0  对应的hbase、hive、spark等组件的版本如下：

组件	版本	发行版	CDH 版本
Supervisord	3.0	不可用	不适用
Cloudera Manager Agent	6.0.0	530873.el7	不适用
Cloudera Manager Management Daemon	6.0.0	530873.el7	不适用
Flume NG	1.8.0+cdh6.0.0	537114	CDH 6.0.0
Hadoop	3.0.0+cdh6.0.0	537114	CDH 6.0.0
HDFS	3.0.0+cdh6.0.0	537114	CDH 6.0.0
HttpFS	3.0.0+cdh6.0.0	537114	CDH 6.0.0
hadoop-kms	3.0.0+cdh6.0.0	537114	CDH 6.0.0
MapReduce	2 3.0.0+cdh6.0.0	537114	CDH 6.0.0
YARN	3.0.0+cdh6.0.0	537114	CDH 6.0.0
HBase	2.0.0+cdh6.0.0	537114	CDH 6.0.0
Lily HBase Indexer	1.5+cdh6.0.0	537114	CDH 6.0.0
Hive	2.1.1+cdh6.0.0	537114	CDH 6.0.0
HCatalog	2.1.1+cdh6.0.0	537114	CDH 6.0.0
Hue	3.9.0+cdh6.0.0	537114	CDH 6.0.0
Impala	3.0.0+cdh6.0.0	537114	CDH 6.0.0
Java 8	java version "1.8.0_181" Java(TM) SE Runtime Environment (build 1.8.0_181-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)	不可用	不适用
Kafka	1.0.0+cdh6.0.0	537114	CDH 6.0.0
Kite（仅限 CDH 5 ）	1.0.0+cdh6.0.0	537114	CDH 6.0.0
kudu	1.6.0+cdh6.0.0	537114	CDH 6.0.0
Oozie	5.0.0-beta1+cdh6.0.0	537114	CDH 6.0.0
Parquet	1.9.0+cdh6.0.0	537114	CDH 6.0.0
Pig	0.17.0+cdh6.0.0	537114	CDH 6.0.0
sentry	2.0.0+cdh6.0.0	537114	CDH 6.0.0
Solr	7.0.0+cdh6.0.0	537114	CDH 6.0.0
spark	2.2.0+cdh6.0.0	537114	CDH 6.0.0
Sqoop	1.4.7+cdh6.0.0	537114	CDH 6.0.0
ZooKeeper	3.4.5+cdh6.0.0	537114	CDH 6.0.0

flink最新的release版本为1.6

Flink 1.6.0 - 2018-08-08 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.5.3 - 2018-08-21 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.5.2 - 2018-07-31 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.5.1 - 2018-07-12 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.5.0 - 2018-05-25 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.4.2 - 2018-03-08 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.4.1 - 2018-02-15 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.4.0 - 2017-11-29 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.3.3 - 2018-03-15 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.3.2 - 2017-08-05 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.3.1 - 2017-06-23 (Source, Binaries, Docs, Javadocs, ScalaDocs)

Flink 1.3.0 - 2017-06-01 (Source, Binaries, Docs, Javadocs, ScalaDocs)

kafka最新版本2.0.0

Released July 30, 2018

由于kafka2.0有很多新的特性比较吸引我。果断安装了最新版。

然后问题来了·······

flink1.6 release 中自带的example，运行了一下kafka的example，成功连上kafka，但是发现发送到kafka的数据，flink根本无法消费到，并且运行中出现无法识别配置的警告。

13:50:15,604 WARN org.apache.kafka.clients.producer.ProducerConfig - The configuration "output-topic" was supplied but isn"t a known config.
13:50:15,604 WARN org.apache.kafka.clients.producer.ProducerConfig - The configuration "zookeeper.connect" was supplied but isn"t a known config.
13:50:15,605 WARN org.apache.kafka.clients.producer.ProducerConfig - The configuration "input-topic" was supplied but isn"t a known config.

一想可能还是各个组件的版本问题，赶紧去查了一下当前example中kafka-client的版本，一查果然：
flink通过flink-connector-kafka-0.10_${scala.binary.version}的包去kafka读取数据，
而flink-connector-kafka中kafka-clients版本为：


  0.10.2.1


   org.apache.kafka
   kafka-clients
   ${kafka.version}

而我装的kafka确是2.0.0，整整差了两个大版本，也就难怪会出问题了。
最后查看了一下目前flink-connector-kafka支持的最新版本为0.11，所以考虑多带带安装0.11的kafka，flink1.6以及CDH6.0.0。
flink1.6也可以在CDH6.0.0上的yarn运行。
但目前看趟坑应该远未结束。祝我好运吧。

组件	版本	发行版	CDH 版本
Kafka	0.10.2+kafka2.2.0	1.2.2.0.p0.92	不适用

本文仅做参考。

USDP大数据平台托管Hadoop集群大数据分析解决问题 php各组件的用途 linux 各版本 linux各版本区别

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/33952.html

大数据各组件搭建，版本冲突问题解决方案

摘要：最近由于搭建的环境，需要做一整套大数据的方案。然后问题来了中自带的，运行了一下的，成功连上，但是发现发送到的数据，根本无法消费到，并且运行中出现无法识别配置的警告。组件版本发行版版本不适用本文仅做参考。最近由于搭建hadoop、flink、kafka的环境，需要做一整套大数据的方案。分别取相应的官网上查看几个组件的最新情况。hadoop选用CDH，目前最新版本为CDH6.0.0 对...

UCloud 2019-05-28 18:52 评论0 收藏0
使用seajs进行模块管理

摘要：一类是以国内的等类库为代表的大教堂模式。在大教堂模式下，所有组件都是颗粒化模块化的，各组件之间层层分级环环相扣。在集市模式下，所有组件彼此独立职责单一，各组件通过组合松耦合在一起，协同完成开发兼容性持续更新中。。。前端模块化开发的价值解决命名冲突我们做项目是常常会做一些通用功能的封装,封装成一个个的函数,然后保存在一个名叫util.js的文件中.这种情况就很有可能在另一个开发人员...

saucxs 2019-08-19 17:36 评论0 收藏0
微服务简介

摘要：微服务简介微服务架构是一种架构概念，旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦。每个微服务仅关注于完成一件任务并很好地完成该任务。服务异常自动隔离。微服务架构挑战服务规模大，部署运维管理难度大。微服务简介微服务架构（Microservice Architecture）是一种架构概念，旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦。微服务是一种架构风格，...

darcrand 2019-06-24 18:05 评论0 收藏0
从零到百亿互联网金融架构发展史

摘要：总体介绍在互联网金融行业一百多亿其实也算不上大平台，也就是二级阵营吧，其实每次的架构升级都是随着业务重大推进而伴随的，在前一代系统架构上遇到的问题，业务开发过程中积累一些优秀的开发案例，在下一代系统开发中就会大力推进架构升级。回想起从公司成立敲出的第一行代码算起到现在也快三年了，平台的技术架构，技术体系也算是经历了四次比较重大的升级转化（目前第四代架构体系正在进行中），临近年底也想抽...

mrcode 2019-06-24 17:53 评论0 收藏0
从零到百亿互联网金融架构发展史

摘要：总体介绍在互联网金融行业一百多亿其实也算不上大平台，也就是二级阵营吧，其实每次的架构升级都是随着业务重大推进而伴随的，在前一代系统架构上遇到的问题，业务开发过程中积累一些优秀的开发案例，在下一代系统开发中就会大力推进架构升级。回想起从公司成立敲出的第一行代码算起到现在也快三年了，平台的技术架构，技术体系也算是经历了四次比较重大的升级转化（目前第四代架构体系正在进行中），临近年底也想抽...

U2FsdGVkX1x 2019-08-14 17:16 评论0 收藏0