hadoop-2.6.0-cdh5.7.0源码编译支持压缩

mengera88 发布于2019-08-08 13:53 / 1725人阅读

摘要：准备解压源码包，看到里面有个文件，里面列出了编译所需依赖组件。转载链接文章中或通过安装或通过自己下载提供了所有正确版本组件，并将已下载组件通过百度云分享。可以看到编译的支持了各种压缩，亲测有效

准备：
解压hadoop-2.6.0-cdh5.7.0.tar.gz源码包，看到里面有个BUILDING.txt文件，里面列出了编译所需依赖组件。

Requirements:

Unix System
JDK 1.7+
Maven 3.0 or later
Findbugs 1.3.9 (if running findbugs)
ProtocolBuffer 2.5.0
CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
Zlib devel (if compiling native code)
openssl devel ( if compiling native hadoop-pipes )
Internet connection for first build (to fetch all Maven and Hadoop dependencies)

转载链接文章中或通过yum安装或通过自己下载提供了所有正确版本组件，并将已下载组件通过百度云分享。
我想补充一点的是，yum安装可能报出Another app is currently holding the yum lock; waiting for it to exit...的错误，可参考https://blog.csdn.net/testcs_...
强制关闭yum进程来解决。

编译：

根据BUILDING.txt提示

Build options:
Use -Pnative to compile/bundle native code   * Use -Pdocs to
generate & bundle the documentation in the distribution (using -Pdist)
Use -Psrc to create a project source TAR.GZ   * Use -Dtar to create a TAR with the distribution (using -Pdist)
Building distributions:
Create binary distribution without native code and without
documentation:
$ mvn package -Pdist -DskipTests -Dtar
Create binary distribution with native code and with documentation:
$ mvn package -Pdist,native,docs -DskipTests -Dtar

cd到解压后的hadoop-2.6.0-cdh5.7.0源码目录下，使用mvn -e clean package -Pdist,native -DskipTests -Dtar编译（使用-e参数输出错误堆栈信息，有利于定位），编译完成后，默认会在源码根目录的hadoop-dist目录下生成target，里面的hadoop-2.6.0-cdh5.7.0文件夹就是已经编译好并已解压的hadoop了（直接用的），可以将其拷贝到自定义的位置进行部署配置。

[root@NN1 hadoop-2.6.0-cdh5.7.0]# ./bin/hadoop checknative
19/04/10 11:22:34 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
19/04/10 11:22:34 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /root/hadoop-c/hadoop-2.6.0-cdh5.7.0-target/hadoop-2.6.0-cdh5.7.0/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:99
bzip2:   true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so

可以看到编译的hadoop支持了各种压缩，亲测有效！

USDP大数据平台 c语言数据压缩源码源码编译步骤源码编译模块源码编译调试

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/63624.html

hadoop-2.6.0-cdh5.7.0源码编译支持压缩

摘要：准备解压源码包，看到里面有个文件，里面列出了编译所需依赖组件。转载链接文章中或通过安装或通过自己下载提供了所有正确版本组件，并将已下载组件通过百度云分享。可以看到编译的支持了各种压缩，亲测有效准备：解压hadoop-2.6.0-cdh5.7.0.tar.gz源码包，看到里面有个BUILDING.txt文件，里面列出了编译所需依赖组件。 Requirements: Unix Sys...

NoraXie 2019-08-19 11:36 评论0 收藏0
Spark编译

摘要：前提在这里我们编译的是版本为，版本为更多关于编译参见编译官方文档环境要求需要版本，而且在之后已经被标识成了，但是不影响使用，但是在版本之后的支持将会被移除需要版本编译的安装可参考教程安装可参考教程安装可参考教程源码下载下载页面下载前提在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8 更多关于编译Spa...

SillyMonkey 2019-05-28 18:44 评论0 收藏0
Nginx(1)-创建一个静态 Web 站点

摘要：的配置文件是以块形式组织，每个都是以一个块名称和一对大括号组成。这里注意的是，当打开的是首页依然是一个页面，只有中继续定义了查看静态网站文件系统目录中的某一目录时，才会将文件列出。使用此启动类型应同时指定，以便能够跟踪服务的主进程。初识Nginx Nginx 的三个主要应用场景：静态资源服务：通过本地文件系统提供服务反向代理服务：缓存加速与负载均衡 API服务：OpenRest...

simpleapples 2019-07-25 14:42 评论0 收藏0
webpack优化

摘要：使用要给项目构建接入动态链接库的思想，需要完成以下事情把网页依赖的基础模块抽离出来，打包到一个个单独的动态链接库中去。接入已经内置了对动态链接库的支持，需要通过个内置的插件接入，它们分别是插件用于打包出一个个单独的动态链接库文件。 webpack优化查看所有文档页面：全栈开发，获取更多信息。原文链接：webpack优化，原文广告模态框遮挡，阅读体验不好，所以整理成本文，方便查找。 ...

ChanceWong 2019-08-22 17:34 评论0 收藏0
【失败】windows10中利用MingGW编译64 bit GVIM with python27/

摘要：终极目标问题描述首先声明，这是一次失败的编译经历，仅供参考，欢迎讨论。近期发现是一个很棒的编辑器，简洁高效。所以，毅然决然，自己从源码编译一个。首先运行上面目录树中的。我猜想这可能和我的失败有关。设置为，编译结果是，则代表。终极目标 VIM = Python multi-version IDE 问题描述首先声明，这是一次失败的编译经历，仅供参考，欢迎讨论。近期发现VIM是一个很棒...

cikenerd 2019-07-25 10:17 评论0 收藏0