BigData

BigData精品文章

• 

  Hadoop分布式集群的搭建

  ...为了方便操作每个节点，默认在/usr/local/下新建一个名为bigdata的文件夹，存放所有的大数据相关的软件。 $ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop:hadoop /usr/local/bigdata/ 4.1 解压 $ sudo mkdir /usr/local/bigdata/java $ sudo tar -...

  leon 2019-07-24 10:56 评论0 收藏0
• 

  Hadoop安装-Hadoop安装方法

  ...adoop的方法如下：首先在命令行输入以下代码mkdir/opt/bigdata tarxfhadoop-2.6.5.tar.gz-C/opt/bigdata/ cd/opt/bigdata/ ln-sfhadoop-2.6.5hadoop详细过程[root@node01~]#mkdir/opt/bigdata [root@node01~]#&n...

  白马啸西风 2022-09-07 15:20 评论0 收藏0
• 

  cdh5.8.0+mysql5.7.17完全离线安装

  ...cat /etc/redhat-release CentOS release 6.5 (Final) # uname –a Linux enc-bigdata05 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux 2.前期软件准备2-1. jdk版本: jdk-7...

  DandJ 2019-05-29 19:28 评论0 收藏0
• 

  Spark的安装及配置

  ...压到安装目录 $ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/ $ cd /usr/local/bigdata/ $ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3 2.2 修改配置文件 配置文件位于/usr/local/bigdata/spark-2.4.3/conf目录下。 (...

  lunaticf 2019-07-24 10:56 评论0 收藏0
• 

  Spark的安装及配置

  ...压到安装目录 $ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/bigdata/ $ cd /usr/local/bigdata/ $ mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3 2.2 修改配置文件 配置文件位于/usr/local/bigdata/spark-2.4.3/conf目录下。 (...

  felix0913 2019-06-27 18:05 评论0 收藏0
• 

  大数据开发系列五：kafka& zookeeper 配置kerberos认证

  ....1 创建principle添加用户kadmin.local -q addprinc -randkey zookeeper/bigdata-05@HADOOP.COMkadmin.local -q addprinc -randkey zookeeper/bigdata-01@HADOOP.COMkadmin.local -q addprinc -randkey zookeeper/data0...

  不知名网友 2023-01-11 11:02 评论0 收藏2694
• 

  Mysql在线安装

  ... 一、 检查系统中是否已安装了mysql服务或开发包依赖等 [bigdata@bigdata-pro02 ~]$ rpm -qa | grep mysql mysql-libs-5.1.73-3.el6_5.x86_64 如果检查存在一些安装包，则使用 rpm -e --nodeps [安装包1] [安装包2] [...] 将已有的安装包卸载。这里需要切换到...

  Juven 2019-07-31 18:26 评论0 收藏0
• 

  Hive的安装及配置

  ...接Derby 2.1 解压 $ tar -zxvf apache-hive-2.3.5-bin.tar.gz -C /usr/local/bigdata & cd /usr/local/bigdata $ mv apache-hive-2.3.5-bin hive-2.3.5 $ sudo chown -R hadoop:hadoop hive #之前bigdata目录已经修改过权限了 2....

  v1 2019-07-24 10:56 评论0 收藏0
• 

  Hive的安装及配置

  ...接Derby 2.1 解压 $ tar -zxvf apache-hive-2.3.5-bin.tar.gz -C /usr/local/bigdata & cd /usr/local/bigdata $ mv apache-hive-2.3.5-bin hive-2.3.5 $ sudo chown -R hadoop:hadoop hive #之前bigdata目录已经修改过权限了 2....

  yuanzhanghu 2019-06-27 18:05 评论0 收藏0
• 

  zookeeper的安装和使用

  ...e /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/bigdata/data/zkdata # the port at which the clients will connect clientPort=2181 # the maximum number of client connection...

  alogy 2019-07-24 10:57 评论0 收藏0
• 

  大数据小计

  ...inux 7 64位 网卡：仅主机模式 一共5台虚拟机 192.168.235.11 bigdata11 (ip地址根据自己网络情况来定，命名方式是为了便于记忆) 192.168.235.12 bigdata12 192.168.235.13 bigdata13 192.168.235.14 bigdata14 192.168.235.14 bigdata15 配...

  zoomdong 2019-05-28 18:38 评论0 收藏0
• 

  java-study-bigdata-flink-网络资料-02-flink-wordcount

  flink word count 1、滑动窗口-wordcount ## 1.1 原理&code ## 原理： 代码：https://github.com/chengbingh... ## 1.2 测试 ## 本地测试 linux 上执行：nc -l 10101 运行main方法 提交到集群测试 1、伪分布式集群搭建下载：https://www.apache.org/dyn/cl.....

  jsdt 2019-08-16 13:46 评论0 收藏0
• 

  java-study-bigdata-flink-网络资料-03-flink-集群搭建

  Flink集群搭建 1、Standalone cluster 准备环境：机器：centos7-1（manager）, cenetos7-2(已经配置ssh免密登陆,关闭防火墙)jdk：jdk1.8flink:flink-1.6.1-bin-hadoop27-scala_2.11.tgz 1.1 flink 配置修改 配置jobmanager：FLINK_HOME/conf/flink-conf.y...

  bigdevil_s 2019-08-16 13:45 评论0 收藏0
• 

  java-study-bigdata-flink-网络资料-01-flink 基本原理和应用场景

  前言 flink 相关学习，资料来源于网络Flink中文社区：https://doc.flink-china.org/i...Flink官方网站：https://flink.apache.org/简书上的翻译：https://www.jianshu.com/u/e7c...教程：https://ke.qq.com/course/list... 1、Flink 简介 备注：迭代计算用于机器学...

  DandJ 2019-08-16 13:45 评论0 收藏0
• 

  尝试将正式服务迁移至docker中并管理的一次实践

  ...sh -c touch /app/app.jar EXPOSE 9110 ENTRYPOINT [java, -jar, /app/bigdata-1.0.jar, &] 编写后使用构建镜像命令：docker build -t xxx . （XXX为要构建的镜像名 注意最后的一个 .要加上） 如果需要暴露多个端口，比如开放JMX端口，则加在EXPOSE中 ...

  godlong_X 2019-08-08 15:39 评论0 收藏0