Hadoop：使用 JavaScript 构建

gotham 发布于2019-05-29 19:23 / 321人阅读

摘要：说明本文所有操作均在环境下进行。任何可以使用来编写的应用，最终会由编写。书中分别介绍了如何使用和结合进行开发。工具会创建作业，发送给各个，同时监控整个作业的执行过程。准备好的运行环境之后开始搭建的运行环境，参考单节点集群配置。

说明

本文所有操作均在 linux 环境下进行。

转载请注明出处。

"任何可以使用JavaScript来编写的应用，最终会由JavaScript编写。"

作为一名小前端，我深受 Jeff Atwood 前辈的鼓舞。上面这条定律便是他提出来的。

背景

最近在学习 Hadoop ，权威指南中介绍到了 Hadoop Streaming，说 Hadoop Streaming 是 Hadoop 提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为 Mapper 和 Reducer 。书中分别介绍了如何使用 Ruby 和 Python 结合 Hadoop Streaming 进行开发。没有 JS，不开心。我们 JS 这么强大，一定也可以。。。

分析

我们先来分析 Hadoop Streaming 的原理，如下：
mapper 和 reducer 会从标准输入中读取用户数据，一行一行处理后发送给标准输出。Streaming 工具会创建 MapReduce 作业，发送给各个 TaskTracker，同时监控整个作业的执行过程。

分析完原理之后我们知道了只需构造 mapper 和 reducer 即可，他们的工作是从标准输入读取用户数据，以行（hang）为单位处理完成后发送到标准输出。

准备

JavaScript 如何从标准输入输出读写数据呢？别担心，我们有 NodeJS。
准备好 JavaScript 的运行环境之后开始搭建 Hadoop 的运行环境，参考 Hadoop: 单节点集群配置。

编写代码

先贴目录结构：

$ find .
.
./map
./reduce
./wordcount.txt

map 中的代码如下：

#!/usr/bin/env node

// 引入readline模块
const readline = require("readline")

// 创建readline接口实例
const rl = readline.createInterface({
    input:process.stdin,
    output:process.stdout
})

rl.on("line", line => {
    // 分离每一行的单词
    line.split(" ").map((word) => {
        // 将单词以如下格式写入标准输出
        console.log(`${word}	1`)
    })
})

rl.on("close", () => {
    process.exit(0)
})

reduce 中的代码如下：

#!/usr/bin/env node
const readline = require("readline")

const  rl = readline.createInterface({
    input:process.stdin,
    output:process.stdout,
    terminal: false
})

// 存储键值对 
let words = new Map()

rl.on("line", line => {
    // 解构赋值
    const [word, count] = line.split("	")
    // 如果 Map 中没有该单词，则将该单词放入 Map ，即第一次添加
    if (!words.has(word)) {
        words.set(word, parseInt(count))
    } else {
        // 如果该单词已存在，则将该单词对应的 count 加 1
        words.set(word, words.get(word) + 1)
    }
})

rl.on("close", () => {
    words.forEach((v, k) => {
        // 将统计结果写入标准输出
        console.log(`${k}	${v}`)
    })
    process.exit(0)
})

wordcount.txt 中的内容如下：

JS Java
JS Python
JS Hadoop

目前 map 和 reduce 这两个程序还无法运行，需要加可执行权限，方法如下：

$ chmod +x map reduce

现在可以在终端测试一下程序是否能正确执行：

$ cat wordcount.txt | ./map | ./reduce
JS      3
Java    1
Python  1
Hadoop  1

可以看到，已经正确统计出了词频。

接下来只需把作业提交给 Hadoop ，让它去执行就可以了。

提交作业至 Hadoop

此时要确保 Hadoop 正常运行

在 HDFS 中创建目录：

$ hdfs dfs -mkdir input

将待处理文件上传至 HDFS：

$ hdfs dfs -put wordcount.txt input

此时可以通过 web 接口查看文件是否正确上传：

http://localhost:50070/explor...
如下图所示：

向 Hadoop 提交作业

$ hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar 
> -input input/wordcount.txt 
> -output output 
> -mapper map 
> -reducer reduce

检查计算结果：

$ hdfs dfs -cat output/*
Hadoop    1
JS        3
Java      1
Python    1

可以看到与之前的结果一致。

解释一下 Hadoop Streaming 的几个参数：

-input：输入文件路径

-output：输出文件路径

-mapper：用户自己写的 mapper 程序，可以是可执行文件或者脚本

-reducer：用户自己写的 reducer 程序，可以是可执行文件或者脚本

参考资料

Hadoop Streaming 编程
Node.js 命令行程序开发教程
Readline | Node.js v7.7.0 Documentation

USDP大数据平台使用hadoop hadoop使用 hadoop使用场景 hadoop使用实例

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/9803.html

Hadoop：使用 JavaScript 构建

摘要：说明本文所有操作均在环境下进行。任何可以使用来编写的应用，最终会由编写。书中分别介绍了如何使用和结合进行开发。工具会创建作业，发送给各个，同时监控整个作业的执行过程。准备好的运行环境之后开始搭建的运行环境，参考单节点集群配置。说明本文所有操作均在 linux 环境下进行。转载请注明出处。任何可以使用JavaScript来编写的应用，最终会由JavaScript编写。作为...

Magicer 2019-08-20 14:47 评论0 收藏0
Hadoop——Microsoft大数据战略的核心

摘要：如今，已经将作为自身大数据战略的核心。推出了被称之为的流数据解决方案。展望未来，对兼容性的承诺意味着，流数据解决方案以及会作为环境的一部分与分布式作为核心产品推出。总结大数据战略确保平台能够在大数据时代继续发挥自身的作用。众所周知，大数据浪潮正在渐渐的席卷全球的各个角落。而Hadoop正是这股风暴的动力之源。Microsoft更是史无前例的与Apache Hadoop社区合作。Micros...

赵连江 2019-04-25 17:04 评论0 收藏0
Hadoop——Microsoft大数据战略的核心

摘要：如今，已经将作为自身大数据战略的核心。推出了被称之为的流数据解决方案。展望未来，对兼容性的承诺意味着，流数据解决方案以及会作为环境的一部分与分布式作为核心产品推出。总结大数据战略确保平台能够在大数据时代继续发挥自身的作用。众所周知，大数据浪潮正在渐渐的席卷全球的各个角落。而Hadoop正是这股风暴的动力之源。Microsoft更是史无前例的与Apache Hadoop社区合作。Micros...

caohaoyu 2019-04-25 17:04 评论0 收藏0
【译】关于机器学习的11个开源工具

摘要：虽然广受欢迎，但是仍受到来自另外一个基于的机器学习库的竞争年出现的。还提供更传统的机器学习功能的库，包括神经网络和决策树系统。和的机器学习库。顾名思义，是用于神经网络机器学习的库，便于将浏览器用作数据工作台。关于机器学习的11个开源工具翻译：疯狂的技术宅英文标题：11 open source tools to make the most of machine learning英文连...

岳光 2019-06-26 18:16 评论0 收藏0
Hadoop历史版本安装

摘要：看看上的情况找到下载源代码查看用源代码构建环境注上面，包结构已经完全改变，用代替了的构建过程。查看生成的目录发现都是结尾的，合理的解释就是上一个版本的就是下一个版本的。 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增...

phodal 2019-04-25 17:11 评论0 收藏0