SPark On Mac

whidy 发布于2019-05-28 18:24 / 3388人阅读

摘要：安装可以使用直接安装使用然后执行浏览器打开

SPark On Mac 安装

可以使用 brew 直接安装

brew install apache-spark

使用

然后执行

timgerdeMac-mini:flume timger$ spark-shell 
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
14/07/22 17:16:28 INFO SecurityManager: Using Spark"s default log4j profile: org/apache/spark/log4j-defaults.properties
14/07/22 17:16:28 INFO SecurityManager: Changing view acls to: timger
14/07/22 17:16:28 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(timger)
14/07/22 17:16:28 INFO HttpServer: Starting HTTP Server
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _ / _ / _ `/ __/  "_/
   /___/ .__/\_,_/_/ /_/\_   version 1.0.0
      /_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_11)
Type in expressions to have them evaluated.
Type :help for more information.
14/07/22 17:16:33 INFO SecurityManager: Changing view acls to: timger
14/07/22 17:16:33 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(timger)
14/07/22 17:16:34 INFO Slf4jLogger: Slf4jLogger started
14/07/22 17:16:34 INFO Remoting: Starting remoting
14/07/22 17:16:34 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://spark@172.28.55.78:57188]
14/07/22 17:16:34 INFO Remoting: Remoting now listens on addresses: [akka.tcp://spark@172.28.55.78:57188]
14/07/22 17:16:34 INFO SparkEnv: Registering MapOutputTracker
14/07/22 17:16:34 INFO SparkEnv: Registering BlockManagerMaster
14/07/22 17:16:34 INFO DiskBlockManager: Created local directory at /var/folders/34/v8cydr991yb_xmw9jwn5wd1h0000gn/T/spark-local-20140722171634-1047
14/07/22 17:16:34 INFO MemoryStore: MemoryStore started with capacity 294.6 MB.
14/07/22 17:16:34 INFO ConnectionManager: Bound socket to port 57189 with id = ConnectionManagerId(172.28.55.78,57189)
14/07/22 17:16:34 INFO BlockManagerMaster: Trying to register BlockManager
14/07/22 17:16:34 INFO BlockManagerInfo: Registering block manager 172.28.55.78:57189 with 294.6 MB RAM
14/07/22 17:16:34 INFO BlockManagerMaster: Registered BlockManager
14/07/22 17:16:34 INFO HttpServer: Starting HTTP Server
14/07/22 17:16:34 INFO HttpBroadcast: Broadcast server started at http://172.28.55.78:57190
14/07/22 17:16:34 INFO HttpFileServer: HTTP File server directory is /var/folders/34/v8cydr991yb_xmw9jwn5wd1h0000gn/T/spark-cc9df9f4-f0e2-4201-a29d-02d73bc6569f
14/07/22 17:16:34 INFO HttpServer: Starting HTTP Server
14/07/22 17:16:35 INFO SparkUI: Started SparkUI at http://172.28.55.78:4040
14/07/22 17:16:37 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/07/22 17:16:37 INFO Executor: Using REPL class URI: http://172.28.55.78:57166
14/07/22 17:16:37 INFO SparkILoop: Created spark context..
Spark context available as sc.

scala>

浏览器打开 http://172.28.55.78:4040/executors/

私有云混合云 On on()方法 webrtc.on() jquery on

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/8124.html

搭建Linux工作环境之VirtualBox

摘要：序最近需要搭建多虚拟机模拟集群来运行平台我又重新翻开了之前的使用笔记重新整理后发了上来搭建虚拟机主要使用和两个软件通常情况如果建立服务器环境的虚拟机我使用否则使用考虑到任务主要是运行平台并不需要桌面环境要尽可能节省资源又考虑到的开源免费跨平 showImg(https://segmentfault.com/img/bVxR0K); live with scope 序最近需要搭建多虚拟...

yexiaobai 2019-05-29 18:33 评论0 收藏0
mac vscode Python配置

摘要：在完成设置编辑之后，输入来保存更改，更改会立即生效。调试配置文件使用了解相关属性。欲了解更多信息，请访问任务配置直接运行配置配置编辑器 1. 基础设置settings.json VS Code有很多选项可以来配置编辑器，你可以通过用户设置来设置全局选项，或在工作空间设置中针对每个文件夹或项目设置，选项设置保存在settings.json 文件中。 Files > Preference...

linkin 2019-07-30 15:05 评论0 收藏0
新书《全栈数据之门》完整目录

摘要：全栈数据之门前言自强不息，厚德载物，自由之光，你是我的眼基础，从零开始之门文件操作权限管理软件安装实战经验与，文本处理文本工具的使用家族的使用综合案例数据工程，必备分析文件探索内容探索交差并补其他常用的命令批量操作结语快捷键，之门提高效率光 showImg(https://segmentfault.com/img/bVK0aK?w=350&h=350); 全栈数据之门前言　自强不息，...

yibinnn 2019-07-25 11:40 评论0 收藏0
新书《全栈数据之门》完整目录

摘要：全栈数据之门前言自强不息，厚德载物，自由之光，你是我的眼基础，从零开始之门文件操作权限管理软件安装实战经验与，文本处理文本工具的使用家族的使用综合案例数据工程，必备分析文件探索内容探索交差并补其他常用的命令批量操作结语快捷键，之门提高效率光 showImg(https://segmentfault.com/img/bVK0aK?w=350&h=350); 全栈数据之门前言　自强不息，...

JellyBool 2019-05-28 18:34 评论0 收藏0
新书《全栈数据之门》完整目录

摘要：全栈数据之门前言自强不息，厚德载物，自由之光，你是我的眼基础，从零开始之门文件操作权限管理软件安装实战经验与，文本处理文本工具的使用家族的使用综合案例数据工程，必备分析文件探索内容探索交差并补其他常用的命令批量操作结语快捷键，之门提高效率光 showImg(https://segmentfault.com/img/bVK0aK?w=350&h=350); 全栈数据之门前言　自强不息，...

AdolphLWQ 2019-06-26 15:39 评论0 收藏0