Spark基础学习笔记06:搭建Spark单机版环境_spark 环境搭建_.qqq.的博客-程序员宅基地

技术标签: 学习  spark  big data  

目录

(一)设置IP地址与主机名映射

(二)下载、安装和配置JDK

1、下载JDK压缩包

2、上传到ied虚拟机

3、将压缩包解压到指定目录

4、配置Java环境变量

(三)下载、安装与配置Spark

1、下载Spark安装包

2、将Spark安装包上传到ied虚拟机

3、将Spark安装包解压到指定目录

4、配置Spark环境变量


(一)设置IP地址与主机名映射

执行命令:yum -y install vim,安装vim编辑器

(二)下载、安装和配置JDK

1、下载JDK压缩包

2、上传到ied虚拟机

将JDK压缩包上传到ied虚拟机/opt目录

3、将压缩包解压到指定目录

执行命令:tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local

4、配置Java环境变量

执行命令:vim /etc/profile

 

 export JAVA_HOME=/usr/local/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

存盘退出,执行命令:source /etc/profile,让环境配置生效

 在任意目录下都可以查看JDK版本

(三)下载、安装与配置Spark

1、下载Spark安装包

下载链接:百度网盘 请输入提取码 提取码:zh0x

2、将Spark安装包上传到ied虚拟机

3、将Spark安装包解压到指定目录

执行命令:tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local

4、配置Spark环境变量

执行vim /etc/profile

export SPARK_HOME=/usr/local/spark-2.1.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
存盘退出,执行命令:source /etc/profile,让环境配置生效

启动:spark-shell

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_56244269/article/details/125160714

智能推荐

Oracle SQL Developer连接各种数据库工具的安装及使用_plsql developer可以连接高斯数据库吗_月亮中的星星的博客-程序员宅基地

Oracle SQL Developer 是非常强悍的开源的SQL开发工具,面前市面上流行的数据库都支持连接,可以在SQL Developer里直接连接Oracle 和 Mysql 了,可以把Navicat 和 PLSQL两大工具暂时放一放了,接下来步入正题,我们先去ORACLE官网下载SQL Developer(大约300多MB),SQL Developer时需要JDK1.8版本支持的,所以需...

Libevent源码分析-----event-config.h指明所在系统的环境_kingbrant的博客-程序员宅基地

转载请注明出处: http://blog.csdn.net/luotuo44/article/details/38300965        如果你打开Libevent的一些文件,比如util.h文件。就会发现使用了很多宏定义,并根据一些宏定义而进行条件编译。这些宏定义往往来自event-config.h文件中。        如util.h文件的代码开始处:[

JWT基础_jwt alg_cookie3_1的博客-程序员宅基地

JWT1. JWT是什么JSON Web Token (JWT),它是目前最流行的跨域身份验证解决方案。JWT的精髓在于:“去中心化”,数据是保存在客户端的。JWT的优点1,jwt基于json,非常方便解析。2,可以在令牌钟定义丰富的内容,容易扩展3,通过非对称加密算法及数字签名技术,jwt防止篡改,安全性高4,资源服务使用jwt可不依赖认证服务即可完成授权缺点:1,jwt令牌较长,占存储空间比较大三个部分组成;用.号隔开。1, Header{“typ”:“JWT”,“alg”

iOS 10 资料整理笔记_anqi0114的博客-程序员宅基地

1.Notification(通知)自从Notification被引入之后,苹果就不断的更新优化,但这些更新优化只是小打小闹,直至现在iOS 10开始真正的进行大改重构,这让开发者也体会到UserNotifications的易用,功能也变得非常强大。iOS 9 以前的通知1.在调用方法时,有些方法让人很难区分,容易写错方法,这让开发者有时候很苦恼。2.应用在运行时...

likely(x)与unlikely(x)函数,即__builtin_expect的使用_unlikely()函数_隨意的風的博客-程序员宅基地

本文讲的likely()和unlikely()两个宏,在linux内核代码和一些应用中可常见到它们的身影。实质上,这两个宏是关于GCC编译器内置宏__builtin_expect的使用。顾名思义,likely()指“很有可能”之意,而unlikely()指“不太可能”之意。那么,在实际应用中,它们代表什么?又是怎么使用的呢?下面是一篇外文翻译(加上了本人的一些理解),给出了详细答案。likely()和unlikely()对于linux内核代码,在条件判断语句中经常看到likely()...

随便推点

WPF:换肤基础(临摹贴)_weixin_34327223的博客-程序员宅基地

临摹对象《Creating a Skinned User Interface in WPF》目标:动态变更窗口的底色(当然,可以扩展为其他元素的样式)思路: 创建两个资源文件(Resource Dictionary),一个用来存放默认样式(Default.xaml),一个用来存放其他样式(HotHot.xaml); 在需要变更样式...

深度剖析WinPcap之(八)——打开与关闭适配器(18)_weixin_33696822的博客-程序员宅基地

1.6.3 NPF_open函数函数NPF_Open打开驱动的一个新实例。函数原型如下:NTSTATUS NPF_Open(IN PDEVICE_OBJECT DeviceObject,IN PIRP Irp);参数DeviceObject指向用户所使用的设备对象,参数Irp指向用户所请求的IRP.函数返回操作的状态,参见DDK的nts...

智能合约实现众筹_智能合约实现众筹功能、_LH专属荷包的博客-程序员宅基地

pragma solidity >=0.4.22 <0.7.0;contract zhongchou{ uint NeederId; mapping(uint => Needer) Needers; struct Needer{ address neederAddress; uint needMoney; uint nowMoney; uint FunderId;

Linux下提示'PROT_WRITE'、'MAP_SHARED'、'O_RDRW' undeclard(first use in this function)的解决方法_枪枪枪的博客-程序员宅基地

问题截图:添加#include<sys/mman.h>头文件可解决’PROT_WRITE’、‘MAP_SHARED’、未定义的问题。现在还剩O_RDRW未定义的问题。我再想想吧 先(~ ~)

nginx和yum源(网页观察,启动httpd)时出现80端口冲突_lvtula的博客-程序员宅基地

解决办法:修改一个不是80端口的,或者关掉一个,启动另一个

JAVA native方法的使用_NRlovestudy的博客-程序员宅基地

https://blog.csdn.net/zw6161080123/article/details/80628069目录1,关于native关键字2,使用native关键字2.1,使用步骤2.2,案例2.2.1 编写.java文件2.2.2 编译.java文件2.2.3 获得.h文件2.2.4 编写hello.cpp文件2.2.5 部署hello.dll文...