spark - 程序员宅基地

Spark：failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.

标签： spark

node03: failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://node01:7077 node03: full log in /opt/spark/logs/spark-root-org.apache....

Hadoop和Spark简单概述

标签： spark 大数据

文章目录Hadoop和Spark概述一. 简单说说Hadoop1. Hadoop的产生背景2. Hadoop核心技术二. 简单说说Spark1. Spark的官方定义2. Spark的核心技术3. Spark的内置项目4. Spark的生态体系5. Spark的特点6. Spark的用户和...

Spark安装部署：Standalone模式

标签： spark hadoop 大数据

Spark安装部署：Standalone模式 1、实验描述以spark Standalone的运行模式安装Spark集群实验时长： 45分钟主要步骤：解压安装Spark 添加Spark 配置文件启动Spark 集群运行测试用例 2、实验环境 ...

Spark 操作 JDBC

标签： spark big data mysql

Spark SQL 可以通过 JDBC 从关系型数据库中读取数据的方式创建 DataFrame，通过对DataFrame 一系列的计算后，还可以将数据再写回关系型数据库中。如果使用 spark-shell 操作，可在启动 shell 时指定相关的数据库驱动...

SparkDataFrame操作TiDB数据

标签： scala spark

文章目录前言TiDB单机搭建sparkDataFrame连接TiDB 前言前几天领导让用spark集成TiDB支持读写，没办法只能简单的了解一下TiDB，然后搭建了一个单机版的TiDB测试使用，这里也理解的比较浅显，毕竟时间紧任务重，一切...

ubuntu上安装spark详细步骤

标签： ubuntu spark

2、在新页面中，ctrl + f 输入 spark，点击 3、选择要下载的版本，我选的最新版本 4、选择对应的hadoop版本 5、点击下载，下载完毕移动到一个目录如 /etc/soft/ mvspark-3.1.2-bin-hadoop2.7.tgz/etc/...

Hive On Spark报错：Remote Spark Driver - HiveServer2 connection has been closed

标签： hive spark hadoop

执行报错日志为： Failed to monitor Job[-1] with exception ‘java.lang.IllegalStateException...FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Unable to se

Spark on Yarn用执行流程图解（包含stage流程）

标签： spark yarn

@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言前言

Spark学习笔记：Spark进阶

标签： Spark Spark SQL

Spark使用不同的数据源，Spark SQL开发，性能调优

idea搭建Spark开发环境

标签： spark intellij-idea scala

Spark入门

Spark DataFrame的创建

标签： spark scala

开启虚拟机、开启hadoop集群、开启spark集群、开启spark-shell、在spark-shell中导入隐式转换包 hadoop集群输入：start-all.sh spark集群输入：cd /export/servers/spark ................. 输入：sbin/start-...

Hive On Spark搭建报错：Failed to create Spark client for Spark session xx: ..TimeoutException

FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session xxx: java.util.concurrent.TimeoutException: Client 'xxx ...

Spark的五种提交作业方式

标签： spark hadoop 大数据

该文介绍了Spark的五种作业提交方式

如何关闭spark

标签： spark

2.关闭spark 进入以下目录：/usr/local/softwares/spark-2.3.2-bin-hadoop2.7/sbin 执行以下命令，关闭spark： ./stop-all.sh 3.关闭hadoop 进入以下目录：/usr/local/softwares/hadoop-2.7.2/sbin 执行以下...

在IDEA里运行spark

标签：大数据 maven spark

最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。文章里所提到的...

基于Spark的电影推荐系统（毕业设计）

标签： spark 大数据 big data

基于Spark的电影推荐系统本次项目是基于大数据过滤引擎的电影推荐系统--“懂你”电影网站，包含了爬虫、电影网站（前端和后端）、后台管理系统以及推荐系统（Spark）。一、爬虫开发环境：pycharm + python...

Spark实例学习(一)spark3.x集群搭建

标签：大数据 hadoop spark

目录spark安装包下载虚拟机搭建Hadoop集群搭建 spark安装包下载 http://archive.apache.org/dist/spark/ 我使用的是spark-3.0.0-bin-hadoop3.2.tgz 虚拟机搭建 Hadoop集群搭建 Hadoop3.xHA搭建 Hadoop3.x集群的...

Spark快速入门系列(2) | Spark 运行模式之Local本地模式

标签： spark 大数据

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主... 此篇为大家带来的是Spark 运行模式之Local本地模式。 .

spark3.x 集群部署

标签： spark 大数据 big data

10.8.40.222 spark01 10.8.111.220 spark02 10.8.69.253 spark03 EOF # 配置SSH免密，主备master节点对所有worker节点免密，需要在3个节点执行: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id spark01 ssh...

Spark之Spark任务的提交方式【Spark-shell、Spark-submit】

标签： spark Spark-shell

spark-shell1、概述2、启动 1、概述 \quad \quadSpark-shell 是 Spark 给我们提供的交互式命令窗口(类似于 Scala 的 REPL) 2、启动直接启动bin目录下的spark-shell: ./spark-shell <1>直接使用 ./spark-...

Spark学习笔记之（一）：MR与Spark的区别

本文仅列出了较大的区别点，实际mr与Spark为完全不同的大数据计算组件。 1.速度： MR与Spark的根本区别（关键优化）在于：Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到...

Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度

标签： spark yarn submit

Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包，经过半下午的实验，终于搞清了两者的关系以及 spark.yarn.jars 和它们的区别二.--jars的使用 1.--jars 传入本地jar包 --jars a....

idea上创建spark方式

标签： spark idea scala

一，只做一次的事情hadoop，spark，scala，maven，scala插件， 1，下载hadoop，scala，spark，jdk。版本要适配，下面为一组搭配。下载后解压，然后配置环境变量 hadoop-2.7.0 scala-2.11.12 spark-2.4.0 JDK ...

详解Hive on Spark配置

标签： hive spark

Hive on Spark配置 Hive引擎默认的是MapReduce，就是没执行一个Hive语句，其实都是运行了一个MR程序，都知道的，MR虽好，但是慢呢。所以在时代的驱使下，就出现了把Hive的引擎更换的需要，通常Hive的引擎还有tez、...

Spark-SQL连接Hive 的五种方法

标签： hive spark sql

Spark-SQL连接Hive 的五种方法

Spark中的DAG介绍

标签：大数据 spark

在spark中，使用DAG来描述我们的计算逻辑。 2 Spark中的DAG DAG是一组顶点与边的组合，顶点代表RDD，边代表对RDD的一系列操作。 DAG Sheduler根据RDD的不同transformation操作，讲DAG分为不同的stage，每个stage...

Spark在K8s上的部署方式

标签： java 大数据

Spark on K8s和Spark Operator

Spark3的详细安装步骤

标签： spark 大数据

Spark的安装。Spark3.1.2的安装步骤。启动Spark集群。查看后台进程。查看Spark进程。通过Web界面访问Spark。验证Spark的安装是否成功。

使用docker构建spark运行环境

标签： spark docker 容器

使用docker构建spark运行环境安装docker与docker-compose系统构架图：docker compose部署文件：使用yml部署文件部署spark环境测试：创建RDD与filter处理安装docker与docker-compose 可参考 ...系统构架图： ...

spark 安装详细步骤

标签： spark

1.下载spark安装包，下面是官网连接地址 http://spark.apache.org/downloads.html 2.进入官网，点击红色框子 3.找自己对应的Hadoop版本的安装包 4.当前下的是 spark-2.3.1-bin-hadoop2.7.tgz 5.进入...

”spark“ 的搜索结果

Spark：failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.

Hadoop和Spark简单概述

Spark安装部署：Standalone模式

Spark 操作 JDBC

SparkDataFrame操作TiDB数据

ubuntu上安装spark详细步骤

Hive On Spark报错：Remote Spark Driver - HiveServer2 connection has been closed

Spark on Yarn用执行流程图解（包含stage流程）

Spark学习笔记：Spark进阶

idea搭建Spark开发环境

Spark DataFrame的创建

Hive On Spark搭建报错：Failed to create Spark client for Spark session xx: ..TimeoutException

Spark的五种提交作业方式

如何关闭spark

在IDEA里运行spark

基于Spark的电影推荐系统（毕业设计）

Spark实例学习(一)spark3.x集群搭建

Spark快速入门系列(2) | Spark 运行模式之Local本地模式

spark3.x 集群部署

Spark之Spark任务的提交方式【Spark-shell、Spark-submit】

Spark学习笔记之（一）：MR与Spark的区别

Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度

idea上创建spark方式

详解Hive on Spark配置

Spark-SQL连接Hive 的五种方法

Spark中的DAG介绍

Spark在K8s上的部署方式

Spark3的详细安装步骤

使用docker构建spark运行环境

spark 安装详细步骤

推荐文章