Spark 配置历史服务器_spark.history.ui.port-程序员宅基地

类似Hadoop，Spark也有自己的history server，这里我们就来配置下：

修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

修改 spark-default.conf 文件，配置日志存储路径

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://KengicCluster/SparkLogDir

注意：需要启动Hadoop集群，并且这个目录要提前存在！！！（hadoop fs -mkdir /SparkLogDir）

修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://KengicCluster/SparkLogDir -Dspark.history.retainedApplications=30"

参数 1 含义：WEB UI 访问的端口号为 18080
参数 2 含义：指定历史服务器日志存储路径
参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

为了从 Yarn 上关联到 Spark 历史服务器，需要配置关联路径——修改spark-defaults.conf

spark.yarn.historyServer.address=cdh-01:18080
spark.history.ui.port=18080

集群每个节点同步配置文件

xsync spark-defaults.conf
xsync spark-env.sh

启动history服务

sbin/start-history-server.sh

提交一个job，看看效果

./bin/spark-submit --master yarn --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.4.6.jar 3

本文链接：https://blog.csdn.net/weixin_40579109/article/details/118938230

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Linux查看登录用户日志_怎么记录linux设备发声的登录和登出-程序员宅基地

文章浏览阅读8.6k次。一、Linux记录用户登录信息文件1　　/var/run/utmp----记录当前正在登录系统的用户信息；2　　/var/log/wtmp----记录当前正在登录和历史登录系统的用户信息；3　　/var/log/btmp：记录失败的登录尝试信息。二、命令用法1.命令last，lastb---show a listing of la_怎么记录linux设备发声的登录和登出

第四章笔记：遍历--算法学中的万能钥匙-程序员宅基地

文章浏览阅读167次。摘要：1. 简介 2. 公园迷宫漫步 3. 无线迷宫与最短（不加权）路径问题 4. 强连通分量1. 简介在计算机科学裡，树的遍历（也称为树的搜索）是圖的遍歷的一种，指的是按照某种规则，不重复地访问某种樹的所有节点的过程。具体的访问操作可能是检查节点的值、更新节点的值等。不同的遍历方式，其访问节点的顺序是不一样的。两种著名的基本遍历策略：深度优先搜索（DFS）和广度优先搜索（B...

【案例分享】使用ActiveReports报表工具，在.NET MVC模式下动态创建报表_activereports.net 实现查询报表功能-程序员宅基地

文章浏览阅读591次。提起报表，大家会觉得即熟悉又陌生，好像常常在工作中使用，又似乎无法准确描述报表。今天我们来一起了解一下什么是报表，报表的结构、构成元素，以及为什么需要报表。什么是报表简单的说：报表就是通过表格、图表等形式来动态显示数据，并为使用者提供浏览、打印、导出和分析的功能，可以用公式表示为：报表 = 多样的布局 + 动态的数据 + 丰富的输出报表通常包含以下组成部分：报表首页：在报表的开..._activereports.net 实现查询报表功能

Ubuntu18.04 + GNOME xrdp + Docker + GUI_docker xrdp ubuntu-程序员宅基地

文章浏览阅读6.6k次。最近实验室需要用Cadence，这个软件的安装非常麻烦，每一次配置都要几个小时，因此打算把Cadence装进Docker。但是Cadence运行时需要GUI，要对Docker进行一些配置。我们实验室的服务器运行的是Ubuntu18.04，默认桌面GNOME，Cadence装进Centos的Docker。安装Ubuntu18.04服务器上安装Ubuntu18.04的教程非常多，在此不赘述了安装..._docker xrdp ubuntu

iOS AVFoundation实现相机功能_ios avcapturestillimageoutput 兼容性 ios17 崩溃-程序员宅基地

文章浏览阅读1.8k次，点赞2次，收藏2次。首先导入头文件#import 导入头文件后创建几个相机必须实现的对象 /** * AVCaptureSession对象来执行输入设备和输出设备之间的数据传递 */ @property (nonatomic, strong) AVCaptureSession* session; /** * 输入设备 */_ios avcapturestillimageoutput 兼容性 ios17 崩溃

Oracle动态性能视图--v$sysstat_oracle v$sysstat视图-程序员宅基地

文章浏览阅读982次。按照OracleDocument中的描述，v$sysstat存储自数据库实例运行那刻起就开始累计全实例(instance-wide)的资源使用情况。类似于v$sesstat，该视图存储下列的统计信息：1>.事件发生次数的统计(如：user commits)2>._oracle v$sysstat视图

随便推点

Vue router报错：NavigationDuplicated {_name: "NavigationDuplicated", name: "NavigationDuplicated"}的解决方法_navigationduplicated {_name: 'navigationduplicated-程序员宅基地

文章浏览阅读7.6k次，点赞2次，收藏9次。我最近做SPA项目开发动态树的时候一直遇到以下错误：当我点击文章管理需要跳转路径时一直报NavigationDuplicated {_name: “NavigationDuplicated”, name: “NavigationDuplicated”}这个错误但是当我点击文章管理后，路径跳转却是成功的<template> <div> 文章管理页面 <..._navigationduplicated {_name: 'navigationduplicated', name: 'navigationduplic