hive语句在执行的过程中报Error: Error while processing statement: FAILED: Execution Error, return code 2 from o_程序员阿伟的博客-程序员宅基地

技术标签: hive  # 大数据问题  

使用命令查看详细的报错日志

# 提高系统的日志级别,并在控制台输出
hive --hiveconf hive.root.logger=DEBUG,console

原因:JVM堆内存溢出了

解决办法:

在yarn-site.xml添加或者修改如下内容:

 

	<property>
	    <name>yarn.scheduler.maximum-allocation-mb</name>
	    <value>3072</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>
	<property>
		<name>mapred.child.java.opts</name>
		<value>-Xmx1024m</value>
	</property>

 最后:

将配置同步到其他节点,重启hadoop

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_55868614/article/details/120499206

智能推荐

python格式化字符串漏洞_Python格式化字符串漏洞(Django为例)_weixin_39625747的博客-程序员宅基地

Python 格式化字符串漏洞(Django为例)在C语言里有一类特别有趣的漏洞,格式化字符串漏洞。轻则破坏内存,重则读写任意地址内容,二进制的内容我就不说了,说也不懂,分享个链接 https://github.com/shiyanlou/seedlab/blob/master/formatstring.mdPython中的格式化字符串Python中也有格式化字符串的方法,在Python2老版本中...

为什么需要 Mini-batch 梯度下降,及 TensorFlow 应用举例_机器学习X计划的博客-程序员宅基地

本文知识点:什么是 mini-batch 梯度下降mini-batch 梯度下降具体算法为什么需要 mini-batch 梯度下降batch, stochastic ,m...

文件(夹)对比利器--WinMerge_weixin_33860722的博客-程序员宅基地

有两个工程,繁体版本、简体版本,版本号不一样,如果需要同步里面的代码就需要用到第三方工具了。IDE中自带的svn功能较弱,还好有winMerge弥补了它的缺陷,它可以对比文件、文件夹,使用起来还是较为方便,界面也是中文。 “开始”菜单(快捷键ctrl+O),弹出对话框中选择需要进行对比的文件夹或文件(分为左侧、右侧) 然后选择一个过滤器,它自带就可以过滤掉svn目录,如需要过滤其它一些指...

啥都不懂也能识别验证码_jqsaebkc的博客-程序员宅基地

相信大家在开发一些程序会有识别图片上文字(即所谓的OCR)的需求,比如识别车牌、识别图片格式的商品价格、识别图片格式的邮箱地址等等,当然需求最多的还是识别验证码。如果要完成这些OCR的工作,需要你掌握图像处理、图像识别的知识,需要用到图形形态学、傅里叶变换、矩阵变换、贝叶斯决策等很多复杂的理论,这让绝大部分人都会望而却步。    Tesseract这个开源项目的出现让我们普通人也可以涉足O

【图像增强】基于matlab HSV空间双边滤波图像去雾【含Matlab源码 067期】_海神之光的博客-程序员宅基地

% Demo script for IDvortex % Prepare:clc; clear; close all; tic;MatLabSettings % Load sample data:load('sampleXYUV.mat')% x,y coordinate vectors (mm) and Vx and Vy fields (m/s) % Call the IDvortex scriptsvortex=IDvortex(x,y,U,V); % Plot th

机器学习作业班_python实现支持向量机_Happy丶lazy的博客-程序员宅基地

支持向量机在本练习中,我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。 然后,我们将对一组原始电子邮件进行一些预处理工作,并使用SVM在处理的电子邮件上构建分类器,以确定它们是否为垃圾邮件。我们要做的第一件事是看一个简单的二维数据集,看看线性SVM如何对数据集进行不同的C值(类似于线性/逻辑回归中的正则化项)。import...

随便推点

java常量池_【Java_基础】java中的常量池_冬瓜還沒熟的博客-程序员宅基地

1.java常量池的介绍java中的常量池,通常指的是运行时常量池,它是方法区的一部分,一个jvm实例只有一个运行常量池,各线程间共享该运行常量池。java常量池简介:java常量池中保存了一份在编译期间就已确定的数据。它里面包括final常量的值(包括成员常量、局部常量和引用常量)、以及对象字面量的值。在编译期间,每当给常量赋值它就会去检测常量池中是否存在该值,若存在直接返回该值的地址给常量,若...

单元测试pytest--读取csv文件代码实现_测软件的小bug的博客-程序员宅基地

1.读取csv模块import csv #导入csv模块class ReadCsv(): def read_csv(self): item =[] #定义一个空列表 c = csv.reader(open("../commonDemo/test1.csv","r")) #得到csv文件对象 for csv_i in c: item.append(csv_i) #将获取的数据添加到列表中

Android中SoundPool 类使用利弊_fancylovejava的博客-程序员宅基地_soundpool延迟很大

在开发android软件中,经常需要播放多媒体音频文件,通常会采用MediaPlayer类来执行此类操作。但MediaPlayer类占用的资源比较多,对于游戏等应用而言,会带来性能上的降低。在Android中,专门提供了SoundPool类来执行此类音频播放,SoundPool类占用的CPU资源较少、反应较快。SoundPool使用MediaPlaybackService将音频流解码为16

使用双分支条件语句编程,计算并输出两个整数的最大值。_xixixi~的博客-程序员宅基地_双分支语句

使用双分支条件语句编程,计算并输出两个整数的最大值。**输入格式要求:"%d,%d" 提示信息:"Input a, b:"**输出格式要求:"max = %d\n"程序运行示例如下:Input a, b:3,5max = 5#include&lt;stdio.h&gt;int main(){ int a, b; int max = 0; printf("Input a, b:"); scanf("%d,%d", &amp;a, &amp;b); if(a .

小米6能读取卡信息无服务器,MIUI官方回应:米6公交开卡系服务升级、NFC功能可正常使用..._是因为太久的博客-程序员宅基地

原标题:MIUI官方回应:米6公交开卡系服务升级、NFC功能可正常使用近日,有消息称小米6因为系统升级暂时关闭了NFC公交开卡服务,或涉及虚假宣传。对此,小米官方也给予了回应,以下为小米MIUI官方在论坛上的回应:NFC(近场通信)功能拥有三种工作模式:读卡器模式(Reader/Writer mode)、点对点模式(P2P mode)、卡模拟模式(Card emulation mode)。读卡器模...

YUM基础与离线环境搭建_gointosusnet的博客-程序员宅基地

yum是red hat,federo的安装工具yum的常用命令:yum install ${包名}     安装软件包yum remove ${包名}    删除软件包yum clean all 清理yum源yum list  列出可用的yum安装包yum list  ${reg} 列出匹配的安装包yum clean ${包名} 清除cache中的缓存包yum

推荐文章

热门文章

相关标签