hive server2源码地址在哪_0510Spark应用访问Hive报错异常分析-程序员宅基地
技术标签： hive查看表中列的信息命令 hive 修改cluster by算法 hive server2源码地址在哪
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1
故障描述
运行环境说明
1.RedHat7.2
2.CM和CDH版本为5.15.0
3.Spark1.6
问题现象
在代码中使用HiveContext对象访问Hive表ods_user(该表为Parquet格式)时发现作业报错，异常如下：
in thread 
2
问题诊断分析
报找不到cdh01.fayson.com主机，Fayson在之前对集群做过几次变更：
集群启用HA前，SparkStreaming作业使用saveAsTable在Hive中保存了ods_user表，可以正常查询及写入数据。
集群启用HA并更新NameNode URL后，Hive和Spark作业依然能够访问ods_user表。
修改集群的hostname，将cdh01.fayson.com主机名修改为cdh1.fayson.com后，Spark作业访问ods_user表失败。
1.检查Spark和Hive的配置文件，在配置文件中均为发现cdh01.fayson.com记录
经过检查集群中Spark和Hive的配置文件，未发现有cdh01.fayson.com的配置信息，排除配置文件导致的问题。
2.检查Spark作业的运行环境，也未发现相应的配置信息
在Spark作业的运行环境中也未找到cdh01.fayson.com相关的配置信息，继续分析。
3.在作业日志中可以看到，Spark访问HiveMetastore服务是成功的
既然可以正常的访问HiveMetastore服务，那再次证明Hive和Spark配置是没有问题的。
4.既然能够正常的访问HiveMetastore服务，Spark服务直接通过访问HiveMetastore服务获取ods_user的元数据信息，推测可能是ods_user表元数据存在问题，查看ods_user表建表语句确认
检查ods_user的建表语句发现，存在配置信息为cdh01.fayson.com的信息，由此推断可能是由于ods_user表中该属性导致。
3
问题解决
Fayson很清晰的记得在SparkStreaming作业中创建的ods_user表，，并未在建表语句中指定Spark SQL相关的配置参数。通过Spark官网资料找到相关信息(
http://spark.apache.org/docs/1.6.0/sql-programming-guide.html#hive-metastore-parquet-table-conversion
)，Spark在读取和写入Hive Metastore Parquet表时，会尝试使用自己的Parquet支持而不是使用Hive SerDe，从而获取更好的性能。此行为由spark.sql.hive.convertMetastoreParquet参数控制(默认为true)。那如果修改了Hive表的属性或其它外部变更(如：修改NameNode节点hostname，NameNode节点迁移等)均会导致Spark缓存的配置失效，因此这时需要手动的刷新表，以确保元数据信息一致。
1.修改ods_user表中SERDEPROPERTIES中的path属性为NameNode启用HA后的地址，命令如下；
ALTER 
可以看到path已修改为最新的HDFS访问地址
2.再次验证可以正常的访问ods_user表的数据
4
总结
1.Spark在读取和写入Hive Metastore Parquet表时，会尝试使用自己的Parquet支持而不是使用Hive SerDe，从而获取更好的性能。所以在将spark数据写入一个不存在的hive表时会在建表语句中增加spark的一些属性配置。
2.特别要注意集群在未启用HA时使用Spark生成的Hive表，在集群启用HA后可能会到Spark无法访问该表，需要修改SERDEPROPERTIES中path属性。
3.如果只是通过hive或者其他外部方式修改了Hive表的元数据信息，可以通过如下方式刷新Spark缓存的表元数据
new org.apache.spark.sql.hive.HiveContext(sc)提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
智能推荐
如何配置filezilla服务端和客户端_filezilla server for windows (32bit x86)-程序员宅基地
文章浏览阅读7.8k次，点赞3次，收藏9次。如何配置filezilla服务端和客户端百度‘filezilla server’下载最新版。注意点：下载的版本如果是32位的适用xp和win2003，百度首页的是适用于win7或更高的win系统。32和64内容无异。安装过程也是一样的。一、这里的filezilla包括服务端和客户端。我们先来用filezilla server 架设ftp服务端。看步骤。1选择标准版的就可以了。 _filezilla server for windows (32bit x86)
深度学习图像处理01：图像的本质-程序员宅基地
文章浏览阅读724次，点赞18次，收藏8次。深度学习作为一种强大的机器学习技术，已经成为图像处理领域的核心技术之一。通过模拟人脑处理信息的方式，深度学习能够从图像数据中学习到复杂的模式和特征，从而实现从简单的图像分类到复杂的场景理解等多种功能。要充分发挥深度学习在图像处理中的潜力，我们首先需要理解图像的本质。本文旨在深入探讨深度学习图像处理的基础概念，为初学者铺平通往高级理解的道路。我们将从最基础的问题开始：图像是什么？我们如何通过计算机来理解和处理图像？
数据探索阶段——对样本数据集的结构和规律进行分析_数据分析 规律集-程序员宅基地
文章浏览阅读62次。在收集到初步的样本数据之后，接下来该考虑的问题有：（1）样本数据集的数量和质量是否满足模型构建的要求。（2）是否出现从未设想过的数据状态。（3）是否有明显的规律和趋势。（4）各因素之间有什么样的关联性。解决方案：检验数据集的数据质量、绘制图表、计算某些特征量等，对样本数据集的结构和规律进行分析。从数据质量分析和数据特征分析两个角度出发。_数据分析 规律集
上传计算机桌面文件图标不见,关于桌面上图标都不见了这类问题的解决方法-程序员宅基地
文章浏览阅读8.9k次。关于桌面上图标都不见了这类问题的解决方法1、在桌面空白处右击鼠标-->排列图标-->勾选显示桌面图标。2、如果问题还没解决，那么打开任务管理器(同时按“Ctrl+Alt+Del”即可打开)，点击“文件”→“新建任务”，在打开的“创建新任务”对话框中输入“explorer”，单击“确定”按钮后，稍等一下就可以见到桌面图标了。3、问题还没解决，按Windows键+R(或者点开始-->..._上传文件时候怎么找不到桌面图标
LINUX 虚拟网卡tun例子——修改_怎么设置tun的接收缓冲-程序员宅基地
文章浏览阅读1.5k次。参考：http://blog.csdn.net/zahuopuboss/article/details/9259283 #include #include #include #include #include #include #include #include #include #include #include #include _怎么设置tun的接收缓冲
UITextView 评论输入框 高度自适应-程序员宅基地
文章浏览阅读741次。创建一个inputView继承于UIView- (instancetype)initWithFrame:(CGRect)frame{ self = [superinitWithFrame:frame]; if (self) { self.backgroundColor = [UIColorcolorWithRed:0.13gre
随便推点
字符串基础面试题_java字符串相关面试题-程序员宅基地
文章浏览阅读594次。字符串面试题（2022）_java字符串相关面试题
VSCODE 实现远程GUI，显示plt.plot， 设置x11端口转发_vscode远程ssh连接服务器 python 显示plt-程序员宅基地
文章浏览阅读1.4w次，点赞12次，收藏21次。VSCODE 实现远程GUI，显示plt.plot， 设置x11端口转发问题服务器 linux ubuntu16.04本地 windows 10很多小伙伴发现VSCode不能显示figure，只有用自带的jupyter才能勉强个截图、或者转战远程桌面，这对数据分析极为不方便。在命令行键入xeyes（一个显示图像的命令）会failed，而桌面下会出现：但是Xshell能实现X11转发图像，有交互功能，但只能用Xshell输入命令plot，实在不方便。其实VScode有X11转发插件！！方法_vscode远程ssh连接服务器 python 显示plt
Java SE | 网络编程 TCP、UDP协议 Socket套接字的使用_javase套接字socket-程序员宅基地
文章浏览阅读529次。网络编程_javase套接字socket
element-ui switch开关打开和关闭时的文字设置样式-程序员宅基地
文章浏览阅读3.3k次，点赞2次，收藏2次。element switch开关文字显示element中switch开关把on-text 和 off-text 属性改为 active-text 和 inactive-text 属性.怎么把文字描述显示在开关上?下面就是实现方法: 1 <el-table-column label="状态"> 2 <template slot-scope="scope">..._el-switch 不同状态显示不同字
HttpRequestUtil方法get、post、JsonToPost_httprequestutil.httpget-程序员宅基地
文章浏览阅读785次。java后台发起请求使用的工具类package com.cennavi.utils;import org.apache.http.Header;import org.apache.http.HttpResponse;import org.apache.http.HttpStatus;import org.apache.http.client.HttpClient;import org.apache.http.client.methods.HttpPost;import org.apach_httprequestutil.httpget
App-V轻量级应用程序虚拟化之三客户端测试-程序员宅基地
文章浏览阅读137次。在前两节我们部署了App-V Server并且序列化了相应的软件，现在可谓是万事俱备，只欠东风。在这篇博客里面主要介绍一下如何部署客户端并实现应用程序的虚拟化。在这里先简要的说一下应用虚拟化的工作原理吧！App-V Streaming 就是利用templateServer序列化出一个软件运行的虚拟环境，然后上传到app-v Server上，最后客户..._app-v 客户端