java spark读取es数据出现 java.lang.NoSuchFieldException：DEFAULT_TINY_CACHE_SIZE错误_java.lang.nosuchfieldexception: default_tiny_cache-程序员宅基地

技术标签： java es

1，环境

 <spark.version>2.3.4</spark.version>
   <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${
    spark.version}</version>
        </dependency>

  <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.11</artifactId>
            <version>${
    spark.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${
    spark.version}</version>
        </dependency>

2、报错信息

2021-01-06 09:26:54.087 ERROR 5340 --- [           main] org.apache.spark.SparkContext            : Error initializing SparkContext.

java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE
	at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:131) ~[spark-network-common_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:118) ~[spark-network-common_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.network.server.TransportServer.init(TransportServer.java:94) ~[spark-network-common_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.network.server.TransportServer.<init>(TransportServer.java:73) ~[spark-network-common_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.network.TransportContext.createServer(TransportContext.java:114) ~[spark-network-common_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.rpc.netty.NettyRpcEnv.startServer(NettyRpcEnv.scala:119) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory$$anonfun$4.apply(NettyRpcEnv.scala:465) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory$$anonfun$4.apply(NettyRpcEnv.scala:464) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:2275) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:160) ~[scala-library-2.11.8.jar:na]
	at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:2267) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:469) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423) ~[spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493) [spark-core_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:934) [spark-sql_2.11-2.3.4.jar:2.3.4]
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:925) [spark-sql_2.11-2.3.4.jar:2.3.4]
	at scala.Option.getOrElse(Option.scala:121) [scala-library-2.11.8.jar:na]
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:925) [spark-sql_2.11-2.3.4.jar:2.3.4]
	at Servers.TextSpark.GetEsDataSpark(TextSpark.java:21) [classes/:na]
	at com.example.spark.demo.DemoApplication.main(DemoApplication.java:13) [classes/:na]
Caused by: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE
	at java.lang.Class.getDeclaredField(Class.java:2070) ~[na:1.8.0_181]
	at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:127) ~[spark-network-common_2.11-2.3.4.jar:2.3.4]
	... 23 common frames omitted

2021-01-06 09:26:54.093  INFO 5340Exception in thread "main"  --- [           main] org.apache.spark.SparkContext            : Successfully stopped SparkContext
java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE
	at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:131)
	at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:118)
	at org.apache.spark.network.server.TransportServer.init(TransportServer.java:94)
	at org.apache.spark.network.server.TransportServer.<init>(TransportServer.java:73)
	at org.apache.spark.network.TransportContext.createServer(TransportContext.java:114)
	at org.apache.spark.rpc.netty.NettyRpcEnv.startServer(NettyRpcEnv.scala:119)
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory$$anonfun$4.apply(NettyRpcEnv.scala:465)
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory$$anonfun$4.apply(NettyRpcEnv.scala:464)
	at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:2275)
	at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:160)
	at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:2267)
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:469)
	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:934)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:925)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:925)
	at Servers.TextSpark.GetEsDataSpark(TextSpark.java:21)
	at com.example.spark.demo.DemoApplication.main(DemoApplication.java:13)
Caused by: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE
	at java.lang.Class.getDeclaredField(Class.java:2070)
	at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:127)
	... 23 more

3、解决办法

在https://mvnrepository.com/ 仓库里查看spark版本为2.3.4的所有依赖，找到netty-all 查看2.3.4依赖的版本。修改为依赖版本。

在这里插入图片描述

本文链接：https://blog.csdn.net/f335830104/article/details/112257944

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

中国的铁路订票系统在世界上属于什么水平？-程序员宅基地

文章浏览阅读227次。????????关注后回复“进群”，拉你进程序员交流群????????来自公众号：沉默王二综合自知乎：https://www.zhihu.com/question/315887668大家好，今天分享的这篇：“中国的铁路订票系统在世界上属于什么水平？”我们来看看知友们都是如何评价我国铁路订票系统的——也就是大名鼎鼎的 12306。会非常有意思。先来看看这个 1.8 万赞的，我觉得说得非常有道理..._目前国内外对火车票订票系统设计研究水平

图的邻接矩阵和邻接表表示_udg 邻接表-程序员宅基地

文章浏览阅读701次。1.邻接矩阵用矩阵表示顶点与顶点间边的关系（是否有边）#define INFINITY INT_MAX#define MAX_VERTEX_NUM 20typdef enum{DG,DN,UDG,UDN}GraphKind;typedef struct{VertexType vexs[MAX_VERTEX_NUM];int arcs[MXA_VERTEX_NUM ] [MAX_VERTEX_NUM];int vexnum,arcnum;GraphKind kind;}MGraph;2_udg 邻接表

一步一步教你如何在AndroidStudio查看Android源码（AOSP源码）_如何用android studio 查看android源码-程序员宅基地

文章浏览阅读4.1w次，点赞10次，收藏56次。一步一步教你如何在AndroidStudio查看Android源码（AOSP源码）_如何用android studio 查看android源码

curl多线程下载类-程序员宅基地

文章浏览阅读250次。<?php /** * curl多线程下载类 */class MultiHttpRequest{ public $urls = array (); private $res = array (); private $curlopt_header = 0; private $method = "GET"; private $curlopt = array (); ..._curl 多线程下载

51单片机AD转换_单片机ad转换原理-程序员宅基地

文章浏览阅读1.9w次，点赞21次，收藏180次。51单片机AD转换电路设计实现关于AD转换的原理，大家在《数字电子技术》中已经学过，这里做过多的介绍，本文介绍一款经典的8位AD转换芯片ADC0804，基于51单片机设计AD转换电路，并完成测量值的转换。1 芯片引脚介绍CS:片选信号，低电平有效，即CS=0时候芯片才能正常工作，单独一个ADC0804芯片时候直接置零。当有多个芯片时候可以通过片选信号实现分时复用。WR:低电平有效，当WR信号由高到低时候实现一次ADC转换。RD:低电平有效，RD=0时候可以读取数据。Vin+:模拟电压输入端。_单片机ad转换原理

操作系统实验报告17：请求页面置换算法_页式存储管理及页面置换算法操作系统实验报告-程序员宅基地

文章浏览阅读1.7k次，点赞3次，收藏14次。操作系统实验报告17实验内容实验内容：虚拟存储管理。编写一个 C 程序模拟实现课件 Lecture24 中的请求页面置换算法包括FIFO、LRU (stack and matrix implementation)、Second chance，并设计输入用例验证结果。实验环境架构：Intel x86_64 (虚拟机)操作系统：Ubuntu 20.04汇编器：gas (GNU Assembler) in AT&T mode编译器：gcc技术日志实验内容原理页_页式存储管理及页面置换算法操作系统实验报告

随便推点

上班摸鱼看小说神器，可以隐藏界面简单安全_桌面看小说的软件隐蔽-程序员宅基地

文章浏览阅读274次。可调整透明背景，上班偷看小说，老板不会发现，鼠标放上去就有，移开就消失，就是阅读神器，很好用，背景大小可调节，放在哪个角落都不会被发现，如果忙里偷闲可以试一下喔。本软件在桌面显示一块阅读区域，可调整背景透明度、字体大小和颜色，极其小巧精致。用户在上班期间，可放心地偷偷阅读小说，比较隐蔽，避免被同事、老板发现。打游戏、追剧啥的不敢，坐的位置太危险了，电脑屏幕正对门口。官网链接：http://yuedu.chaojizhu.xyz。我用过的最好的看小说软件，调整透明度，自动隐藏，很强大。_桌面看小说的软件隐蔽