参数名称 | 默认值 | 用法 |
---|---|---|
hive.metastore.uris | - | Hive元数据存储的URI。 |
hive.metastore.client.socket.timeout | 600 | Hive元数据客户端套接字超时时间。 |
hive.metastore.warehouse.dir | /user/hive/warehouse | Hive数据仓库目录。 |
hive.warehouse.subdir.inherit.perms | true | 子目录是否继承权限。 |
hive.auto.convert.join | true | 自动转换连接类型的Join操作。 |
hive.auto.convert.join.noconditionaltask.size | 10000000 | 自动转换连接类型的Join操作时条件不满足的最大数据量。 |
hive.optimize.bucketmapjoin.sortedmerge | false | 是否优化Bucket Map Join的Sorted Merge。 |
hive.smbjoin.cache.rows | 10000 | SMB Join操作缓存的行数。 |
hive.server2.logging.operation.enabled | false | 是否启用Hive Server2日志记录操作。 |
hive.server2.logging.operation.log.location | ${system:java.io.tmpdir}/ ${system:user.name} /operation_logs | Hive Server2操作日志的存储位置。 |
mapred.reduce.tasks | - | MapReduce作业的Reduce任务数。 |
hive.exec.reducers.bytes.per.reducer | 67108864 | 每个Reduce任务的数据量。 |
hive.exec.copyfile.maxsize | 33554432 | 最大允许复制文件的大小。 |
hive.exec.reducers.max | -1 | 同时运行的最大Reduce任务数。 |
hive.vectorized.groupby.checkinterval | 100000 | Vectorized Group By操作的检查间隔。 |
hive.vectorized.groupby.flush.percent | 0.1 | Vectorized Group By操作的Flush比例。 |
hive.compute.query.using.stats | true | 是否使用统计信息来优化查询计划。 |
hive.vectorized.execution.enabled | false | 是否启用向量化执行引擎。 |
hive.vectorized.execution.reduce.enabled | false | 是否在Reduce阶段启用向量化执行。 |
hive.vectorized.use.vectorized.input.format | false | 是否使用向量化输入格式。 |
hive.vectorized.use.checked.expressions | false | 是否使用检查表达式的向量化执行。 |
hive.vectorized.use.vector.serde.deserialize | false | 是否使用向量化序列化和反序列化。 |
hive.vectorized.adaptor.usage.mode | off | 向量化适配器的使用模式。 |
hive.vectorized.input.format.excludes | - | 排除的向量化输入格式列表。 |
hive.merge.mapfiles | true | 是否合并Map输出的小文件。 |
hive.merge.mapredfiles | false | 是否合并MapReduce输出的小文件。 |
hive.cbo.enable | false | 是否启用CBO优化。 |
hive.fetch.task.conversion | none | Fetch任务转换级别。 |
hive.fetch.task.conversion.threshold | -1 | 触发Fetch任务转换的数据量阈值。 |
hive.limit.pushdown.memory.usage | 0.1 | Limit操作的内存使用百分比。 |
hive.merge.sparkfiles | false | 是否合并Spark任务输出的小文件。 |
hive.merge.smallfiles.avgsize | -1 | 合并小文件时的平均大小。 |
hive.merge.size.per.task | -1 | 每个任务合并的数据量。 |
hive.optimize.reducededuplication | true | 是否启用重复消除优化。 |
hive.optimize.reducededuplication.min.reducer | 4 | 最小Reduce任务数以启用重复消除优化。 |
hive.map.aggr | false | 是否启用Map端聚合。 |
hive.map.aggr.hash.percentmemory | 0.5 | Map端聚合的哈希表内存比例。 |
hive.optimize.sort.dynamic.partition | false | 是否优化动态分区排序。 |
hive.execution.engine | mr | Hive执行引擎类型。 |
spark.executor.memory | 1g | Spark Executor的内存大小。 |
spark.driver.memory | 1g | Spark Driver的内存大小。 |
spark.executor.cores | 1 | 每个Spark Executor的核心数。 |
spark.yarn.driver.memoryOverhead | 384 | Spark Driver的内存Overhead。 |
spark.yarn.executor.memoryOverhead | 384 | Spark Executor的内存Overhead。 |
spark.dynamicAllocation.enabled | false | 是否启用动态资源分配。 |
spark.dynamicAllocation.initialExecutors | -1 | 动态资源分配的初始Executor数量。 |
spark.dynamicAllocation.minExecutors | -1 | 动态资源分配的最小Executor数量。 |
spark.dynamicAllocation.maxExecutors | -1 | 动态资源分配的最大Executor数量。 |
hive.metastore.execute.setugi | false | 是否在Hive元数据存储中执行setugi操作。 |
hive.support.concurrency | true | 是否支持并发操作。 |
hive.zookeeper.quorum | - | ZooKeeper服务器列表。 |
hive.zookeeper.client.port | - | ZooKeeper客户端端口号。 |
hive.zookeeper.namespace | default | Hive使用的ZooKeeper命名空间。 |
hive.cluster.delegation.token.store.class | org.apache.hadoop.hive .thrift.MemoryTokenStore | 集群委派令牌存储类。 |
hive.server2.enable.doAs | false | 是否启用Hive Server2用户代理模式。 |
hive.metastore.sasl.enabled | false | 是否启用Hive元数据存储的SASL认证。 |
hive.server2.authentication | NONE | Hive Server2的认证方式。 |
hive.metastore.kerberos.principal | - | Hive元数据存储的Kerberos主体名称。 |
hive.server2.authentication.kerberos.principal | - | Hive Server2的Kerberos主体名称。 |
spark.shuffle.service.enabled | true | 是否启用Spark Shuffle服务。 |
hive.strict.checks.orderby.no.limit | true | 是否在没有Limit操作的OrderBy语句中执行严格检查。 |
hive.strict.checks.no.partition.filter | true | 是否在没有分区过滤条件的查询中执行严格检查。 |
hive.strict.checks.type.safety | true | 是否执行严格的类型安全性检查。 |
hive.strict.checks.cartesian.product | false | 是否执行严格的笛卡尔积检查。 |
hive.strict.checks.bucketing | true | 是否执行严格的桶排序检查。 |
<configuration>
<!-- Hive元数据存储的URI -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://myhost:9083</value>
</property>
<!-- Hive元数据客户端套接字超时时间(以毫秒为单位) -->
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>300</value>
</property>
<!-- Hive数据仓库目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!-- 子目录是否继承权限 -->
<property>
<name>hive.warehouse.subdir.inherit.perms</name>
<value>true</value>
</property>
<!-- 自动转换连接类型的Join操作 -->
<property>
<name>hive.auto.convert.join</name>
<value>true</value>
</property>
<!-- 自动转换连接类型的Join操作时条件不满足的最大数据量(以字节为单位) -->
<property>
<name>hive.auto.convert.join.noconditionaltask.size</name>
<value>20971520</value>
</property>
<!-- 是否优化Bucket Map Join的Sorted Merge -->
<property>
<name>hive.optimize.bucketmapjoin.sortedmerge</name>
<value>false</value>
</property>
<!-- SMB Join操作缓存的行数 -->
<property>
<name>hive.smbjoin.cache.rows</name>
<value>10000</value>
</property>
<!-- 是否启用Hive Server2日志记录操作 -->
<property>
<name>hive.server2.logging.operation.enabled</name>
<value>true</value>
</property>
<!-- Hive Server2操作日志的存储位置 -->
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/var/log/hive/operation_logs</value>
</property>
<!-- MapReduce作业的Reduce任务数 -->
<property>
<name>mapred.reduce.tasks</name>
<value>-1</value>
</property>
<!-- 每个Reduce任务的数据量(以字节为单位) -->
<property>
<name>hive.exec.reducers.bytes.per.reducer</name>
<value>67108864</value>
</property>
<!-- 最大允许复制文件的大小(以字节为单位) -->
<property>
<name>hive.exec.copyfile.maxsize</name>
<value>33554432</value>
</property>
<!-- 同时运行的最大Reduce任务数 -->
<property>
<name>hive.exec.reducers.max</name>
<value>1099</value>
</property>
<!-- Vectorized Group By操作的检查间隔 -->
<property>
<name>hive.vectorized.groupby.checkinterval</name>
<value>4096</value>
</property>
<!-- Vectorized Group By操作的Flush比例 -->
<property>
<name>hive.vectorized.groupby.flush.percent</name>
<value>0.1</value>
</property>
<!-- 是否使用统计信息来优化查询计划 -->
<property>
<name>hive.compute.query.using.stats</name>
<value>false</value>
</property>
<!-- 是否启用向量化执行引擎 -->
<property>
<name>hive.vectorized.execution.enabled</name>
<value>true</value>
</property>
<!-- 是否在Reduce阶段启用向量化执行 -->
<property>
<name>hive.vectorized.execution.reduce.enabled</name>
<value>true</value>
</property>
<!-- 是否使用向量化输入格式 -->
<property>
<name>hive.vectorized.use.vectorized.input.format</name>
<value>true</value>
</property>
<!-- 是否使用检查表达式的向量化执行 -->
<property>
<name>hive.vectorized.use.checked.expressions</name>
<value>true</value>
</property>
<!-- 是否使用向量化序列化和反序列化 -->
<property>
<name>hive.vectorized.use.vector.serde.deserialize</name>
<value>false</value>
</property>
<!-- 向量化适配器的使用模式 -->
<property>
<name>hive.vectorized.adaptor.usage.mode</name>
<value>chosen</value>
</property>
<!-- 排除的向量化输入格式列表 -->
<property>
<name>hive.vectorized.input.format.excludes</name>
<value>org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat</value>
</property>
<!-- 是否合并Map输出的小文件 -->
<property>
<name>hive.merge.mapfiles</name>
<value>true</value>
</property>
<!-- 是否合并MapReduce输出的小文件 -->
<property>
<name>hive.merge.mapredfiles</name>
<value>false</value>
</property>
<!-- 是否启用CBO优化 -->
<property>
<name>hive.cbo.enable</name>
<value>false</value>
</property>
<!-- Fetch任务转换级别 -->
<property>
<name>hive.fetch.task.conversion</name>
<value>minimal</value>
</property>
<!-- 触发Fetch任务转换的数据量阈值(以字节为单位) -->
<property>
<name>hive.fetch.task.conversion.threshold</name>
<value>268435456</value>
</property>
<!-- Limit操作的内存使用百分比 -->
<property>
<name>hive.limit.pushdown.memory.usage</name>
<value>0.1</value>
</property>
<!-- 是否合并Spark任务输出的小文件 -->
<property>
<name>hive.merge.sparkfiles</name>
<value>true</value>
</property>
<!-- 合并小文件时的平均大小(以字节为单位) -->
<property>
<name>hive.merge.smallfiles.avgsize</name>
<value>16777216</value>
</property>
<!-- 每个任务合并的数据量(以字节为单位) -->
<property>
<name>hive.merge.size.per.task</name>
<value>268435456</value>
</property>
<!-- 是否启用重复消除优化 -->
<property>
<name>hive.optimize.reducededuplication</name>
<value>true</value>
</property>
<!-- 最小Reduce任务数以启用重复消除优化 -->
<property>
<name>hive.optimize.reducededuplication.min.reducer</name>
<value>4</value>
</property>
<!-- 是否启用Map端聚合 -->
<property>
<name>hive.map.aggr</name>
<value>true</value>
</property>
<!-- Map端聚合的哈希表内存比例 -->
<property>
<name>hive.map.aggr.hash.percentmemory</name>
<value>0.5</value>
</property>
<!-- 是否优化动态分区排序 -->
<property>
<name>hive.optimize.sort.dynamic.partition</name>
<value>false</value>
</property>
<!-- Hive执行引擎类型(mr、tez、spark) -->
<property>
<name>hive.execution.engine</name>
<value>mr</value>
</property>
<!-- Spark Executor的内存大小 -->
<property>
<name>spark.executor.memory</name>
<value>2572261785b</value>
</property>
<!-- Spark Driver的内存大小 -->
<property>
<name>spark.driver.memory</name>
<value>3865470566b</value>
</property>
<!-- 每个Spark Executor的核心数 -->
<property>
<name>spark.executor.cores</name>
<value>4</value>
</property>
<!-- Spark Driver的内存Overhead -->
<property>
<name>spark.yarn.driver.memoryOverhead</name>
<value>409m</value>
</property>
<!-- Spark Executor的内存Overhead -->
<property>
<name>spark.yarn.executor.memoryOverhead</name>
<value>432m</value>
</property>
<!-- 是否启用动态资源分配 -->
<property>
<name>spark.dynamicAllocation.enabled</name>
<value>true</value>
</property>
<!-- 动态资源分配的初始Executor数量 -->
<property>
<name>spark.dynamicAllocation.initialExecutors</name>
<value>1</value>
</property>
<!-- 动态资源分配的最小Executor数量 -->
<property>
<name>spark.dynamicAllocation.minExecutors</name>
<value>1</value>
</property>
<!-- 动态资源分配的最大Executor数量 -->
<property>
<name>spark.dynamicAllocation.maxExecutors</name>
<value>2147483647</value>
</property>
<!-- 是否在Hive元数据存储中执行setugi操作 -->
<property>
<name>hive.metastore.execute.setugi</name>
<value>true</value>
</property>
<!-- 是否支持并发操作 -->
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<!-- ZooKeeper服务器列表 -->
<property>
<name>hive.zookeeper.quorum</name>
<value>myhost04,myhost03,myhost02</value>
</property>
<!-- ZooKeeper客户端端口号 -->
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>
<!-- Hive使用的ZooKeeper命名空间 -->
<property>
<name>hive.zookeeper.namespace</name>
<value>hive_zookeeper_namespace_hive</value>
</property>
<!-- 集群委派令牌存储类 -->
<property>
<name>hive.cluster.delegation.token.store.class</name>
<value>org.apache.hadoop.hive.thrift.MemoryTokenStore</value>
</property>
<!-- 是否启用Hive Server2用户代理模式 -->
<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>
<!-- 是否启用Hive元数据存储的SASL认证 -->
<property>
<name>hive.metastore.sasl.enabled</name>
<value>true</value>
</property>
<!-- Hive Server2的认证方式 -->
<property>
<name>hive.server2.authentication</name>
<value>kerberos</value>
</property>
<!-- Hive元数据存储的Kerberos主体名称 -->
<property>
<name>hive.metastore.kerberos.principal</name>
<value>hive/[email protected]</value>
</property>
<!-- Hive Server2的Kerberos主体名称 -->
<property>
<name>hive.server2.authentication.kerberos.principal</name>
<value>hive/[email protected]</value>
</property>
<!-- 是否启用Spark Shuffle服务 -->
<property>
<name>spark.shuffle.service.enabled</name>
<value>true</value>
</property>
<!-- 是否在没有Limit操作的OrderBy语句中执行严格检查 -->
<property>
<name>hive.strict.checks.orderby.no.limit</name>
<value>false</value>
</property>
<!-- 是否在没有分区过滤条件的查询中执行严格检查 -->
<property>
<name>hive.strict.checks.no.partition.filter</name>
<value>false</value>
</property>
<!-- 是否执行严格的类型安全性检查 -->
<property>
<name>hive.strict.checks.type.safety</name>
<value>true</value>
</property>
<!-- 是否执行严格的笛卡尔积检查 -->
<property>
<name>hive.strict.checks.cartesian.product</name>
<value>false</value>
</property>
<!-- 是否执行严格的桶排序检查 -->
<property>
<name>hive.strict.checks.bucketing</name>
<value>true</value>
</property>
</configuration>
这些参数的具体值可以根据实际需求进行修改和配置,以满足您的Hive和Spark环境的要求。
文章浏览阅读884次,点赞25次,收藏20次。在Java中,全局变量和局部变量的概念通常与类变量(有时被认为是全局变量)和方法内的变量(局部变量)相关联。虽然Java本身没有全局变量的概念,但类的静态变量经常被用作全局变量。
文章浏览阅读1.1k次。配置过程分析:1: . ./build/envsetup.shincluding device/samsung/smdkv210/vendorsetup.sh------------------------------------------------------------------build/envsetup.sh末尾有:# Execute the contents o_export build_target 還原
文章浏览阅读450次。第四章 插入、更新与删除 4.1插入新纪录4.2插入默认值_insert into default
文章浏览阅读594次。ESD9B3.3ST5G是一款 双向ESD保护 TVS二极管,设计用于保护电压敏感型来自ESD的组件。良好的夹紧能力,低泄漏,而且,快速响应时间可为设计提供一流的保护:暴露在静电放电下。反应速度快,电容值低,体积小,集成度高,封装多样化,漏电流低,电压值低有助于保护敏感的电子电路。ESD9B3.3ST5G ESD静电保护二极管应用于手机和配件、便携式电子产品、工业控制设备、机顶盒、电子仪器仪表、服务器,笔记本电脑和台式机、显示端口等。
文章浏览阅读807次,点赞2次,收藏2次。宁波中软国际实习日记第一天:搭建开发环境1.0 JDK安装2.0 IDEA安装3.0 Tomcat安装、部署4.0 Maven安装、部署5.0 MySQL安装6.0 Notepad++安装1.0 JDK安装实习所用JDK版本是JDK8,在官网的下载页面找到Java SE 8u151/ 8u152的JDK download 按钮。点进去。双击安装程序后,一直点next就行。接下来是环境变..._中软国际实习日记
文章浏览阅读231次。要修改针对首页中的POST请求的测试。希望视图把新添加的待办事项存入数据库,而不是直接传给响应。为了测试这个操作,要在现有的测试方法test_can_save_a_post_request中添加3行新代码# lists/tests.pydeftest_can_save_a_post_request(self):response= self.client.post(‘/‘, data={‘item_..._django http post mysql
文章浏览阅读32次。整个系统以STM32 单片机作为核心控制器,通过DHT11检测温湿度,通过CO传感器检测CO浓度,通过火焰传感器检测火焰,通过红外传感器检测人,通过RFID模块检测刷卡,检测到的数据通过OLED显示并通过无线传输模块上传数据到手机APP,通过继电器控制水阀,通过蜂鸣器报警。
文章浏览阅读1.5k次,点赞2次,收藏7次。vertical-align的可选值为:1. bottom: 图片的底线和文字的底线对齐,2. baseline:默认,图片的底线和文字的基线对齐,3. middle: 图片的中线和文字的中线对齐,4. top:图片的顶线和文字的顶线对齐。不同浏览器对有些标签的默认值是不同的,为了消除不同浏览器对HTML文本呈现的差异,所以需要进行CSS初始化。当我们选择input输入框,进行文字输入的时候,边框会改变颜色。textarea默认可以在右下角进行拖拽,改变输入框的大小。CSS初始化参考如下。_html css input::cue
文章浏览阅读84次。一、疑问二、知识点1. 白化 白化操作的输入是特征基准上的数据,然后对每个维度除以其特征值来对数值范围进行归一化。该变换的几何解释是:如果数据服从多变量的高斯分布,那么经过白化后,数据的分布将会是一个均值为零,且协方差相等的矩阵。该操作的代码如下:# 对数据进行白化操作:# 除以特征值 Xwhite = Xrot / np.sqrt(S + 1e-5) 警告:夸大的噪声。注意分母..._人工神经网络系统中的静态数据
文章浏览阅读81次。MyEclipse 在线订购年终抄底促销!火爆开抢>>MyEclipse最新版下载使用REST Web Services来管理JPA实体。在逆向工程数据库表后生成REST Web服务,下面的示例创建用于管理博客条目的简单Web服务。你将学会:利用数据库逆向工程开发REST Web服务部署到Tomcat服务器使用REST Web服务资源管理器进行测试没有MyEcli..._myeclipse项目中不能选add rest web service compatibility
文章浏览阅读854次,点赞10次,收藏17次。校验的内容就是此对象是否重写了 finalize() 方法,如果该对象重写了 finalize() 方法,那么这个对象将会被存入到 F-Queue 队列中,等待 JVM 的 Finalizer 线程去执行重写的 finalize() 方法,在这个方法中如果此对象将自己赋值给某个类变量时,则表示此对象已经被引用了。它是指将内存分为大小相同的两块区域,每次只使用其中的一块区域,这样在进行垃圾回收时就可以直接将存活的东西复制到新的内存上,然后再把另一块内存全部清理掉。// 等待 finalize() 执行。
文章浏览阅读246次。LeetCode 1427. 字符串的左右移文章目录LeetCode 1427. 字符串的左右移题目描述一、解题关键词二、解题报告1.思路分析2.时间复杂度3.代码示例2.知识点总结相同题目题目描述给定一个包含小写英文字母的字符串 s 以及一个矩阵 shift,其中 shift[i] = [direction, amount]: direction 可以为 0 (表示左移)或 1 (表示右移)。 amount 表示 s 左右移的位数。 左移 1 位表示移除 s 的第一个字符,并_leetcode 1427 python