技术标签: Elasticsearch elasticsearch
因为 es 索引结构特性当我们对现有索引新增字段时并不会影响历史数据,并且如果没有写入这个字段值时,也不会有默认值
所以有时我们需要对历史数据设置默认值
PUT my_index/_mapping
{
"properties": {
"字段":{
"type": "类型"
}
}
}
POST my_index/_update_by_query
{
"script": {
"lang": "painless",
"source": "if (ctx._source.字段== null) {ctx._source.字段= '0'}"
}
}
如果数据量较大,会出现 timeout 情况,这时,可以通过设置超时时间进行处理,或者提前使用query语句进行过滤。如下:
POST organization_community_index/_update_by_query
{
"script": {
"lang": "painless",
"source": "if (ctx._source.字段== null) {ctx._source.字段= '0'}"
},
"query":{
"match": {
"字段": "特殊字段"
}
},"timeout": "10s"
}
如果数据量大到,在设置超时时间后依旧会超时,则可以使用后台执行,在查询路径后面添加参数?wait_for_completion=false
POST organization_community_index/_update_by_query?wait_for_completion=false
{
"script": {
"lang": "painless",
"source": "if (ctx._source.字段== null) {ctx._source.字段= '0'}"
},
"query":{
"match": {
"字段": "特殊字段"
}
}
}
他会返回一个后台任务 id
{
"task" : "Hzl9nI4MS2mFkrTirsWDeg:9124874"
}
通过task 接口查询任务完成情况
GET _tasks/Hzl9nI4MS2mFkrTirsWDeg:9124874
处理中的查询结果如下:
{
"completed" : false, // 这里会显示任务是否完成,当前状态未完成
"task" : {
"node" : "Hzl9nI4MS2mFkrTirsWDeg",
"id" : 9129756,
"type" : "transport",
"action" : "indices:data/write/update/byquery",
"status" : {
"total" : 457828, // 这里标记需要处理记录的总数
"updated" : 25000, // 这里显示已经更新的数量
"created" : 0,
"deleted" : 0,
"batches" : 26,
"version_conflicts" : 0,
"noops" : 0,
"retries" : {
"bulk" : 0,
"search" : 0
},
"throttled_millis" : 0,
"requests_per_second" : -1.0,
"throttled_until_millis" : 0
},
"description" : "update-by-query [organization_community_index] updated with Script{type=inline, lang='painless', idOrCode='if (ctx._source.type== 'court') {ctx._source.court=ctx._source.court}', options={}, params={}}",
"start_time_in_millis" : 1623290578163, // 开始时间 时间戳
"running_time_in_nanos" : 5749019391, // 已经运行时间 纳秒
"cancellable" : true, // 当前任务可以取消,但是因为es 没有事务,就算取消,已经更新的数据不会回退
"headers" : {
}
}
}
处理完成结果如下,注意如果有错误的话,会有相应的 error 字段对错误进行描述
{
"completed" : true,
"task" : {
"node" : "Hzl9nI4MS2mFkrTirsWDeg",
"id" : 9129756,
"type" : "transport",
"action" : "indices:data/write/update/byquery",
"status" : {
"total" : 457828,
"updated" : 457828,
"created" : 0,
"deleted" : 0,
"batches" : 458,
"version_conflicts" : 0,
"noops" : 0,
"retries" : {
"bulk" : 0,
"search" : 0
},
"throttled_millis" : 0,
"requests_per_second" : -1.0,
"throttled_until_millis" : 0
},
"description" : "update-by-query [organization_community_index] updated with Script{type=inline, lang='painless', idOrCode='if (ctx._source.type== 'court') {ctx._source.court=ctx._source.court}', options={}, params={}}",
"start_time_in_millis" : 1623290578163,
"running_time_in_nanos" : 91446334635,
"cancellable" : true,
"headers" : {
}
},
"response" : {
"took" : 91446,
"timed_out" : false,
"total" : 457828,
"updated" : 457828,
"created" : 0,
"deleted" : 0,
"batches" : 458,
"version_conflicts" : 0,
"noops" : 0,
"retries" : {
"bulk" : 0,
"search" : 0
},
"throttled" : "0s",
"throttled_millis" : 0,
"requests_per_second" : -1.0,
"throttled_until" : "0s",
"throttled_until_millis" : 0,
"failures" : [ ]
}
}
文章浏览阅读698次。#pragma once #include <deque>#include <condition_variable>template <typename T>class MsgList { public: void add(const T& msg) { std::unique_lock<std::mutex> lock(mutex); queue.
文章浏览阅读551次,点赞8次,收藏8次。重点:项目和文档是本人近期原创所作!程序可以将水表图片里面的数据进行深度学习,提取相关信息训练,lw1.3万字重复15%,可以直接上交那种!具体和看下面的目录。python水表识别,图像识别深度学习 CNN,Opencv,Keras。_水表 深度学习 识别
文章浏览阅读288次。遥感图像方面的人工智能数据集数据集类别常用数据集目标检测数据集DSTL 卫星图像数据集;RSOD-Dataset 数据集;NWPUVHR-10地理遥感数据集图像分割数据集Inria AerialImage Labeling Dataset 遥感图像数据集遥感图像分类数据集UCMerced Land-Use Data Set 土地遥感数据集_群智感知 图像数据集
文章浏览阅读2.9k次,点赞3次,收藏11次。如何在pycharm中安装opencv_opencv_python安装镜像
文章浏览阅读595次,点赞2次,收藏8次。我的小站SSM项目需要用来管理依赖,所以我们需要先配置好,配置很容易,我就不演示了。首先,我们新建项目,勾选,选择模板,然后创建。这里耐心等待下载完成。可以看到,这里没用相关的文件夹。我们直接在文件夹上右键新建文件夹,下面会显示一个,直接创建就可以。此时,我们按照规范来,创建一个包。项目结构多种多样,比如三层架构啥的,按照你的需求来。我这里就稍微演示一下。这里这些结构都是可以自己按照规范命名,结构也有很多,分层架构方法也有很多,这里权当借鉴一下。我这里整合了一份依赖,如需使用可按照自己需求和对于版本进_idea创建ssm web项目
文章浏览阅读3.2k次。2022年-2023年中职网络安全web渗透任务整理合集_server2280 中职组
文章浏览阅读1.3k次,点赞27次,收藏19次。我原本以为是很简单的事情,但是没想到实际做起来还是有很多的基础知识点的。我们平常写TabControl的时候,可能都很习惯了直接写TabControl+TabItem。但是TabControl负责了什么布局,TabItem负责了什么布局,我们都不知道。在《深入浅出WPF》中,我们可以看到TabControl属于ItemsControl我们去看看控件模板样式副本。WPF的xaml的优点是每个控件都是单独的逻辑,耦合低。缺点是写起来麻烦,每次改动约等于重新写一个新的。通过增加自己的工作量来降低了耦合我们可以看_wpf 使用tabcontrol如何给切换的页面增加滚动条
文章浏览阅读2.1k次,点赞24次,收藏47次。Apache Jmeter常用插件下载及安装_jmeter插件下载
文章浏览阅读5.9k次,点赞6次,收藏18次。实际上Mybatis的整合过程像极了我们程序员的一生。在SpringBoot 整合Mybatis之前,我们回忆回忆以前 MyBatis 单独使用时,myBatis 核心配置文件要配置数据源、事务、连接数据库账号、密码....是的全是这货一个人干,都要亲力亲为。这就是我们的低谷期myBatis 与 spring 整合的时候,配置数据源、事务、连接数据库的账号什么的都交由 spring 管理就行,就不用什么都自己管理自己去干。这就是我们春风得意的时候,事业有着落...再后来,Spring_springboot2.1.5整合mybatis不需要配置mapper-locations
文章浏览阅读162次。原标题:颤抖吧 iOS, Android 8.0正式发布!如果现在选一个最好用的手机操作系统,多数人还是认为 iOS。不过最近几年,苹果和安卓的竞争越来越激烈,苹果的优势也越来越小。眼看 Android 8.0 就要来了,下面就让我们扒一扒 Android 8.0 到底有哪些更新? 后台限制机制,从此告别卡顿安卓手机比较坑爹的一个地方就是后台越多应用,就会越卡顿,导致用户需要偶尔清理后台,一定程度..._苹果刷安卓8
文章浏览阅读344次。如果不使用halcon引擎,直接调用lines_gauss虽然内存会飙升,但是属于图片占用的内存还是会立刻被释放,但是如果在halcon引擎中,这个就会释放很慢,如果连续处理图片,你的内存就会“爆炸”!一个6M的图片通过halcon进行加载,大约会消耗200M的内存,如果等待GC回收,而你又在不停的读取图片,你的内存占用,将在短时间内飙升。目前给我的感觉是,如果我封装了一个算子,然后通过halcon引擎调用,然后这个算子需要传入图片参数,这个图片传入引擎后,过很久才会被释放掉。_halcon 读二维码占内存
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure