技术标签： java Elasticsearch elasticsearch 分布式 大数据
Index Template和
Dynamic Template来更好的为我们管理和设置索引和mapping。
比如一个我们需要使用ES来做日志管理，我们都知道日志的数据量是十分庞大的，如果使用单个索引来保存所有日志数据的话，可能会存在一些性能问题。我们可以通过按天或月来自动生成index，这时候我们就可以用到IndexTemplate，可以为索引和ES集群提供更好的性能。
Index Template：可以帮助你设定Mapping和Setting，并按照一定的规则，自动匹配到新创建的索引上。
order的数值，来控制合并的过程。当一个索引被创建时，所引用的template规则如下：
比如，我们现在来创建又给默认模板，如果所创建的索引没有指定分片的话，就以当前模板配置为准。
put _template/template_default
{
"index_patterns":["*"],
"order":0,
"version":1,
"settings":{
"number_of_shards":1,
"number_of_replicas":1
}
}
然后我们不指定分片信息来创建一个索引，并获取索引的信息。
put template_index
--------------------
get template_index
--------------------
{
"template_index" : {
"aliases" : {
},
"mappings" : {
},
"settings" : {
"index" : {
"routing" : {
"allocation" : {
"include" : {
"_tier_preference" : "data_content"
}
}
},
"number_of_shards" : "1",
"provided_name" : "template_index",
"creation_date" : "1640524317827",
"number_of_replicas" : "1",
"uuid" : "e5zbL0_lQUyYWFkDqmx5xw",
"version" : {
"created" : "7160099"
}
}
}
}
}
可以看到索引已经按照我们设定的默认模板，来自动生成了分片的配置。
再创建一个模板，匹配规则为：索引的名称以template开头的，设定分片数量为1，副本数量为3。
date_detection：mapping设置，如果字符串符合日期的类型，就自动匹配为日期，true为开启，false为关闭
numeric_detection：mapping设置，如果字符串是数字的话，自动映射数字类型。
put _template/template_test
{
"index_patterns":["template*"],
"order":1,
"settings":{
"number_of_shards":1,
"number_of_replicas":3
},
"mappings":{
"date_detection":false,
"numeric_detection":true
}
}
我们创建一个匹配通配规则的索引，获取信息。可以看到如下，匹配到了template_test，因为template_default的order为0，所以以template_test的分片副本设置为准。
put template_index2
---------------------
get template_index2
---------------------
{
"template_index2" : {
"aliases" : {
},
"mappings" : {
"date_detection" : false,
"numeric_detection" : true
},
"settings" : {
"index" : {
"routing" : {
"allocation" : {
"include" : {
"_tier_preference" : "data_content"
}
}
},
"number_of_shards" : "1",
"provided_name" : "template_index2",
"creation_date" : "1640524532090",
"number_of_replicas" : "3",
"uuid" : "QsP_eZuhQKWiaGvF_6ux4A",
"version" : {
"created" : "7160099"
}
}
}
}
}
我们来插入一个文档，再获取mapping，看看ES是否自动将日期和数字做了转换。
put template_index2/_doc/1
{
"date":"2021-12-01T00:00:00.000Z",
"num":"10000"
}
-----------------------------------
{
"template_index2" : {
"mappings" : {
"date_detection" : false,
"numeric_detection" : true,
"properties" : {
"date" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"num" : {
"type" : "long"
}
}
}
}
}
可以看到，由于我们设置的 "date_detection":false,"numeric_detection":true。所以就算匹配到了date类型也会给到text的字段类型，数值类型被匹配到了long类型。
我们再创建一个匹配模板的索引，指定setting的分片和副本数量，看看是否会以我们设定的为准。
put template_index3
{
"settings":{
"number_of_shards":2,
"number_of_replicas":2
}
}
-----------------
{
"template_index3" : {
"aliases" : {
},
"mappings" : {
"date_detection" : false,
"numeric_detection" : true
},
"settings" : {
"index" : {
"routing" : {
"allocation" : {
"include" : {
"_tier_preference" : "data_content"
}
}
},
"number_of_shards" : "2",
"provided_name" : "template_index3",
"creation_date" : "1640524899092",
"number_of_replicas" : "2",
"uuid" : "nW7wNjmmQaqjgasWG8_7zQ",
"version" : {
"created" : "7160099"
}
}
}
}
}
由索引的mapping信息可以看到，当前这个索引时匹配到了template_test这个模板的，但是由于我们在创建索引的时候指定了分片和副本的信息，所以以我们指定的为准。
上面我们讲了Index Template，主要是在创建索引的时候，来根据template的统配规则，确定当前创建的索引是否符合，从而将template里面的配置信息应用在我们新创建的索引中，通常应用于要生成相同配置的索引场景下，比如日志数据管理、统一索引管理等。
Dynamic Template主要是应用于具体的索引中去的，定义在某个索引的mapping设置中，会根据我们设定的数据类型，匹配一些设定的规则，来动态设定字段类型。
比如：字符串全匹配Keyword、is开头的字段设置为boolean，long_开头的字段设置为long等等…都可以由我们来设置模板动态匹配，为匹配到的字段自定设置我们自定义的字段类型。
比如我们创建一个索引，需要将索引中的字段name中的子字段给copy_to到一个新字段full_name以供查询，但是name中的address属性是不需要的。
put template_mapping
{
"mappings":{
"dynamic_templates":[
{
"full_name":{
"path_match":"name.*",
"path_unmatch":"*.address",
"mapping":{
"type":"text",
"copy_to":"full_name"
}
}
}
]
}
}
然后我们插入一个文档
put template_mapping/_doc/1
{
"name":{
"first":"程",
"middle":"大",
"last":"帅",
"address":"上海市汤臣一品"
}
}
获取下ES根据我们设定的Dynamic Template自动生成的mapping。
get template_mapping/_mapping
---------------------------
{
"template_mapping" : {
"mappings" : {
"dynamic_templates" : [
{
"full_name" : {
"path_match" : "name.*",
"path_unmatch" : "*.address",
"mapping" : {
"copy_to" : "full_name",
"type" : "text"
}
}
}
],
"date_detection" : false,
"numeric_detection" : true,
"properties" : {
"full_name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"name" : {
"properties" : {
"address" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"first" : {
"type" : "text",
"copy_to" : [
"full_name"
]
},
"last" : {
"type" : "text",
"copy_to" : [
"full_name"
]
},
"middle" : {
"type" : "text",
"copy_to" : [
"full_name"
]
}
}
}
}
}
}
}
同时因为fulfill_name是由name.*中的数据copy_to而来的，所以我们可以对其进行搜索，但是在文档的_srouce中，不存在这个字段。
get template_mapping/_search
{
"query":{
"match":{
"full_name": "程"
}
}
}
------------------------
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 1,
"relation" : "eq"
},
"max_score" : 0.2876821,
"hits" : [
{
"_index" : "template_mapping",
"_type" : "_doc",
"_id" : "1",
"_score" : 0.2876821,
"_source" : {
"name" : {
"first" : "程",
"middle" : "大",
"last" : "帅",
"address" : "上海市汤臣一品"
}
}
}
]
}
}
文章浏览阅读90次。【代码】js-选项卡原理。_选项卡js原理
文章浏览阅读67次。原型模式是一种对象创建型模式，它采用复制原型对象的方法来创建对象的实例。它创建的实例，具有与原型一样的数据结构和值分为深度克隆和浅度克隆。浅度克隆：克隆对象的值类型（基本数据类型），克隆引用类型的地址；深度克隆：克隆对象的值类型，引用类型的对象也复制一份副本。UML图：具体代码：浅度复制：import java.util.List;/*..._prototype 设计模式
文章浏览阅读59次。入选国内首批云计算服务创新发展试点城市的北京、上海、深圳、杭州和无锡起到了很好的示范作用，不仅促进了当地产业的升级换代，而且为国内其他城市发展云计算产业提供了很好的借鉴。据了解，目前国内至少有20个城市确定将云计算作为重点发展的产业。这势必会形成新一轮的云计算基础设施建设的**。由于云计算基础设施建设具有投资规模大，运维成本高，投资回收周期长，地域辐射性强等诸多特点，各地在建...
文章浏览阅读9.4k次，点赞2次，收藏20次。一、功能及目的 在每个STM32的芯片上都有两个管脚BOOT0和BOOT1，这两个管脚在芯片复位时的电平状态决定了芯片复位后从哪个区域开始执行程序。BOOT1=x BOOT0=0 // 从用户闪存启动，这是正常的工作模式。BOOT1=0 BOOT0=1 // 从系统存储器启动，这种模式启动的程序_stm32boot0和boot1作用
文章浏览阅读3.4k次，点赞2次，收藏22次。C语言函数递归调用_c语言函数递归调用
文章浏览阅读410次。明日方舟bilibili服是一款天灾驾到战斗热血的创新二次元废土风塔防手游，精妙的二次元纸片人设计，为宅友们源源不断更新超多的纸片人老婆老公们，玩家将扮演废土正义一方“罗德岛”中的指挥官，与你身边的感染者们并肩作战。与同类塔防手游与众不同的几点，首先你可以在这抽卡轻松获得稀有，同时也可以在战斗体系和敌军走位机制看到不同。明日方舟bilibili服设定：1、起因不明并四处肆虐的天灾，席卷过的土地上出..._明日方舟抽卡模拟器
文章浏览阅读437次。Maven上传Jar到私服报错：ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all
文章浏览阅读1.2k次。斐波那契数列（Fibonacci Sequence）是由如下形式的一系列数字组成的：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, …上述数字序列中反映出来的规律，就是下一个数字是该数字前面两个紧邻数字的和，具体如下所示：示例：比如上述斐波那契数列中的最后两个数，可以推导出34后面的数为21+34=55下面是一个更长一些的斐波那契数列：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584,_斐波那契日
文章浏览阅读363次。PHP必会面试题1. 基础篇1. 用 PHP 打印出前一天的时间格式是 2017-12-28 22:21:21？ //>>1.当前时间减去一天的时间，然后再格式化echo date('Y-m-d H:i:s',time()-3600*24);//>>2.使用strtotime，可以将任何字符串时间转换成时间戳，仅针对英文echo date('Y-m-d H:i:s',str..._//该层循环用来控制每轮 冒出一个数 需要比较的次数
文章浏览阅读1.3k次，点赞26次，收藏26次。windows下用mingw编译opencv貌似不支持cuda，选cuda会报错，我无法解决，所以没选cuda，下面两种编译方式支持。打开cmake gui程序，在下面两个框中分别输入opencv的源文件和编译目录，build-mingw为你创建的目录，可自定义命名。1、如果已经安装Qt，则Qt自带mingw编译器，从Qt安装目录找到编译器所在目录即可。1、如果已经安装Qt，则Qt自带cmake，从Qt安装目录找到cmake所在目录即可。2、若未安装Qt，则安装Mingw即可，参考我的另外一篇文章。_opencv mingw contrib
文章浏览阅读10w+次，点赞42次，收藏309次。今天给大家推荐5个好用且免费的简历模板网站，简洁美观，非常值得收藏！1、菜鸟图库https://www.sucai999.com/search/word/0_242_0.html?v=NTYxMjky网站主要以设计类素材为主，办公类素材也很多，简历模板大部个偏简约风，各种版式都有，而且经常会更新。最重要的是全部都能免费下载。2、个人简历网https://www.gerenjianli.com/moban/这是一个专门提供简历模板的网站，里面有超多模板个类，找起来非常方便，风格也很多样，无须注册就能免费下载，_hoso模板官网
文章浏览阅读142次。你听说过吗？该计划可让您以推广您的产品并在成功销售时支付佣金。它提供了新的营销渠道，使您的产品呈现在更广泛的受众面前并提高品牌知名度。此外，TikTok Shop联盟可以是一种经济高效的产品或服务营销方式。您只需在有人购买时付费，因此不存在在无效广告上浪费金钱的风险。这些诱人的好处是否足以让您想要开始您的TikTok Shop联盟活动？如果是这样，本指南适合您。_tiktok联盟