Elasticsearch索引详解

发表于 | 分类于

在ES中创建一个mapping映射类似于在数据库中定义表结构，即表里面有哪些字段、字段是什么类型、字段的默认值，分词器等；也类似于solr里面的模式schema的定义。

获取映射关系

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
GET /mydemo_01/_mapping

结果：
{
  "mydemo_01" : {
    "mappings" : {
      "user" : {
        "properties" : {
          "age" : {
            "type" : "long"
          },
          "idcard" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          },
          "name" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          }
        }
      }
    }
  }
}

索引

1、创建索引

在ES中创建一个索引类似于在数据库中建立一个数据库(ES6.0之后类似于创建一个表)

1
2
3
4
5
6
7
8
9
PUT demo_index
{
    "settings" : {
        "index" : { #可以省略
            "number_of_shards" : 3, 
            "number_of_replicas" : 2 
        }
    }
}

创建索引时加入别名定义

1
2
3
4
5
6
7
8
9
10
11
12
PUT twitter
{
    "aliases" : {
        "alias_1" : {},
        "alias_2" : {
            "filter" : {
                "term" : {"user" : "hu" }
            },
            "routing" : "hu"
        }
    }
}

2、创建mapping映射

mapping映射类似于在数据库中定义表结构，即表里面有哪些字段、字段是什么类型、字段的默认值等

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
PUT demo_index
{
    "settings" : {
        "index" : {
            "number_of_shards" : 3, 
            "number_of_replicas" : 2 
        }
    },
#映射
   "mappings" : {
        "type1" : {
            "properties" : {
                "field1" : { "type" : "text" }
            }
        }
    }
}

返回说明

1
2
3
4
5
{
  "acknowledged" : true, #索引创建成功
  "shards_acknowledged" : true, #所需数量的分片和副本创建成功
  "index" : "demo_index"
}

3、删除索引

DELETE /twitter 可以一次删除多个索引（以逗号间隔） 删除所有索引 _all 或 通配符 *

4、判断索引是否存在

HEAD twitter #HTTP status code 表示结果 404 不存在 ， 200 存在

5、修改索引的settings信息

索引的设置信息分为静态信息和动态信息两部分。静态信息不可更改，如索引的分片数。动态信息可以修改。

/_settings 更新所有索引的。

{index}/_settings 更新一个或多个索引的settings。

6、修改备份数

1
2
3
4
5
6
PUT /demo_index/_settings
{
    "index" : {
        "number_of_replicas" : 2
    }
}

7、设置其他

1
2
3
4
5
6
7
8
9
10
11
12
13
PUT /demo_index/_settings
{
    "index" : {
        "refresh_interval" : null  #设置默认值
    }
}

索引的读写
index.blocks.read_only：设为true,则索引以及索引的元数据只可读
index.blocks.read_only_allow_delete：设为true，只读时允许删除。
index.blocks.read：设为true，则不可读。
index.blocks.write：设为true，则不可写。
index.blocks.metadata：设为true，则索引元数据不可读写。

8、索引模板

模板中定义好settings、mapping、以及一个模式定义来匹配创建的索引。

注意：模板只在索引创建时被参考，修改模板不会影响已创建的索引

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#新增/修改名为tempae_1的模板，匹配名称为te* 或 demo*的索引创建
PUT _template/template_1
{
  "index_patterns": ["te*", "demo*"],
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
    "type1": {
      "_source": {
        "enabled": false
      },
      "properties": {
        "host_name": {
          "type": "keyword"
        },
        "created_at": {
          "type": "date",
          "format": "EEE MMM dd HH:mm:ss Z YYYY"
        }
      }
    }
  }
}

查看索引模板

GET /_template/template_1

GET /_template/temp*

GET /_template/template_1,template_2

GET /_template

删除模板

DELETE /_template/template_1

9、 打开/关闭索引

POST /demo_index/_close

POST /demo_index/_open

10、Shrink Index 收缩索引

索引的分片数是不可更改的，如要减少分片数可以通过收缩方式收缩为一个新的索引。新索引的分片数必须是原分片数的因子值，如原分片数是8，则新索引的分片数可以为4、2、1 。

收缩的流程：

1
2
3
4
5
先把所有主分片都转移到一台主机上；
在这台主机上创建一个新索引，分片数较小，其他设置和原索引一致；
把原索引的所有分片，复制（或硬链接）到新索引的目录下；
对新索引进行打开操作恢复分片数据；
(可选)重新把新索引的分片均衡到其他节点上。

将原索引设置为只读；

将原索引各分片的一个副本重分配到同一个节点上，并且要是健康绿色状态。

1
2
3
4
5
6
7
8
9
PUT /my_source_index/_settings
{
  "settings": {
    <!-- 指定进行收缩的节点的名称 -->
    "index.routing.allocation.require._name": "shrink_node_name", 
    <!-- 阻止写，只读 -->
     "index.blocks.write": true 
  }
}

进行收缩：

1
2
3
4
5
6
7
POST my_source_index/_shrink/my_target_index
{
  "settings": {
    "index.number_of_replicas": 1,
    "index.number_of_shards": 1, 
    "index.codec": "best_compression" 
  }}

监控收缩过程：

1
2
GET _cat/recovery?v
GET _cluster/health

11、Split Index 拆分索引

当索引的分片容量过大时，可以通过拆分操作将索引拆分为一个倍数分片数的新索引。能拆分为几倍由创建索引时指定的index.number_of_routing_shards 路由分片数决定。这个路由分片数决定了根据一致性hash路由文档到分片的散列空间。

如index.number_of_routing_shards = 30 ，指定的分片数是5，则可按如下倍数方式进行拆分：

1
2
3
5 → 10 → 30 (split by 2, then by 3)
5 → 15 → 30 (split by 3, then by 2)
5 → 30 (split by 6)

压缩索引相反

但是只有在创建时指定了index.number_of_routing_shards 的索引才可以进行拆分，ES7开始将不再有这个限制。

和solr的区别是，solr是对一个分片进行拆分，es中是整个索引进行拆分。

拆分步骤：

准备一个索引来做拆分：

1
2
3
4
5
6
7
8
PUT my_source_index
{
    "settings": {
        "index.number_of_shards" : 1,
        <!-- 创建时需要指定路由分片数 -->
        "index.number_of_routing_shards" : 2 
    }
}

先设置索引只读：

1
2
3
4
5
6
PUT /my_source_index/_settings
{
  "settings": {
    "index.blocks.write": true 
  }
}

做拆分：

1
2
3
4
5
6
7
POST my_source_index/_split/my_target_index
{
  "settings": {
    <!--新索引的分片数需符合拆分规则-->
    "index.number_of_shards": 2
  }
}

监控拆分过程：

1
2
GET _cat/recovery?v
GET _cluster/health

12、Rollover Index 别名滚动指向新创建的索引

ES的rollover index API 让我们可以根据满足指定的条件（时间、文档数量、索引大小）创建新的索引，并把别名滚动指向新的索引。

创建一个名字为logs-0000001 、别名为logs_write 的索引：

1
2
3
4
5
6
PUT /logs-000001 
{
  "aliases": {
    "logs_write": {}
  }
}

添加1000个文档到索引logs-000001，然后设置别名滚动的条件

1
2
3
4
5
6
7
8
POST /logs_write/_rollover 
{
  "conditions": {
    "max_age":   "7d",
    "max_docs":  1000,
    "max_size":  "5gb"
  }
}

说明：如果别名logs_write指向的索引是7天前（含）创建的或索引的文档数>=1000或索引的大小>= 5gb，则会创建一个新索引 logs-000002，并把别名logs_writer指向新创建的logs-000002索引

** Rollover Index 新建索引的命名规则：**

如果索引的名称是-数字结尾，如logs-000001，则新建索引的名称也会是这个模式，数值增1。

如果索引的名称不是-数值结尾，则在请求rollover api时需指定新索引的名称

1
2
3
4
5
6
7
8
POST /my_alias/_rollover/my_new_index_name
{
  "conditions": {
    "max_age":   "7d",
    "max_docs":  1000,
    "max_size": "5gb"
  }
}

** 在名称中使用Date math（时间表达式）**

如果你希望生成的索引名称中带有日期，如logstash-2016.02.03-1 ，则可以在创建索引时采用时间表达式来命名：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# PUT /<logs-{now/d}-1> with URI encoding:
PUT /%3Clogs-%7Bnow%2Fd%7D-1%3E 
{
  "aliases": {
    "logs_write": {}
  }
}

PUT logs_write/_doc/1
{
  "message": "a dummy log"
}

POST logs_write/_refresh
1
2
3
4
5
6
POST /logs_write/_rollover 
{
  "conditions": {
    "max_docs":   "1"
  }
}

** Rollover时可对新的索引作定义 **

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
PUT /logs-000001
{
  "aliases": {
    "logs_write": {}
  }
}

POST /logs_write/_rollover
{
  "conditions" : {
    "max_age": "7d",
    "max_docs": 1000,
    "max_size": "5gb"
  },
  "settings": {
    "index.number_of_shards": 2
  }
}

Dry run 实际操作前先测试是否达到条件：

1
2
3
4
5
6
7
8
POST /logs_write/_rollover?dry_run
{
  "conditions" : {
    "max_age": "7d",
    "max_docs": 1000,
    "max_size": "5gb"
  }
}

说明：

rollover是你请求它才会进行操作，并不是自动在后台进行的。你可以周期性地去请求它。

索引监控

查看索引状态信息

查看所有的索引状态：

GET /_stats

查看指定索引的状态信息：

GET /index1,index2/_stats

查看索引段信息

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-segments.html

GET /test/_segments

GET /index1,index2/_segments

GET /_segments

查看索引恢复信息

GET index1,index2/_recovery?human

GET /_recovery?human

查看索引分片的存储信息

GET /test/_shard_stores

GET /test1,test2/_shard_stores

GET /_shard_stores

索引状态管理

** Clear Cache 清理缓存**

POST /demo_index/_cache/clear

默认会清理所有缓存，可指定清理query, fielddata or request 缓存

POST /_cache/clear

** Refresh，重新打开读取索引**

POST /demo_index/_refresh

POST /_refresh

** Flush，将缓存在内存中的索引数据刷新到持久存储中 **

POST demo_index/_flush

** Force merge 强制段合并 **

POST /demo_index/_forcemerge?only_expunge_deletes=false&max_num_segments=100&flush=true
可选参数说明：

1
2
3
4
5
6
max_num_segments 合并为几个段，默认1
only_expunge_deletes 是否只合并含有删除文档的段，默认false
flush 合并后是否刷新，默认true

POST /demo_index,elasticsearch/_forcemerge
POST /_forcemerge

映射Mapping

静态映射

在ElasticSearch中也可以事先定义好映射，包含文档的各个字段及其类型等，这种方式称之为静态映射。

动态映射

ElasticSearch中不需要事先定义映射（Mapping），文档写入ElasticSearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。

索引创建mapping

1
2
3
4
5
6
7
8
9
10
11
12
13
14
PUT demo_index
{
<!--映射定义 -->
"mappings" : {
<!--名为type1的映射类别 mapping type-->
        "type1" : {
        <!-- 字段定义 -->
            "properties" : {
            <!-- 名为field1的字段，它的field datatype 为 text -->
                "field1" : { "type" : "text" }
            }
        }
    }
}

映射类别 Mapping type

从6.0.0开始限定仅包含一个映射类别定义（ “index.mapping.single_type”: true ），兼容5.x中的多映射类别。从7.0开始将移除映射类别。为了与未来的规划匹配，请现在将这个唯一的映射类别名定义为“_doc”,因为索引的请求地址将规范为：PUT {index}/_doc/{id} and POST {index}/_doc

字段类型 datatypes

Core Datatypes 核心类型

1
2
3
4
5
6
7
8
9
10
11
12
string
    text and keyword 
Numeric datatypes
    long, integer, short, byte, double, float, half_float, scaled_float 
Date datatype
    date 
Boolean datatype
    boolean 
Binary datatype
    binary 
Range datatypes     范围
    integer_range, float_range, long_range, double_range, date_range

Complex datatypes 复合类型

1
2
3
4
5
6
Array datatype
    数组就是多值，不需要专门的类型
Object datatype
    object ：表示值为一个JSON 对象 
Nested datatype
    nested：for arrays of JSON objects（表示值为JSON对象数组 ）

Geo datatypes 地理数据类型

1
2
3
4
Geo-point datatype
    geo_point： for lat/lon points  （经纬坐标点）
Geo-Shape datatype
    geo_shape： for complex shapes like polygons （形状表示）

Specialised datatypes 特别的类型

1
2
3
4
5
6
7
8
9
10
11
12
IP datatype
    ip： for IPv4 and IPv6 addresses 
Completion datatype
    completion： to provide auto-complete suggestions 
Token count datatype
    token_count： to count the number of tokens in a string 
mapper-murmur3
    murmur3： to compute hashes of values at index-time and store them in the index 
Percolator type
    Accepts queries from the query-dsl 
join datatype
    Defines parent/child relation for documents within the same index

字段定义属性介绍

字段的type (Datatype)定义了如何索引存储字段值，还有一些属性可以让我们根据需要来覆盖默认的值或进行特别定义。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
analyzer   指定分词器
normalizer   指定标准化器
boost        指定权重值
coerce      强制类型转换
copy_to    值复制给另一字段
doc_values  是否存储docValues
dynamic
enabled    字段是否可用
fielddata
eager_global_ordinals
format    指定时间值的格式
ignore_above
ignore_malformed
index_options
index
fields
norms
null_value
position_increment_gap
properties
search_analyzer
similarity
store
term_vector

如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
PUT my_index
{
  "mappings": {
    "_doc": {
      "properties": {
        "date": {
          "type":   "date",
           <!--格式化日期 -->
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        }
      }
    }
  }
}

Multi Field 多重字段

当我们需要对一个字段进行多种不同方式的索引时，可以使用fields多重字段定义。如一个字符串字段即需要进行text分词索引，也需要进行keyword 关键字索引来支持排序、聚合；或需要用不同的分词器进行分词索引。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
PUT my_index
{
  "mappings": {
    "_doc": {
      "properties": {
        "city": {
          "type": "text",
          "fields": {
            "raw": { 
              "type":  "keyword"
            }
          }
        }
      }
    }
  }
}

往多重字段里面添加文档

1
2
3
4
5
6
7
8
9
PUT my_index/_doc/1
{
  "city": "New York"
}

PUT my_index/_doc/2
{
  "city": "York"
}

获取多重字段的值：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
GET my_index/_search
{
  "query": {
    "match": {
      "city": "york" 
    }
  },
  "sort": {
    "city.raw": "asc" 
  },
  "aggs": {
    "Cities": {
      "terms": {
        "field": "city.raw" 
      }
    }
  }
}

元字段

元字段是ES中定义的文档字段，有这几种：_index，_uid，_type，_id。

动态映射

动态映射：ES中提供的重要特性，让我们可以快速使用ES，而不需要先创建索引、定义映射。 如我们直接向ES提交文档进行索引：

1
2
PUT data/_doc/1 
{ "count": 5 }

ES将自动为我们创建data索引、_doc 映射、类型为 long 的字段 count

索引文档时，当有新字段时， ES将根据我们字段的json的数据类型为我们自动加人字段定义到mapping中。

字段动态映射规则

Date detection 时间侦测：指我们往ES里面插入数据的时候会去自动检测我们的数据是不是日期格式的，是的话就会给我们自动转为设置的格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
date_detection 默认是开启的，默认的格式dynamic_date_formats为：

[ "strict_date_optional_time","yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"]
PUT my_index/_doc/1
{
  "create_date": "2015/09/02"
}

GET my_index/_mapping

 自定义时间格式：

PUT my_index
{
  "mappings": {
    "_doc": {
      "dynamic_date_formats": ["MM/dd/yyyy"]
    }
  }
}

禁用时间侦测：

PUT my_index
{
  "mappings": {
    "_doc": {
      "date_detection": false
    }
  }
}

Numeric detection 数值侦测

开启数值侦测（默认是禁用的）

1
2
3
4
5
6
7
8
PUT my_index
{
  "mappings": {
    "_doc": {
      "numeric_detection": true
    }
  }
}

索引别名

  1. 别名的用途
    如果希望一次查询可查询多个索引。
    如果希望通过索引的视图来操作索引，就像数据库库中的视图一样。

索引的别名机制，就是让我们可以以视图的方式来操作集群中的索引，这个视图可是多个索引，也可是一个索引或索引的一部分。

  1. 新建索引时定义别名

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    PUT /logs_20162801
    {
        "mappings" : {
            "type" : {
                "properties" : {
                    "year" : {"type" : "integer"}
                }
            }
        },
        <!-- 定义了两个别名 -->
        "aliases" : {
            "current_day" : {},
            "2016" : {
                "filter" : {
                    "term" : {"year" : 2016 }
                }
            }
        }
    }

  2. 创建别名 /_aliases

1
2
3
4
5
6
POST /_aliases
{
    "actions" : [
        { "add" : { "index" : "test1", "alias" : "alias1" } }
    ]
}

  1. 删除别名

    1
    2
    3
    4
    5
    6
    7
    8
    9
    POST /_aliases
    {
        "actions" : [
            { "remove" : { "index" : "test1", "alias" : "alias1" } }
        ]
    }
     还可以这样写

    DELETE /{index}/_alias/{name}

  2. 批量操作别名

    删除索引test1的别名alias1，同时为索引test2添加别名alias1

1
2
3
4
5
6
7
POST /_aliases
{
    "actions" : [
        { "remove" : { "index" : "test1", "alias" : "alias1" } },
        { "add" : { "index" : "test2", "alias" : "alias1" } }
    ]
}
  1. 为多个索引定义一样的别名

方式1：

1
2
3
4
5
6
7
POST /_aliases
{
    "actions" : [
        { "add" : { "index" : "test1", "alias" : "alias1" } },
        { "add" : { "index" : "test2", "alias" : "alias1" } }
    ]
}

方式2：

1
2
3
4
5
6
POST /_aliases
{
    "actions" : [
        { "add" : { "indices" : ["test1", "test2"], "alias" : "alias1" } }
    ]
}

注意：只可通过多索引别名进行搜索，不可进行文档索引和根据id获取文档。

方式3：通过统配符*模式来指定要别名的索引

1
2
3
4
5
6
7
POST /_aliases
{
    "actions" : [
        { "add" : { "index" : "test*", "alias" : "all_test_indices" } }
    ]
}
注意：在这种情况下，别名是一个点时间别名，它将对所有匹配的当前索引进行别名，当添加/删除与此模式匹配的新索引时，它不会自动更新。
  1. 带过滤器的别名

索引中需要有字段

1
2
3
4
5
6
7
8
9
10
11
12
PUT /test1
{
  "mappings": {
    "type1": {
      "properties": {
        "user" : {
          "type": "keyword"
        }
      }
    }
  }
}

过滤器通过Query DSL来定义，将作用于通过该别名来进行的所有Search, Count, Delete By Query and More Like This 操作。

1
2
3
4
5
6
7
8
9
10
11
12
POST /_aliases
{
    "actions" : [
        {
            "add" : {
                 "index" : "test1",
                 "alias" : "alias2",
                 "filter" : { "term" : { "user" : "kimchy" } }
            }
        }
    ]
}
  1. 带routing的别名

可在别名定义中指定路由值，可和filter一起使用，用来限定操作的分片，避免不需要的其他分片操作。

1
2
3
4
5
6
7
8
9
10
11
12
POST /_aliases
{
    "actions" : [
        {
            "add" : {
                 "index" : "test",
                 "alias" : "alias1",
                 "routing" : "1"
            }
        }
    ]
}

为搜索、索引指定不同的路由值

1
2
3
4
5
6
7
8
9
10
11
12
13
POST /_aliases
{
    "actions" : [
        {
            "add" : {
                 "index" : "test",
                 "alias" : "alias2",
                 "search_routing" : "1,2",
                 "index_routing" : "2"
            }
        }
    ]
}
  1. 以PUT方式来定义一个别名
    1
    2
    PUT /{index}/_alias/{name}
    PUT /logs_201305/_alias/2013
    带filter 和 routing 
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    PUT /users
    {
        "mappings" : {
            "user" : {
                "properties" : {
                    "user_id" : {"type" : "integer"}
                }
            }
        }
    }
1
2
3
4
5
6
7
8
9
PUT /users/_alias/user_12
{
    "routing" : "12",
    "filter" : {
        "term" : {
            "user_id" : 12
        }
    }
}
  1. 查看别名定义信息
    1
    2
    3
    4
    GET /{index}/_alias/{alias}
    GET /logs_20162801/_alias/*
    GET /_alias/2016
    GET /_alias/20*
分享到： 收藏夹 复制网址 邮件 微信 QQ空间 腾讯微博 豆瓣 一键分享 更多