elasticsearch文档Delete By Query API(二)

上文向读者介绍了 DeleteByQuery中一些常见的URL参数以及响应字段等,本文来继续看 DeleteByQuery中的其他点。

本文是Elasticsearch系列的第十三篇,阅读前面的文章,有助于更好的理解本文:


1.elasticsearch安装与配置
2.初识elasticsearch中的REST接口
3.elasticsearch修改数据
4.elasticsearch文档操作
5.elasticsearch API约定(一)
6.elasticsearch API约定(二)
7.elasticsearch文档读写模型
8.elasticsearch文档索引API(一)
9.elasticsearch文档索引API(二)
10.elasticsearch文档Get API
11.elasticsearch文档Delete API
12.elasticsearch文档Delete By Query API(一)


4.Works with the Task API

开发者可以利用Task API获取任何正在运行的 deletebyquery操作的状态,如下:

curl -X GET "localhost:9200/_tasks?detailed=true&actions=*/delete/byquery&pretty"

请求执行结果类似下面这样:

640?wx_fmt=png

这个对象包含实际状态,和elasticsearch文档Delete By Query API(一)中提到的Response Body类似,不同的是这里增加了total字段,total是reindex期望执行的操作总数,开发者可以通过添加updated,created以及deleted字段来估计进度,请求将在这些字段总和等于total字段时结束。

通过Task ID,开发者可以直接查找任务,如下:

curl -X GET "localhost:9200/_tasks/j3neBny-TnKarVjzXIC3Eg:6736?pretty"

执行结果如下:

640?wx_fmt=png

此API的优势在于它可以集成 wait_for_completion=false,进而透明地返回任务执行状态。如果任务已完成并且 wait_for_completion=false也已经设置,则它将返回 results或者一个error字段,使用这个功能的会自动创建.tasks/task/${taskId},当然开发者可以删除该文档。

5.Works with the Cancel Task API

任何的 deletebyquery操作都可以使用Task Cancel API取消,如下:

curl -X POST "localhost:9200/_tasks/r1A2WoRbTwKZ516z6NEs5A:36619/_cancel?pretty"

通过上一小节的请求可以获取到Task ID。
取消应该尽快操作但是依然可能需要花费几秒钟,上面的Task API也会列出Task,直到该Task被唤醒取消自己。

6.Rethrottling

requestpersecond的值可以在 deletebyquery期间使用 _rethrottle API进行修改:

curl -X POST "localhost:9200/_delete_by_query/r1A2WoRbTwKZ516z6NEs5A:36619/_rethrottle?requests_per_second=-1"

通过上一小节的请求可以获取到Task ID。

就像在 _delete_by_query API中设置节流参数一样, request_per_second如果为-1表示禁用限制,或者任何十进制数字,如1.7或12,以节流到该级别,对于加速查询的会立即生效,但是对于减慢查询的,则是在完成当前批处理之后才会生效,这样可以防止滚动超时。

7.Slicing

delete by query 支持 sliced scroll 进而实现并行化删除,这种并行化可以提高效率,并提供一种方便的方法将请求分解为更小的部分。

7.1 Manually slicingedit

首先可以手动的进行并行化处理,如下:

curl -X POST "localhost:9200/twitter/_delete_by_query?pretty" -H 'Content-Type: application/json' -d'	
{	
  "slice": {	
    "id": 0,	
    "max": 2	
  },	
  "query": {	
    "range": {	
      "likes": {	
        "lt": 10	
      }	
    }	
  }	
}	
'	
curl -X POST "localhost:9200/twitter/_delete_by_query?pretty" -H 'Content-Type: application/json' -d'	
{	
  "slice": {	
    "id": 1,	
    "max": 2	
  },	
  "query": {	
    "range": {	
      "likes": {	
        "lt": 10	
      }	
    }	
  }	
}	
'

开发者只需要指定一个slice id和slice数量即max,这里的slice id不能大于max。

接下来通过如下方式可以验证:

curl -X GET "localhost:9200/_refresh?pretty"	
curl -X POST "localhost:9200/twitter/_search?size=0&filter_path=hits.total&pretty" -H 'Content-Type: application/json' -d'	
{	
  "query": {	
    "range": {	
      "likes": {	
        "lt": 10	
      }	
    }	
  }	
}	
'

一个合理的执行结果类似下面这样:

640?wx_fmt=png

7.2 Automatic slicingedit

开发者还可以通过使用切片的 _uid来让 deletebyquery自动并行执行,此时,只需要指定slices数量即可,如下:

curl -X POST "localhost:9200/bank/_delete_by_query?refresh&slices=5&pretty" -H 'Content-Type: application/json' -d'	
{	
  "query": {	
    "match_all": {}	
  }	
}	
'

执行结果如下,可以看到每次删除的文档数量:

640?wx_fmt=png

开发者也可以通过如下请求去验证:

curl -X POST "localhost:9200/bank/_search?size=0&filter_path=hits.total&pretty" -H 'Content-Type: application/json' -d'	
{	
  "query": {	
    "match_all": {}	
  }	
}	
'

验证结果如下:

640?wx_fmt=png

设置slices为auto将让Elasticsearch选择要使用的切片数,此设置将使每个分片一个切片,达到限制后,如果有多个源索引,它将根据具有最小分片数量的索引选择切片数。

将slices添加到deleteby_query中可以自动执行上述手动切片过程,创建子请求,这意味着它有如下特点:

  1. 开发者可以在Tasks API中查看这些请求,这些子请求是具有slices请求任务的“子”任务。

  2. 获取slices请求的状态仅包含已完成切片的状态。

  3. 这些子请求可单独寻址,例如取消和重置节流。

  4. 对slices请求重置节流操作,将按比例重新调整未完成的子请求。

  5. 取消slices请求将取消每个子请求。

  6. 在slices中,每个子请求将无法获得完全均匀的文档部分,所有文档都将被处理,但是分片大小可能不一。

  7. 带有slices请求的requestpersecond和size的参数相应的分配给每个子请求。

  8. 每个子请求都会获得源索引的略有不同的快照,尽管这些都是在大约相同的时间进行的。

7.3 Picking the number of slicesedit

如果自动切片,设置slices为auto将为大多数索引选择合理的数字。如果开发者手动切片或以其他方式调整自动切片,请看下面的指南:

  1. 当slices数量等于索引中的分片数时,查询性能最有好,但是如果数字很大(例如,500),那么还是请选择较小的数字,因为太多slices会损害性能。另外,设置 slices数量高于分片数通常不会提高效率。

  2. 删除性能在可用资源上以切片数量线性增长。

  3. 查询或删除性能是否主导运行取决于reindexing的文档和集群资源。

好了,本文就先说到这里,有问题欢迎留言讨论。

▼往期精彩回顾▼ Docker教程 Redis教程 SpringCloud教程 Git教程 MongoDB教程 SpringBoot+Vue前后端分离开源项目-微人事 SpringBoot+Vue前后端分离开源项目-V部落

640?wx_fmt=png

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页