蓝闪博客-CSDN博客

原创 ES实战-trying to create too many buckets

ES踩坑，使用es的bucket做聚合桶查询时，当数据差异性较大或者数据离散比较大，桶爆炸就会出现，本文带你深度了解桶爆炸出现原因以及给出规避方案供你参考。

2024-02-28 21:51:32 435

原创 ES实战-熔断器

高的 JVM 内存压力经常导致断路器错误。可能导致 JVM 使用率暴增的原因列举如下。ES通过断路器的设置，来保护集群内存不超过设定值，从而保证集群的稳定性。

2024-02-28 21:44:26 345

分布式存储引擎的深度分页目前没有完美的解决方案。比如针对百度、google这种全文检索的查询，通过From+ size返回Top 10000 条数据完全能满足使用需求，末尾查询评分非常低的结果一般参考意义都不大。From+ size：需要随机跳转不同分页（类似主流搜索引擎）、Top 10000 条数据之内分页显示场景。search_after：仅需要向后翻页的场景及超过Top 10000 数据需要分页场景。Scroll：需要遍历全量数据场景。

2024-02-28 21:36:17 859

原创 ES实战-result window is too large

在很多业务场景中经常需要查询10000条以后的数据，当遇到不能查询10000条以后的数据的问题之后，网上的很多答案会告诉你可以通过放开这个参数的限制，将其配置为100万，甚至1000万就行。假设我们的ES有三个节点，当分页查询请求过来时，如果落到node1节点，那么node1节点将会向node2和node3发送同样的查询请求，每个节点将topN的文档返回（这里只返回文档的id以及打分排序的字段，减少数据传输），node1会对三个节点的所有文档（3。报错信息的解释为当前查询的结果超过了10000的最大值。

2024-02-28 21:34:26 2145

原创 ES 常见参数阈值

在很多业务场景中经常需要查询10000条以后的数据，当遇到不能查询10000条以后的数据的问题之后，网上的很多答案会告诉你可以通过放开这个参数的限制，将其配置为100万，甚至1000万就行。如果你不知道这个参数的意义，很可能导致的后果就是频繁的发生OOM而且很难找到原因，设置一个合理的大小是需要通过你的各项指标参数来衡量确定的，比如你用户量、数据量、物理内存的大小、分片的数量等等。解释：max_result_window是查询的最大数值，默认值为10000。解释：场的最大深度，以内部对象的数量来衡量。

2024-02-28 21:28:04 824