- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 基于match_phrase搜索的分词优化
一种全新的细粒度分词，主要是为了解决match_phrase 搜索的性能问题。纠正了中文分词的position处理的问题。
2023-11-05 02:55:26
224
原创 python arm 基础镜像构建
之前公司运行的docker 环境是 x86 基础 上的，但是由于为兼顾国产化，要求开发对应的 ARM 版docker 镜像；但是构架机上无法连接公网，导致一些之前的包下载不了；特此记录实现的过程。由于Python 是高级语言，对底层的依赖比较少，所以采用文件复制的办法实现x86 docker 到 arm64的迁移实现；# 首先将x86 版本的基础镜像运行起来docker run --rm -ti python_x86:v2.7 bash# 查看 site-packages 所在位置root@8
2022-01-21 23:26:52
1579
原创 elasticsearch OOM
elasticsearch OOM一次 elasticsearch挂掉，查看日志显示是 java.lang.OutOfMemoryError ，并且报错是由 netty 报出来的。netty 是节点间或 外部对 ES 集群的通信组件；[2022-01-21T11:17:29,031][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [web8.es0] fatal error in thread [Thread-322], exitingjava
2022-01-21 13:13:06
1542
原创 在elasticsearch 中更好的处理同义词
需求使用 ES 进行作为搜索引擎时一般会出现这样的场景，有一个同义词表，当查询时，也能命中到同义词。举例来说，画图,绘图 是一对同义词，当用户搜索 画图 时， 我们往往希望包含绘图 的doc 也在召回结果中。实现1，query time思路是在query 时，扩大搜索范围，比如说搜索 绘图 ，首先查询同义词库，然后在搜索的时候，添加同义词搜索：# 原搜索词 给一个较高的权重，其他同义词给一个较低的权重 GET test_synonym_3/_search{ "query": { "
2021-06-22 10:03:27
1117
2
原创 elasticsearch synonym filter 使用思考
ES synonym filter为了进行扩为了进行扩召回，一种有效的方式是添加同义词，加入同义词后扩大了搜索范围同时也带来了两个问题：term query 原词需要比同义词有更高的评分# 发现结果中 原词和同义词 具有同样的权值GET learning_test_03/_search{ "_source": "post_title", "explain": true, "query": { "term": { "post_title.jieba_dic_a
2021-03-19 21:43:59
776
原创 elasticsearch explain 和 Lucene explain 比较
elasticsearch explain 和 Lucene explain 比较此博客是基于 elasticsearch7.X 写的Lucene ：Query query = new TermQuery(new Term("content", "a"));int resultTopN = 5;ScoreDoc [] scoreDocs = searcher.search(query, resultTopN).scoreDocs;for (int i = 0; i < scoreDocs
2021-02-27 18:39:33
188
原创 elasticsearch 快照介绍
快照用于保存运行着的elasticsearch 集群中运行的数据，可以将一个或多个 index 保存到 repository(仓库中)，同一个 repo 的不同快照之间的数据是增量添加的，也就是说snap_1 ,之后再创建 snap_2 ,那么snap_2 只保存 snap_1 和 snap_2 之间的增量数据。因此可以比较高效的保存数据了。保存起来的 snapshot 通过 restore ...
2020-05-02 16:04:46
1983
原创 elasticsearch 写入流程分析
ES 写入流程ES是一个底层为Lucene的搜索框架，封装了Lucene的复杂性，写入到ES 的文当是近实时搜索的，原因是Lucene只支持归档的数据才能被搜索到。在ES的话术中搜索是按照段（segment）来搜索的，这样导致一个新的文档从索引到可被搜索的延迟显著降低了。新文档在几分钟之内即可被检索，但这样还是不够快。磁盘在这里成为了瓶颈。提交（Commiting）一个新的段到磁盘需要一个...
2020-05-02 15:25:03
442
原创 在k8s pod container 中写入多行命令
一般情况下，k8s 在 Job 或 CronJob 中只需要写入简单的 shell 命令，而对于需要执行脚本的话，需要将 脚本 挂载到configMap中，然后将其挂载到 volume 上，然后执行 xxxx.sh但是对于介于一两行和复杂的shell 之间采用多行方式执行，以下介绍三种：1，种apiVersion: v1kind: Podmetadata: name: my-...
2019-12-04 23:00:39
9982
1
原创 elasticsearch plugin 报错 java.lang.RuntimePermission "getClassLoader"
编写elasticsearch插件时，很容易出现权限问题。java.lang.RuntimePermission "getClassLoader"。解决方案：https://www.elastic.co/guide/en/elasticsearch/plugins/current/plugin-authors.html具体来说：1，在插件根目录下 新建plugin-secur...
2019-06-19 20:46:23
2307
原创 kafka consumer 停止消费topic
现象在kafka consumer (以 kafka1.0.0为例)消费 topic 时，常常会出现程序还在运行，但是已经不消费消息了(kafka producer正常生产消息)，使用kafka命令查看，kafka 已经没有consumer 的信息了。实验用例实验 kafka consumer 实现：package com.muhao.kafka;import java.util.Arrays...
2018-04-07 12:23:10
25486
5
原创 jstorm storm 入门demo
jstorm和storm比较jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：1，开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout，Bolt的编程规范即可开发出一个扩展性极好的应用，底层rpc，worker之间冗余，数据分流之类的动作完全不用考虑。2，扩展性极好:当一级处理单元速度，直接配置一下并发数，即可线性扩展性...
2018-04-07 10:06:19
7805
原创 springdata elasticsearch aggregation 操作
这段日子在搞 springdata 操作 elasticsearch 其中使用聚合操作，特此一记：下面是https://github.com/spring-projects/spring-data-elasticsearch/tree/5.x 的spring-data-elasticsearch 项目的：ElasticsearchTemplateAggregationTests代码：@Ru
2017-06-23 19:47:36
4040
1
原创 Elasticsearch的distinct项查询（去重查询）
网上找了去重的方案，自己研究了一下：GET cars/transactions/_search{ "size" : 0, // 表示搜索出来的文档数为0个，也表示不关心文档内容只要聚合结果。 如果为 1 ，就会搜索出1个文档。 "aggs" : { //聚合操作在顶层参数'aggs'之下，完整形式'aggregations' 同样有效。 "my_
2017-06-16 19:57:11
18599
2
原创 mybatis批量insert到Oracle数据库
（1）使用mybatis的foreach语法：private static void listinsert() { EjsonDecoder el = new EjsonDecoder().unbare(); List list=new ArrayList(); SqlSession session=SqlSessionUtil.sf.openSession(); long s
2017-04-19 21:18:48
1120
原创 web项目的实时监控-思路
今天，做了一个用户登陆后，实时监控后台数据的任务，整整搞了一天，（环境是 mybatis、spring、springmvc）。上午想搞一个定时线程，在用户的登陆后就执行，然后从后台执行该线程，如果发现异常就在页面上告警，但是在一个线程里没有办法向用户所在页面发送告警弹窗。中午休息时，突然想到了后面讲的实时检查的思路：用户进来都是在页面上的，与其让后台实时监控，然后再向前台发送数据，不如在页面上定时
2017-04-19 19:39:12
8802
原创 springmvc 拦截器 与 servlet filter比较
为了讲解filter 和interceptor之间的区别，我会从 作用范围，作用原理，作用效果来说明两者之间的关系。springMVC拦截器：作用范围：拦截的目标只是controller ，也就是处理器（handler）。一般要继承 HandlerInterceptorAdapter，其中方法如下：/* preHandle是一开始就 执行的 方法，并由返回的结果决定--> 后面的 拦截
2017-03-20 20:48:44
771
原创 springmvc DispatcherServlet和拦截器详解
1，程序实例把程序贴下来：web.xml mvc org.springframework.web.servlet.DispatcherServlet contextConfigLocation classpath:config/spring-mvc.xml mvc / 故意的，一般不要这样写
2017-03-20 20:25:49
6306
原创 js动态创建和删除div
研究了一下js的动态生成div功能。特此一记：var i=1;function cDiv(){var oDiv=document.createElement("div");oDiv.style.border="1px solid black";oDiv.style.width="500px";oDiv.style.height="300px";oDiv.style.backgro
2017-01-20 16:43:03
12190
原创 echarts重复加载
最近项目中用到 echarts，我们从数据库中得到数放到echarts中展示，一开始都是请求后直接放入数据，展示。没有问题，后来我们要求利用echarts根据图上的每一次点击事件，局部更新请求后台的数据，然后再展示，就不行了，非要点击事件，触发两次才可成功。jsp 上的div （其中仅有style 和 id l两个属性）: js代码：function cha
2017-01-18 19:20:42
12057
2
麻省理工：微分方程
2018-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人