- 博客(146)
- 收藏
- 关注
RSS订阅原创 Ai知识图谱
总结：从AI技术栈全貌来看，基础模型、基础算法，个人及小公司是玩不起的，大公司才有对应人力、财力、算力 去做，个人更多的是要在应用场景上创新，几个关键的技术必须会：编码语言（Python、Java）、GPT4、stable diffusion、midjourney、Langchain、向量数据库
2024-02-03 22:32:33
443
原创 windows系统同时安装jdk1.7 和jdk1.8
一、背景目前一些老项目用的是jdk1.7，新项目全部用的jdk1.8，每次新老项目交替开发的时候都都需要，重新安装配置jdk，耗时又麻烦，希望能通过一键或简单配置修改当前系统jdk版本。二、配置过程1）下载jdk下载地址：https://www.oracle.com/java/technologies/javase-downloads.html2）创建安装jdk目录，多个jdk版本目录结构需要统一，这样才能统一设置JAVA_HOME3）删除系统环境变量中安装jdk8产生的 Path C:
2020-07-19 13:34:56
3906
1
原创 MySQL无法远程连接问题处理
1、查看/etc/mysql/my.cnf配置文件是否只允许本地连接注释配置：#bind-address = 127.0.0.1，重启MySQL Server2、防火墙（我用的是iptables）禁止了3306端口访问/etc/sysconfig/iptables配置文件添加3306端口，即添加以下内容再重启防火墙即可： -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT3、MySQL没有授予相应权限授权用户us
2020-05-31 14:46:21
354
原创 mac上安装并配置maven
1、下载下载地址：http://maven.apache.org/download.cgi。下载maven文件并解压。2、配置环境变量1）编辑.bash_profile文件：vim ~/.bash_profile#配置maven文件地址：export M2_HOME=/Users/xxx/Documents/maven/apache-maven-3.6.3#注意xxx表示的是用户名...
2020-03-29 00:15:11
409
原创 git 常用命令
1、查看当前分支git branch2、查看提交记录git log3、创建分支#创建dev分支，-b 表示创建后切换到dev分支git checkout -b dev也可以用git switch -c 还可以两条命令 创建的 v分支+切换到dev分支：git branch devgit checkout dev注意4、提交修改后的文件#将修改后README.md添...
2020-03-29 00:00:43
172
转载 git merge后保留分支信息
背景：合并分支时，加上–no-ff参数就可以用普通模式合并，合并后的历史有分支，能看出来曾经做过合并，而fast forward合并就看不出来曾经做过合并。合并命令：$ git merge --no-ff -m "merge with no-ff" devMerge made by the 'recursive' strategy. readme.txt | 1 + 1 file c...
2020-03-28 22:10:50
2342
原创 git reset回退版本三种模式
我们常用的是 hard 模式。命令行：git reset --hard 42294a2adc041c6b37d99fd776dac00a425e4b96
2020-03-28 20:25:26
216
转载 MAC上Git安装与GitHub基本使用
这博文可以在mac上顺利安装githttps://www.jianshu.com/p/7edb6b838a2e
2020-03-28 17:58:59
458
原创 Elasticsearch 结构化查询
1）环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/1042246252）什么是结构化数据？2）什么是结构化数据搜索？3）demo 演示#结构化搜...
2020-03-01 22:54:31
582
原创 Elasticserach 中文分词插件
一、elasticsearch-analysis-hanlp1）定义：面向生产环境的自然语言处理工具包,中文分词器。2）github官网：https://github.com/KennFalcon/elasticsearch-analysis-hanlp3）特性：中文分词比较准确、可以远程设置词典、可以自定义词典4）官网有安装、版本说明5)演示，该分词插件有多种模式#ik_max_wo...
2020-03-01 22:12:12
372
原创 Elasticsearch 词项搜索
1）环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/1042246252）基于term查询定义&描述：示例一：写入数据POST /prod...
2020-03-01 18:50:02
344
原创 Elasticsearch聚合分析简介
1）环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/104224625备注：一定要提前导入demo数据2）哪些场景在用聚合分析？场景一：搜索页面预览统计...
2020-02-23 12:59:09
417
原创 Elasticsearch Dynamic Template
1）环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/1042246252）什么是Dynamic Template？3）通用模版4）demo演示一...
2020-02-22 23:54:29
902
原创 Elasticsearch Index Template
1）环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/1042246252) 什么是Index Template？3) Index Template 有哪...
2020-02-22 23:25:14
860
原创 Elasticserach 自定义分词器
1）环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/1042246252）Character Filter演示一：#去除html标签POST _an...
2020-02-22 22:04:36
469
原创 Elasticsearch 多字段特性
1）多字段特性 定义2）精确值（Exact Values）与全文本（Full Text）精确值（Exact Values）在索引是， 不会做特殊的分词处理， 既不会被分词。
2020-02-22 21:23:36
830
原创 Elasticsearch Mapping设置
1）、环境准备启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934启动Kinbana https://blog.csdn.net/qq_36918149/article/details/1042246252）如何定义一个Mappin？PUT users_test{ "mappin...
2020-02-22 19:10:43
439
原创 ElasticSearch Mapping
一、Mapping介绍1）什么是Mapping ？备注：7.0版本后ES,是通过自动识别字段type2）字段类型备注：相比其它存储，多了IP、坐标等特殊的格式3）什么是Dynamic Mapping ？备注：Dynamic Mapping ，设置不恰当可能导致字段无法被索引。4）Mapping 类型的自动识别5）通过设置dynamic控制Dynamic Mapping6...
2020-02-17 00:28:23
276
1
原创 Elasticsearch Query String
1）、数据准备https://blog.csdn.net/qq_36918149/article/details/1042269942）、演示数据添加PUT /users/_doc/1{ "name":"Ruan Yiming", "about":"java, golang, node, swift, elasticsearch"}PUT /users/_doc/2{ ...
2020-02-16 23:05:42
2439
原创 excel中vlookup数据匹配
1）excel 版本为20162）演示实现两个sheet匹配数据3）实例中场景是HR通过晋级名单，到员工信息表中，匹配员工基本信息4)员工基本信息（sheet1）4)晋级名单（sheet2）晋级名单中，等级、工号需要到“人员基本信息”中匹配2）选中你要填充数据单元格，然后在“晋级”sheet中，通过菜单“查找与引用” 找到vlookup公式Lookup_value 应该选中你需...
2020-02-13 00:08:03
1730
原创 JDK命令工具
一、命令工具在哪儿？如图，在你jdk安装目录，bin子目录下。图中， 是windows版jdk所有，你们看到都是*.exe文件。二、怎么执行？2.1 首先启动cmd2.2 切换到jdk 的bin子目录三、有哪些常用的命令？3.1 jps ：虚拟机进程状态工具jps -l 3.2 jstat：虚拟机统计信息监控工具jstat -gc 19036 250 201903...
2020-02-09 22:45:37
101
原创 Elasticsearch Request Body DSL
1、将语句通过HTTP Request Body 发送给Elasticsearch2、Query DSL ,是Elasticsearch查询的语法示例（ignore_unavailable=true表示即使搜索的index不存在也不报错）3、分页/排序1）分页From 从0开始，默认返回10个结果获取靠后的翻页成本较高（Elasticsearch分片机制，在查询分页的时候，需要将前面...
2020-02-09 22:29:25
406
原创 Elasticsearch URI Search 详解
1、通用查询格式示例2、使用Profile参数格式GET /movies/_search?q=2012&df=title{ "profile":"true"}输出查询语句执行过程，可以看出用查询了哪些字段，用了什么查询方式 等。类似与Mysql中的explain 查看sql执行情况。3、指定字段&泛查询语法1）范查询profile输出中可以看出，查询...
2020-02-09 20:23:01
344
原创 Elasticsearch Search API 介绍
一、URI Search & Request Body Search按传递参数方式分为两类1）URI Search在URL中使用查询参数。使用“q”，指定查询字符串。“query string syntax”，KV健值对。演示：2）Request Body Search使用Elasticsearch提供的，基于JSON格式的Query Domain Specific ...
2020-02-09 17:03:27
271
原创 Elasticsearch分词（Analyzer）
一、什么是Analysis ？Analysis 叫做分词，就是将文本转换为一系列单词（term/token）的过程。Analysis 是通过Analyzer来实现的。可使用Elasticserach内置的分析器或按需优化分需求或安装分析器插件 。在数据写入的时候转换词条于Query语句查询的时候也需要用相同的分析器。二、Analyzer的组成与工作机制Character Filter...
2020-02-09 15:35:39
424
原创 Elasticsearch倒排索引
一、什么是倒排索引倒排索引是相对于正排索引而言的， 正排索引是通过 id（唯一标识）找到对应文档， 倒排索引是通过 关键字找到对应的文档。1）我们以书的目录为例：目录-正排（通过页面找内容）目录-倒排（通过索引页关键字找出现该关键字的内容页）2）图书和搜索引擎类比二、倒排索引数据结构正排索引和倒排索引对照三、Elasticsearch倒排索引Elasticsearch的J...
2020-02-09 12:08:12
445
原创 Elasticsearch文档基本CRUD与批量操作
一、文档CRUD1、CRUD 规范2、Create 一个文档支持自动生产文档Id和指定文档Id两种方式1 ) 通过调用‘POST users/_doc’，系统会自动生成document Id2）使用‘PUT users/_doc/1?op_type=create’创建时，URI中显示指定_create，此时如果该id的文档已经存在，则操作失败3、Get 一个文档1）找到文档，...
2020-02-09 00:07:45
272
原创 Elasticsearch节点与分片说明
1、Elasticsearch为什么引入节点与分片逻辑？Elasticsearch 要实现高可用、高可靠、水平扩展，多节点可以保障，部分节点挂掉以后集群还能正常工作，且在读取集群数据的时候多个节点可以负载均衡；分片可以保证在海量数据写入ES的时候，可以在不同的分片中写， 提高写入性能。2、集群是一组工作节点的集合；不同的集群通过不同的集群名称来区别，默认名称“elasticsearch”...
2020-02-08 22:36:30
1413
原创 Elasticsearch基本概念
1、Index索引、Node节点开发关注数据的索引，运维关注的节点情况及物理情况2、文档（Document）3、JSON文档4、文档元数据5、索引6、Type7、关系型数据库与ElasticSearch 数据结构对比8、ElasticSearch 是怎么实现跨平台ElasticSearch 支持REST API ,所有开发语言都可以调用9、Index 相关 A...
2020-02-08 21:45:13
263
原创 Logstash安装及数据导入
一、安装前准备1）下载与ES相同版本号的logstash，（7.1.0），并解压到相应目录官网下载地址：https://www.elastic.co/cn/downloads/logstash华为过年镜像地址：https://mirrors.huaweicloud.com/logstash/7.1.0/2）下载最MovieLens最小测试数据集地址：https://grouplens.o...
2020-02-08 20:55:30
943
原创 Kibana安装
一、安装前准备1）下载kibana官网地址：https://www.elastic.co/cn/downloads/kibana或华为镜像库下载： https://mirrors.huaweicloud.com/二、安装配置1）首先启动ElasticSearch （强依赖）备注：ElasticSearch 安装启动详见另一章节：https://blog.csdn.net/qq_369...
2020-02-08 16:41:31
502
原创 Elasticsearch安装
一、安装前准备1）Elasticsearch是用java开发，运行需要安装配置JDK设置 $JAVA_HOMEElasticsearch 5 需要Java 8 以上版本Elasticsearch 从6.5 开始Java 11Elasticsearch 从7.0 开始，内置了Java环境2）Elasticsearch 安装包下载https://www.elastic.co/cn/dow...
2020-02-08 15:59:06
479
原创 Elastic生态圈介绍
Elastic Stack 生态圈介绍Elastic Stack 生态圈可以看出主要专注于网站搜索、代码搜索、日志管理分析、安全指标监控、应用性能监控等功能。1、Kibana数据可视化工具，可以提供图标，也可以基于机器学习进行监控告警。2、Logstash、BeatLogstash 开源的服务器端数据处理管道，支持从不同来源采集数据，转换数据，并将数据发送到不同的存储库中。Logst...
2020-02-08 13:15:58
787
原创 国外软件下载慢怎么办？ 国内镜像下载来帮忙！
背景：今天下在下载elasticsearch的时候，需要连到国外服务器，导致下载非常慢，下载一天后突然下载失败，国内很多互联网企业为了解决这问题就做了镜像下载服务器。一、华为开源镜像站主要内容：常用的开源操作系统、中间件、工具地址：https://mirrors.huaweicloud.com/下载条件：直接通过浏览下载待续。。。。。。。。。。。。。。。。。。。。。。。。。。。。...
2020-02-06 00:26:49
6425
原创 JVM的钩子函数
虚拟机退出：JVM会在所有非后台线程关闭后才会退出，如在一个main线程里新产生一个线程，而该线程阻塞了，那么虚拟机不会退出。后台线程会在所有非后台线程退出后都停止任务。系统调用System.exit(0)：在线程中调用会导致整个系统退出。在调用该代码之后定义代码均不会运行。JAVA的钩子函数是在jvm正常退出时会调用：例如在线程上调用System.exit(0)时会调用注册的钩...
2020-01-28 00:07:57
861
原创 http连接池未设置获取连接超时时间导致服务死机
一、故障过程回顾2020年1月3日早上7：30收到pay-xx服务连接超时告警，发现问题后马上进行排查，根据链路日志发现，我们请求有通过http发送给第三方，将请求日志发给第三方，但第三方反馈未收到该请求。瞬间懵逼了， 我们有发送请求，但第三方没有收到，请求中途掉包了 ？网络出现了问题？但是我们部分请求是可以送达第三方的，开始怀疑是第三方对我们出口的ip做了白名单限制 ？ 7：50 左右我们一个...
2020-01-05 19:59:33
2290
原创 三步透视Guava-RateLimiter
一、定义RateLimiter使用的是一种叫令牌桶的流控算法，RateLimiter会按照一定的频率往桶里扔令牌，线程拿到令牌才能执行，比如你希望自己的应用程序QPS不要超过1000，那么RateLimiter设置1000的速率后，就会每秒往桶里扔1000个令牌。package com.google.common.util.concurrent;@ThreadSafe@Beta@Gwt...
2019-12-07 16:18:52
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人