- 博客(149)
- 资源 (61)
- 收藏
- 关注
RSS订阅
原创 Redis 事务
Redis 事务1、Redis 事务介绍Redis 事务可以一次执行多个命令， 并且带有以下三个重要的保证： 批量操作在发送 EXEC 命令前被放入队列缓存。 收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行。 在事务执行过程，其他客户端提交的命令请求不会插入到事务执行命令序列中。Redis事务的三个阶段： 开始事务。...
2020-03-24 10:16:31
4699
原创 Redis多数据库
Redis多数据库Redis默认有16个数据库，且都是用整数命名的，所以在测试环境和生产环境可以使用不同数据库1 select index切换到指定的数据库2 move key db将key移动到指定的数据库3 dbsize查看数据库中key的数量4 info查看数据库信息5 flushdb清空当前数据库6 flushall清空...
2020-03-23 16:47:56
4722
原创 Redis 发布订阅
Redis 发布订阅1、介绍Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。Redis 客户端可以订阅任意数量的频道。eg:以微博和公众号，任何粉丝只要关注（订阅）了某一个人的微博或者公众号，该微博或者公众号只有有状态更新，都会将消息推送（发布）到粉丝下图展示了频道 channel1 ， 以及订阅这个频道的三个客户端 ...
2020-03-23 16:23:53
4722
原创 Redis HyperLogLog
Redis HyperLogLog1、介绍Redis 在 2.8.9 版本添加了 HyperLogLog 结构。Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算...
2020-03-23 14:07:34
4528
原创 Linux ssh无密登陆
Linux ssh无密登陆1、生成SSH密钥和公钥执行命令后，一直回车ssh-keygen -t rsa[lucky@gitlab ~]$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/lucky/.ssh/id_rsa)...
2020-03-20 10:23:36
5073
原创 Gitlab 重置密码
Gitlab 重置密码1、执行gitlab-rails console production2、输入：user = User.where(id: 1).firstuser.password = '你的密码'user.password_confirmation = '你的密码-确认'user.save!...
2020-03-20 09:30:53
5522
原创 docker安装redis
docker安装redis1.docker安装https://blog.csdn.net/u014646662/article/details/1049822232.查看redis版本docker search redis3.安装最新版redisdocker pull redis:latest4.查看docker镜像docker images结果如下：...
2020-03-20 09:12:18
5080
原创 CentOS7 Docker-ce 安装(阿里源)
CentOS7 Docker-ce 安装(阿里源)1、docker所依赖的包环境yum install -y yum-utils device-mapper-persistent-data lvm22、Docker-ce 阿里源镜像yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/ce...
2020-03-20 08:59:08
8491
1
原创 Logstash input输入 beats插件 和 syslog插件
Logstash input输入 beats插件 和 syslog插件Logstash input多个输入插件同时使用Logstash -7.2.0filter使用的插件：grok、kv、urldecode、date、mutate、geoip1、先看总体配置logstash.conf（执行时请去除所有中文注释）input { #beats输入插件 beats ...
2020-03-18 11:49:25
12493
原创 Logstash input输入 jdbc插件
Logstash jdbc作为输入，从数据库输出到ElasticsearchLogstash input输入 jdbc插件logstash-7.2.0以mysql为例1、先看总体配置mysql.conf（执行时请去除所有中文注释）input { jdbc { #mysql-jdbc驱动位置 jdbc_driver_library => "/opt/...
2020-03-18 10:47:44
6187
原创 Logstash input输入 http插件
Logstash http作为输入，并输出到ElasticsearchLogstash-7.2.0本次以json数据为例1、先看总体配置http.confinput { http{ host => "0.0.0.0" #http启动端口 port => 8088 #接受JSON数据 additional_codecs => {"text/p...
2020-03-18 10:13:25
12355
原创 Logstash 默认支持的输入和输出方式
Logstash 默认支持的输入和输出方式Logstash-7.6.1部分输入输出方式在其他播客中会有介绍，欢迎关注1.input 支持的输入方式：azure_event_hubs beats cloudwatch couchdb_changes dead_letter_queue elasticsearch exec file ganglia gelf gen...
2020-03-18 10:02:46
8087
原创 logstash 安裝配置
logstash 安裝配置及优化logstash-7.2.01、安装首先从官网下载logstash：windows下载zip，linux下载tar.gz解压到指定目录如果不做任何优化，现在就可以运行bin/logstash -f config/logstash.conflogstash.conf是你收集日志的配置文件，关于这个文件的配置，之后会简单介绍...
2020-03-18 08:56:29
5751
原创 Redis keys 命令
Redis常用Key命令1 del key该命令用于在 key 存在时删除 key。2 dump key序列化给定 key ，并返回被序列化的值。3 exists key检查给定 key 是否存在。4 expire key seconds为给定 key 设置过期时间，以秒计。5 expireat key timestampexpireat 的作用...
2020-03-17 15:11:44
5471
原创 Redis 有序集合(sorted set)
Redis 有序集合(sorted set)1 zadd key score1 member1 [score2 member2]向有序集合添加一个或多个成员，或者更新已存在成员的分数2 zcard key获取有序集合的成员数3 zcount key min max计算在有序集合中指定区间分数的成员数4 zincrby key increment member...
2020-03-14 16:12:20
5406
原创 Redis 集合(Set)
Redis 集合(Set)1 sadd key member1 [member2]向集合添加一个或多个成员2 scard key获取集合的成员数3 sdiff key1 [key2]返回给定所有集合的差集4 sdiffstore destination key1 [key2]返回给定所有集合的差集并存储在 destination 中5 sinte...
2020-03-13 09:28:15
5332
原创 Redis 列表(List)
Redis 列表(List)1 blpop key1 [key2 ] timeout移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。2 brpop key1 [key2 ] timeout移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。3 brpoplpush source dest...
2020-03-12 15:22:31
5337
原创 Redis 哈希(Hash)命令
Redis 哈希(Hash)命令1 hdel key field1 [field2]删除一个或多个哈希表字段2 hexists key field查看哈希表 key 中，指定的字段是否存在。3 hget key field获取存储在哈希表中指定字段的值。4 hgetall key获取在哈希表中指定 key 的所有字段和值5 hincrby key...
2020-03-12 14:53:32
5564
原创 Redis 字符串(String)命令
Redis 字符串(String)命令1 set key value设置指定 key 的值2 get key获取指定 key 的值。3 getrange key start end返回 key 中字符串值的子字符4 getset key value将给定 key 的值设为 value ，并返回 key 的旧值(old value)。5 getbit...
2020-03-12 10:10:13
5402
原创 ElasticSearch Split 切分主分片数
ElasticSearch Split 增加主分片数ElasticSearch 7.2.0Split 的使用方式和Shrink很像见：https://blog.csdn.net/u014646662/article/details/103575489如果不完全符合，可以重新索引：https://blog.csdn.net/u014646662/article/details/9763...
2019-12-17 14:46:06
6557
原创 ElasticSearch Shrink 减少主分片数
ElasticSearch Shrink 减少主分片数版本：ElasticSearch 7.2.0如果该方式不适合，可选用重排索引reindex ：https://blog.csdn.net/u014646662/article/details/97638792目录1、使用场景2、降低主分片数3、使用条件4、Shrink 测试1、使用场景ES 5.x 后推出的一...
2019-12-17 11:34:09
6818
原创 ElasticSearch Open/Close Index
ElasticSearch Open/Close Index1、close index2、open index3、总结针对部分索引，我们暂时不需要对其进行读写，可以临时关闭索引，以减少es服务器的开销1、close index#为索引添加一条数据put test/_doc/1{ "key":"value"}#关闭索引POST test/_close...
2019-12-17 10:21:31
15214
1
原创 Elasticsearch Java REST高级客户端 删除索引
Elasticsearch Java REST高级客户端 删除索引版本：Elasticsearch 7.2.01、索引是否存在2、删除索引3、创建客户端4、maven配置---pom1、索引是否存在 /** * 索引是否存在 * @param indexName * @return */ public static boolean exists(St...
2019-11-22 11:09:29
7891
原创 Logstash 将ES数据导入数据库
Logstash 将ES数据导入数据库Logstash 7.2.01、logstash-output-jdbc安装2、问题梳理3、conf文件1、logstash-output-jdbc安装/opt/logstash/bin/logstash-plugin install logstash-output-jdbc2、问题梳理a、日期字段格式转换问题b、es日期与...
2019-11-08 13:47:08
8318
原创 Elasticsearch Java REST高级客户端 parent/child join
Elasticsearch Java REST高级客户端 parent/child joinElasticsearch 7.2.01.数据准备2.parentId根据父文档id查询相关子文档3.通过ID和routing ，访问子文档(不加routing查不到)4.hasChild 返回父文档5.hasParent 返回相关的子文档6.Java REST高级客户端连接及...
2019-08-27 14:45:40
7409
4
原创 ElasticSearch nested parent/child join
ElasticSearch nested parent/child joinElasticSearch 7.2.01、创建索引含有nested类型的索引2、添加数据（nested）3、查询（nested）4、创建含有关联关系的索引5、添加数据（parent/child join） 5.1 添加父文档 5.2 添加子文档6、查询（parent/child...
2019-08-26 17:23:52
7477
原创 Nginx + ElasticSearch + Kibana结合
Nginx + ElasticSearch + Kibana结合操作系统 软件下载 安装编译工具及库文件 安装 PCRE 安装 Nginx ElasticSearch配置 Kibana配置 Nginx配置 启动Nginx对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，...
2019-08-19 14:04:33
7010
原创 ElasticSearch集群安装配置
ElasticSearch集群安装配置ElasticSearch 7.2.0操作系统 软件及版本 安装包准备 JDK安装 ElasticSearch安装 ElasticSearch-head安装 Kibana安装 集群配置 安全验证对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的...
2019-08-16 09:41:41
7091
原创 ElasticSearch 性能优化
ElasticSearch 性能优化一、索引层面1 增加 Refresh 时间间隔2 减少副本数量3、开启异步刷写4、开启慢查询日志二、服务器层面5、内存设置6、集群分片设置7、Mapping建模8、索引优化设置9、查询优化对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入...
2019-08-12 11:53:32
21170
4
原创 ElasticSearch Java REST客户端创建
ElasticSearch Java REST客户端创建1.低级客户端创建2.高级客户端创建3.安全验证高级客户端创建（带用户名和密码）4.Java REST高级客户端 maven配置对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享...
2019-08-09 16:49:19
8370
1
原创 Elasticsearch Java REST高级客户端 条件更新 updateQuery
Elasticsearch Java REST高级客户端 条件更新 updateQueryElasticsearch 7.2.01.条件更新2.客户端创建3.maven配置-pom对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下...
2019-08-09 13:27:44
17764
5
原创 Elasticsearch Java REST高级客户端 条件删除 DeleteByQuery
Elasticsearch Java REST高级客户端 条件删除DeleteByQueryElasticsearch 7.2.01.条件删除2.客户端创建3.maven配置-pom对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享...
2019-08-09 13:27:35
23215
4
原创 ElasticSearch Java REST 高级客户端 查询模板 SearchTemplate
ElasticSearch Java REST 高级客户端 内联模板 SearchTemplateElasticSearch 7.2.01.内联模板2.创建注册模板3.执行注册模板4.多模板5.创建客户端6.maven配置---pom文件对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非...
2019-08-09 13:27:27
14066
1
原创 ElasticSearch painless debug
ElasticSearch painless debug对painless脚本调试数据准备 测试代码1、数据准备PUT /hockey/_doc/1?refresh{"first":"johnny","last":"gaudreau","goals":[9,27,1],"assists":[17,46,0],"gp":[26,82,1]}2、测试测试一POST ...
2019-08-06 18:59:33
8442
原创 ElasticSearch Painless 脚本 简单使用
ElasticSearch Painless 脚本 简单使用数据准备 使用for循环---改变搜索评分 使用for循环---对数组求和 对拼接字段排序 使用脚本更新文档 使用脚本添加新字段 使用脚本对日期操作 正则表达式使用1、数据准备PUT hockey/_bulk?refresh{"index":{"_id":1}}{"first":"johnny","la...
2019-08-06 18:59:26
10211
原创 ElasticSearch 脚本简单使用
ElasticSearch 脚本简单使用ElasticSearch 7.X如发现问题可以看官方文档1、脚本语法2、脚本参数 parameters3、简单格式 Short4、存储脚本 Stored对人工智能感兴趣点击下面的连接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风...
2019-08-02 16:01:24
15313
4
原创 ElasticSearch使用模板中定义的分词器
ElasticSearch使用模板中定义的分词器ElasticSearch7.2.01、定义ik+english分词器2、定义ik+english+同义词分词器3、定义english+pinyin分词器4、使用分词器5、测试分词效果对人工智能感兴趣点下面链接现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白...
2019-08-02 10:49:43
8325
原创 ElasticSearch使用脚步做数学运算 加减乘除
ElasticSearch使用脚步做数学运算 加减乘除ElasticSearch版本：7.XElasticSearch的脚本提供了加、减、乘、除、取模、乘方、开方、对数等运算1、加、减、乘、除、取模、乘方、开方、对数等运算2、脚本简单语法3、对索引中的字段运算1、加、减、乘、除、取模、乘方、开方、对数等运算1.1 expression脚本GET metric/_s...
2019-08-02 09:34:52
21791
2
原创 Elasticsearch Java REST高级客户端 maven配置
Elasticsearch Java REST高级客户端 maven配置版本：Elasticsearch 7.2.0如果不是7.2.0，请换成对应版本，包括小版本号<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...
2019-07-31 10:44:14
12249
原创 ElasticSearch reindex 使用
ElasticSearch reindex 使用处理：ElasticSearch reindex 超时 "error": "Gateway Time-out", "message": "Client request timeout"有以下几个方案：增加并行数（根据集群的cpu决定） 增加refresh间隔 副本数为0 增大批次处理量（最大是10000）对人工智能感兴趣的同学，可...
2019-07-29 14:00:03
14643
基于Greenplum Hadoop- 分布式平台的大数据解决方案31 - 装载和卸载数据(2).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案30 - 装载和卸载数据(1).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案29 - 工作负载及资源管理(3).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案28 - 工作负载及资源管理(2).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案27 - 工作负载及资源管理(1).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案26 - 查询数据(3).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案25 - 查询数据(2).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案24 - 查询数据(1).zip
2019-04-30
23 -基于Greenplum Hadoop- 分布式平台的大数据解决方案 管理数据(2).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案22 - 管理数据(1).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案21 - 定义数据库对象(11).zip
2019-04-30
基于Greenplum Hadoop- 分布式平台的大数据解决方案20 - 定义数据库对象(10).zip
2019-04-30
elasticsearch-analysis-ik-6.2.4.zip和elasticsearch-analysis-ik-master.zip
2019-03-12
elasticsearch-6.2.4.tar.gz&kibana;-6.2.4-linux-x86_64..tar.gz
2019-03-11
基于Greenplum Hadoop- 分布式平台的大数据解决方案19.定义数据库对象(9)-维护分区表.zip
2019-03-10
基于Greenplum Hadoop- 分布式平台的大数据解决方案18.定义数据库对象(8)-创建和装载分区表.zip
2019-03-10
基于Greenplum Hadoop- 分布式平台的大数据解决方案17.定义数据库对象(7)-分区表.zip
2019-03-10
基于Greenplum Hadoop- 分布式平台的大数据解决方案16.定义数据库对象(6)-变更表.zip
2019-03-10
基于Greenplum Hadoop- 分布式平台的大数据解决方案15.定义数据库对象(5)-压缩存储.zip
2019-03-10
基于Greenplum Hadoop- 分布式平台的大数据解决方案14-定义数据库对象(4)-表的分布和存储模式.zip
2019-01-19
基于Greenplum Hadoop- 分布式平台的大数据解决方案13 - 定义数据库对象(3).zip
2019-01-19
基于Greenplum Hadoop- 分布式平台的大数据解决方案12.定义数据库对象(2).zip
2019-01-19
基于Greenplum Hadoop- 分布式平台的大数据解决方案11.定义数据库对象(1).zip
2019-01-19
hadoop-common-2.7.1-bin-master-master.zip
2019-01-19
instantclient-basic-windows.x64-12.2.0.1.0.zip
2019-01-19
instantclient-basic-nt-12.2.0.1.0-windows-x86
2019-01-19
hadoop-common-2.6.0-bin.zip
2018-11-29
java poi 读写Excel jar包
2018-10-21
基于Greenplum Hadoop- 分布式平台的大数据解决方案10 - 客户端接口和程序(2).zip
2018-09-24
基于Greenplum Hadoop- 分布式平台的大数据解决方案09 - 客户端接口和程序(1).zip
2018-09-24
基于Greenplum Hadoop- 分布式平台的大数据解决方案08 - 角色权限及客户端认证管理(2).zip
2018-09-24
基于Greenplum Hadoop- 分布式平台的大数据解决方案05 - 安装Greenplum(3)
2018-09-24
基于Greenplum Hadoop- 分布式平台的大数据解决方案04 - 安装Greenplum(2)
2018-09-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人