- 博客(27)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 docker相关命令学习汇总
docker 命令#centos安装yum search dockeryum -y install docker-io#启动service docker start#版本展示docker --versiondocker versiondocker info#查看命令清单docker --helpdocker COMMAND --helpdocker container --help#容器运行hello worlddocker run hello-world#查看镜
2021-05-28 11:17:32
119
原创 docker 安装mysql、redis
linux安装docker#查看是否有过安装yum list installed | grep docker#安装yum -y install docker#启动 systemctl start docker #查看状态 systemctl status docker安装mysql#拉取镜像docker pull mysql:latest#查看 docker image...
2020-03-02 11:44:37
168
原创 spark standalone 部署与运行
前言由于项目使用的是Elasticsearch来做的数据存储，没有引用hadoop，自然也就没有使用yarn模式的spark集群部署方案。standalone的部署方案，指的是单独的spark集群，任务的更新和资源的分配等都是spark自己去维护。本问讲的是stanalone集群的部署方案，和代码的打包上传，运行等。配置环境当前环境：centos7.x（三台机器分别是114，116，1...
2019-10-22 15:13:28
304
原创 Redis学习总结
[TOP]前言主要写下redis得一些命令，耗时，使用场景，注意点等等。一、全局命令1.查看所有键keys *127.0.0.1:6379> keys * 1) "python" 2) "java" 3) "hello"2.键总数dbsize127.0.0.1:6379> dbsize (integer) 43…检查键是否存在exists ke...
2019-10-08 15:15:10
204
原创 shell脚本学习
写在开头：很多我原来会的就不写了（很基本的命令），这里写些自己感觉会用到的，重要的命令基本linux命令cp -i file newFile-i强制shell询问是否覆盖已有文件， mv -i , rm -i命令也会给出提示，同上cp -R file newFile-R递归复制整个目录rm -f强制删除rm -r对rm命令来说，-r和-R效果一样，可以递归删除...
2019-06-25 14:22:21
144
原创 kafka彻底删除topic
这里假设要删除的topic是test删除kafka相关的数据目录数据目录请参考目标机器上的kafka配置：server.properties -> log.dirs=/var/kafka/log/tmprm -rf /var/kafka/log/tmp/test*删除kafka topic/bin/kafka-topics.sh --delete --zookeeper lo...
2019-04-18 15:44:53
228
原创 kafka的搭建
kafka的搭建搭建前说明这里就不说废话去具体介绍kafka是什么了，只要知道他是一个分布式的队列，作用是缓冲消息的就行了。kafka的运行是基于zookeeper的，所以运行先要装一个zookeeper。版本说明：zookeeper-3.4.13、kafka_2.12-2.2.0说明：本文采用的是自己下载安装的方法进行搭建的。搭建前准备需要安装jdk，版本最好在1.8及以上。...
2019-03-27 18:54:51
213
原创 Thread API
线程sleep方法介绍sleep是一个静态方法，有两个重载方法，一个而需要传入毫秒数，灵魂一个也需要纳秒数。public static void sleep(long millis) throws InterruptedExceptionpublic static void sleep(long mills,int nanos) throws InterruptedException...
2019-03-12 18:06:25
319
原创 java 线程的生命周期
线程的生命周期如下图所示由图片可知，线程的生命周期大体可以分为5个主要阶段NEWRUNNABLERUNNINGBLOCKEDTERMINATED线程的NEW状态当我们new一个Thred对象时，此时它并不处于执行状态，因为没有调用start方法去启动该线程，那么，此时为NEW状态（与你用关键字new创建一个普通的java对象没有区别）NEW状态通过start方法进入R...
2019-03-07 14:36:06
173
原创 ElasticSearch 学习小笔记
object数据类型除了一些基本数据类型以外，要注意有一个object类型，即和json的数据类型。大部分复杂的数据类型，都是以这个形式存在的querry和filter的区别都是删选数据，最明显的区别就是前者计算分数，而后者不进行计算。我们要知道，在es进行查询的时候，他会根据相关度（匹配程度）进行一个展示的排序，而这部分的算法会消耗很大的一部分资源和速度。由此，我们可以得出一...
2019-03-04 10:21:56
127
原创 Elasticsearch 基于groovy脚本实现partial update
partial update首先，了解下，什么是partial update，与传统的update有什么区别？传统的update，一般的实现方式，先发起一个get请求，获取到document，然后再做修改，发送put请求PUT /index/type/id，到es中，进行全量替换。es将老的document标记为deleted，然后重新创建一个新的document。而partial upda...
2019-02-22 11:30:47
389
原创 Git的相关学习
起步1.git的安装2.初次运行git前的配置Git 提供了一个叫做 git config 的工具（译注：实际是 git-config 命令，只不过可以通过 git 加一个名字来呼叫此命令。），专门用来配置或读取相应的工作环境变量。注：当前项目的 Git 目录中的配置文件（也就是工作目录中的 .git/config文件）：这里的配置仅仅针对当前项目有效。每一个级别的配置都会覆盖上层的...
2019-02-20 14:28:08
109
原创 Elasticsearch 聚合分析详解
说明聚合分析：英文为Aggregation，是es除搜索功能外提供的针对es数据做统计分析的功能。功能丰富：提供Bucket、Metric、Pipeline等多种分析方式，可以满足大部分的分析需求实时性高：所有的计算结果都是即时返回的，而hadoop等大数据系统一般都是T+1级别的。为了便于理解，es将聚合分析主要分为如下4类：Bucket：分桶类型，类似SQL中的GR...
2018-09-10 20:05:08
4068
原创 Elasticsearch 查询详解
实现对es中存储的数据进行查询分析，以_search为结尾，查询主要有两种形式：URI Search：操作简便，方便通过命令行测试，仅包含部分查询语法Request Body Search：es提供完备查询语法Query DSL（Domain Specific Language）URI Search详解通过url query参数来实现搜索，常用参数如下：q: 指定查询语...
2018-09-10 17:37:25
2398
原创 Elasticsearch数据建模之——mapping字段的相关配置
es作为以倒排索引为基础实现的存储体系，不遵循关系型数据库中的范式约定，它的数据建模，是根据部署需求和性能需求的物理模型；而在这个建模的过程中，由于es是可以水平扩展的，可以存储到TB级以上的大数据的原因，他的一些预配置就显得尤其重要了，这关系到整个es的性能和查询效率。—//— 类似于关系型数据库里面的表结构设计，es中对应的是mapping配置；这一章主要讲的就是mappi...
2018-09-10 11:38:55
3057
原创 linux系统里面安装tomcat+运行war包
环境 系统：centos 7jdk1.8（安装教程） 注意：安装tomacat，环境变量的配置，主要就是jdk的配置，jdk的环境变量配置成功，tomcat就配置成功。 下载安装下载安装tomcat，去官网下载安装格式为.tar.gz的安装包，版本号按照自己需求进行选择。 本文安装的版本是apache-tomcat-7.0.81。[root@local...
2018-08-06 11:47:46
14946
原创 logstash grok 自测实例+常用正则（grok-patterns）
一、背景研究了grok一下整天，虽然知识还是很浅薄，但还是在这里做个总结。场景 在使用logstash进行日志收集工作的时候，filter是个很重要的插件，而其中的Grok能很好的解析日志。 logstash教程：https://blog.csdn.net/qq_34646817/article/details/81232083 grok教程：https://blog...
2018-08-01 17:23:12
8792
1
原创 安装elasticsearch-head插件
一、环境centos7elastichsearch-6.2.2node v8.11.3二、nodejs的下载安装其中，系统安装这里不讲了，elastichsearch-6.2.2安装教程在这里。安装elasticsearch-head插件需要nodejs的支持，所以此处讲解一下安装nodejs步骤。1.安装包下载到nodejs官网现在最新nodejs，官网下载地址：...
2018-07-30 14:50:51
1124
原创 Logstash之filter学习（官网）（GROK+GEO IP+FINGERPRINT+DATE）
写在前面：logstash的插件有很多，即使filter的插件也有很多，因为生产马上要实践了，这边做一个归类总结 学习来源：官方文档基本说明官方的文档里面，主要讲了以下几个filter的作用。首先，filter的定义是为了即时解析和转换您的数据当数据从源传输到存储时，Logstash过滤器会解析每个事件，识别命名字段以构建结构，并将它们转换为汇聚在通用格式上，...
2018-07-27 16:33:21
4293
原创 log4J日志收集（filebeat+logstash+Elasticsearch ）
一、说明最近在学习logstash，发现内容特别多，除了基本的知识的学习以外，最多的就是插件的学习了，可是我看了下官网的插件，最新的版本6.3的插件展示如下： - 输入插件(Input plugins)beats,cloudwatch,couchdb_changes,dead_letter_queue,elasticse,rch,exec,file,ganglia,gelf,g...
2018-07-27 09:58:57
9411
1
转载 Logstash学习
写在前面：本文是学习总结内容，侵犯到别的文章，在这里说声抱歉~~一、基础知识1.Hello World运行在终端中，像下面这样运行命令来启动 Logstash 进程：bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'然后你会发现终端在等待你的输入。没问题，敲入 H...
2018-07-27 09:58:18
3952
2
原创 ELK详解（各个插件详解，未完待续）
一、背景说明二、概念解析三、Elasticsearch1.基本概念2.查询语句入门（1）search搜索语句入门之URL搜索（2）简单的curl 语句对索引的操作（3）DSL语句进行查询搜索三、Logstash1.基本概念2.Logstash插件介绍一、背景说明之前讲了下ELK的安装,但是对各个组件的理解，使用都是一知半解。 这...
2018-07-27 09:54:11
3697
原创 linux下安装jdk
一、背景系统环境：centos 7 64位操作内容：卸载openjdk、安装linux 的jdkjdk下载地址：(http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html)jdk下载版本： jdk-8u171-linux-x64.tar.gz二、过程：1、检验系统原...
2018-07-25 15:18:50
470
原创 Elastic 之 Filebeat安装使用
Filebeat的简介这里就不写了，直接上干货一、下载安装万年第一步，下载解压安装~这里用的还是6.2.2版本[root@hadoop01 elk]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.2-linux-x86_64.tar.gz--2018-07-17 22:23:24...
2018-07-17 16:06:00
1616
原创 CentOS7安装ELK
CentOs 7下ELK日志分析系统搭建准备工作为了安装时不出错，建议选择一样的版本，本文全部选择6.2.2版本。系统：CentOS7 JAVA环境：8以上，[教程](https://blog.csdn.net/qq_34646817/article/details/81177145)首先讲一下elk吧，elk是指ElasticSearch，Logstash，Kibana。El...
2018-07-16 17:29:00
3302
转载 CentOS7 常用命令集合（转载）
这两天一直在对CentOS 7进行初体验，各种学习命令肿么用，下面转载一篇网上看到的，一些实用的命令！ 废话不多说，直接上命令和解析！常用命令文件与目录操作命令 解析 cd /home 进入 ‘/home’ 目录 cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd - 返回上次所在目录 cp file1 fi...
2018-07-13 09:44:00
138
原创 centOS7集群hadoop环境搭建
今天安装了下hadoop，感觉网上的教程还有几点要注意的地方，我把它总结在写一下。一、准备工作准备3台centOS 7虚拟机的安装我这边就不写了，给两个教程链接把：centOS7安装教程：https://www.centos.net.cn/archive/1518centOS7下载：https://www.centoschina.cn/downloads（Tip：安装完一个虚拟机...
2018-07-12 18:27:00
10239
3
Elasticsearch技术解析与实战-高清版
2018-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人