- 博客(38)
- 收藏
- 关注
RSS订阅原创 Kafka-6、监控
Kafka监控工具有JmxTool、kafka-manager、Kafka Monitor、Kafka Offset Monitor等工具。比较好用的是kafka-manager，是雅虎公司开发，使用Scala语言编写的监控工具。一、安装sbtkafka-manager编译需要依赖sbt，所以需要先安装。1、下载sbt包，下载地址：https://www.scala-sbt.org/download.html2、上传到服务器，并解压，进入目录unzip sbt-1.4.4.zipcd sbt
2020-12-01 17:41:39
156
1
原创 Kafka-5、开发
一、MBean监控1、JMX端口设置创建一个启动脚本，cd /opt/kafka_2.12-2.3.0touch start.shchmod +x start.shvi start.shstart.sh内容如下：JMX_PORT=9997 bin/kafka-server-start.sh -daemon config/server.properties停止kafka服务，并用start.sh脚本启动bin/kafka-server-stop.sh./start.sh查看JMX
2020-12-01 10:31:25
107
原创 Kafka-3、集群搭建
**一、服务器信息 **虚拟机3台，IP分别为：10.255.3.12、10.255.3.27、10.255.3.641、硬件环境内存：8GCPU：4核2、 软件环境操作系统：CentOS7Java环境：JDK8**二、服务器配置 **1、修改Hosts在三台服务下分别修改hostsvi /etc/hosts添加如下映射信息10.255.3.12 zk1 kafka110.255.3.27 zk2 kafka210.255.3.64 zk3 kafka32、查看java版
2020-11-19 14:23:24
284
原创 Kafka-4、运维
一、集群环境规划1、操作系统Kafka为JVM的框架，Java为跨平台语言，理论上Kafka可以部署到任意支持Java的操作系统上。但是部署到不同系统还是有区别的。Linux比Windows等其他操作系统更适合部署Kafka。主要原因有I/O模型的使用和网络传输的效率。Kafka新版本clients的设计底层使用了Java的Selector机制，而后者在Linux上的实现机制就是epoll模型。但在Windows上Selector实现的机制为select模型而非IOCP模型，只有在Java NIO2才
2020-10-15 11:01:42
249
原创 Kafka-2、伪集群安装-测试环境搭建
一、Java安装不论安装Zookeeper还是Kafka都需要提前安装好Java并配置好Java环境变量。Kafka服务端的代码是由Scala语言编写的，新版本的客户端是由Java语言编写的，两种语言都会编译成class文件，都属于JVM语系。建议安装java8以上版本，参考安装教程。验证Java安装，使用java -version命令。二、Zookeeper安装Zookeeper是安装Kafka集群必要的组件。Zookeeper中保存Kafka的元数据信息。使用单节点Kafka时可以直接使用
2020-10-14 15:34:05
143
原创 Kafka-1、单机安装
下载安装包Kafka官网下载地址为http://kafka.apache.org/downloads压缩包kafka_2.12-2.3.0.tgz中2.12为编译Kafka的Scala版本，2.3.0为Kafka版本。上传到服务器并解压将压缩包上传到服务器解压文件tar -zxf kafka_2.12-2.3.0.tgz启动服务启动前先确保安装Java环境。启动Zookeeper服务（后台启动添加-daemon参数）。root@JD kafka_2.12-2.3.0]..
2020-10-10 10:54:50
153
1
原创 自动化部署-1、GitLab搭建
一、 依赖包安装1、安装policycoreutils-python openssh-serversudo yum install -y curl policycoreutils-python openssh-serversudo systemctl enable sshdsudo systemctl start sshd2、安装postfixsudo yum install postfixsudo systemctl enable postfixsudo systemctl start
2020-06-18 15:34:16
400
原创 全文检索 - 4、检索接口开发（SpringBoot）
上一章 全文检索 - 3、ElasticSearch使用一、 添加测试数据1、创建索引和映射结构curl -XPUT 'http://192.168.3.27:8201/test_index?pretty' \ -H "Content-Type: application/json" \ -d '{"settings":{"number_of_shards":2,"number_of_replicas":1},"mappings":{"properties":{"text":{"type":
2020-06-16 16:34:56
328
1
原创 全文检索 - 3、ElasticSearch使用
上一章 全文检索 - 2、ElasticSearch安装（head插件、ik分词器安装）一、 基本概念索引 indexElasticsearch的数据存储的地方，类似于关系型数据库中的数据库，可以向索引写入文档或从索引中读取文档。文档 doc文档是ElasticSearch中的主要实体，对ElasticSearch来说所有的搜索都可归结为对文档的搜索。文档由字段构成，每个字段有它的名字和一个或多个值。文档直接可能有不通的字段集合，并且文档没有固定的模式或强制的结构。文档存储的内容是一个JSON对象
2020-06-15 08:59:46
207
原创 全文检索 - 2、Elasticsearch安装（head插件、ik分词器安装）
一、Elasticearch安装1、 软件环境操作系统：CentOS7Java环境：JDK82、 下载下载es安装包，官网地址https://www.elastic.co/downloads/elasticsearch下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz（如果本地下载速度特别慢，可以使用公有云下载）公有云：私有云：3、 解压安装包
2020-06-12 15:19:19
268
原创 全文检索 - 1、技术选型和架构设计
1. 相关概念全文检索一种将文件中或者数据库中所有文本与检索项匹配的文字资料检索方法，对全文数据的检索。LuceneLucene 是一个 JAVA 搜索类库，它本身并不是一个完整的解决方案，需要额外的开发工作。ElasticsearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，是最受欢迎的企业搜索引擎。SolrSolr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、
2020-06-12 11:49:03
921
原创 Springboot打包文件夹为ZIP并导出
在springboot下打包文件夹并导出zip包代码如下 @ApiOperation(value="导出接口") @RequestMapping(value="/export",method = RequestMethod.GET) public void export(HttpServletRequest request, HttpServletResponse response) throws IOException{ OutputStream out = res
2020-05-26 17:32:03
5395
4
原创 Springboot模板导出excel
项目搭建springboot >2.2.2.RELEASEpom.xml导入POI<dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.13</version></dependency><dependency> <groupId>org.a
2020-05-26 17:27:38
259
原创 Springboot将html导出为PDF
项目搭建springboot >2.2.2.RELEASEpom.xml导入flying-saucer-pdf-itext5 包<dependency> <groupId>org.xhtmlrenderer</groupId> <artifactId>flying-saucer-pdf-itext5</artifactId> <version>9.0.6</version></dependency&
2020-05-26 16:44:56
2829
1
原创 Docker私有仓库安装
软件环境操作系统：CentOS7.5Docker版本：17.05.0-ce安装创建本地文件夹存放私有仓库镜像数据cd /optmkdir registry启动registry容器docker run -d -p 5000:5000 -v /opt/registry:/var/lib/registry registry:2-d后台启动-p将容器的5000端口映射到服务...
2020-02-03 21:07:27
110
原创 Docker安装
软件环境操作系统：CentOS7.5安装更新yumyum update配置Docker安装源tee /etc/yum.repos.d/docker.repo <<-'EOF'> [dockerrepo]> name=Docker Repository> baseurl=https://yum.dockerproject.org/repo/m...
2020-02-01 20:21:25
239
原创 Redis安装
软件环境操作系统：CentOS7.5安装版本：Redis4.0.6安装包下载wget http://download.redis.io/releases/redis-4.0.6.tar.gz安装解压tar -zxvf redis-4.0.6.tar.gz 安装gcc环境yum install -y gcc编译cd redis-4.0.6make MALLO...
2020-02-01 14:45:21
115
原创 MySQL安装
一、在线安装1、软件环境系统：CentOS安装版本：MySQL8.02、安装过程1）、卸载mariadb>rpm -qa | grep mariadbmariadb-libs-5.5.41-2.el7_0.x86_64>rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_642）、安装MySQL>wget -i -...
2020-02-01 14:36:44
123
原创 RabbitMQ安装
软件环境操作系统：CentOS7.5安装包下载Erlang下载wget https://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el7.centos.x86_64.rpmRabbitMQ下载wget https://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rab...
2020-02-01 12:35:28
196
原创 JDK安装
1、下载下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html选择压缩包，32位操作系统选择Linux x86，64位操作系统选择Linux x64。同意License，下载。2、上传到服务器通过sftp或者工具上传到服务器任意位置。这里上传到、root根目录。...
2020-01-09 21:54:35
183
原创 Python学习7-模块的定义和引用
已经学习了Python的基本语法，执行示例时由于代码比较少，并不会存在什么问题。如果业务逻辑比较复杂，代码行比较多，这样写到一个文件中，会不容易维护，也不方便以后重用。还好，python和其他语言一样引入了模块概念。把具有相似功能的函数或者操作相同对象的函数拆分到不同文件中，一个文件就是一个模块。模块名为包名+文件名，如com/say目录下有sayHello.py模块名为com.say.sayHel
2017-08-14 15:39:43
399
原创 Python学习6-函数
对某一类操作进行封装既可以获得函数，在java中成为方法。函数是抽象的基本语法。1. 系统函数 python提供了许多已经定义好的函数，只需要调用方便人们使用。如获取绝对值(abs)、长度(len)、最大(max)/最小(min)值等。>>> abs(-11.2)11.2>>> abs(1)1>>> max(3,1,2,4,7,3,5)7>>> min(3,1,2,4,7,3,5)
2017-08-11 17:16:23
288
原创 spring中注入属性文件中的值
方法1： 1、属性文件配置<!-- 获取properties中的值 --> <bean id="configProperties" class="org.springframework.beans.factory.config.PropertiesFactoryBean"> <property name="locations"> <list> <valu
2017-08-09 16:16:07
336
原创 Python学习5-基础语法
学了前面三章后，感觉有些常用的语法还是不太了解，这里学习总结一下。变量函数声明 第一个字符必须是字母或下划线’_’，其他的部分可以有数字，对大小写敏感。注释 Python中单行注释以 # 开头，如下：# -*- coding: utf-8 -*-#!/usr/bin/python3#用户名name = 'zhangsan';print("hahaha,"+name)#打印个东西注意：
2017-07-07 15:16:31
417
原创 Python学习4-流程控制
条件判断和循环是流程控制的主要组成部分，也是我们日常编码过程的比较常用到的功能。1.条件判断Python程序中，用if语句做条件判断，if后面跟 空格+条件判断语句+冒号，换行后缩进写入条件判断为True时执行逻辑内容，可以使用elif做多重条件判断，也可以用else做条件判断都为False时的补充处理。示例1： 条件判断一般存在多行，使用文件执行的方式更加方便也容易理解。 在E:\目录下新
2017-07-06 14:28:23
304
原创 mqtt消息推送-推送服务简单实现
上一章已经部署了mosquito服务器。这里实现一个简单的推送服务功能。主要包括两个部分。一个上传推送消息的API接口。连接mosquito并推送消息的服务。简单的例子可以使用springboot快速开发，使用默认配置即可。 新建maven项目mqtt-server，pom.xml配置文件如下：<project xmlns="http://maven.apache.org/POM/4.0.0"
2017-07-05 16:33:17
2378
原创 Python学习3-数据类型
Python定义变量时并不需要指定数据类型，但实际使用还是区分不同类型的。比如接口调用的参数，最好在正式业务逻辑前都做数据类型的判断。基本的数据类型整数Python支持任意长度的正负整数，写法和数学中的写法一样且运算永远是精确的，如下40位的整数加法。>>> 123456789012345678901234567890123456712345678901234567890123456789012
2017-07-05 12:21:46
377
原创 mqtt消息推送-Mosquitto安装
服务器操作系统为CentOS7。添加yum源 1、在服务器下载并重命名。 http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo2、手动创建编辑并上传。 到官网下载repo资源。 http://download.opensuse.org/repositor
2017-07-04 20:32:36
986
原创 Python学习2-程序编辑和运行
上一章已经学习了安装和运行代码行输出“hello world!”。这里继续学习程序的编辑和运行。python可以用两种方式运行程序：直接在python交互环境运行代码; 将程序写入文件，执行文件。Python交互环境运行 直接在python交互环境运行代码。如上一章的例子输出hello world!”。使用比较方便，可以快速的看到运行结果。但是这样的程序无法保存，下一次运行时又需要重写。
2017-07-04 13:57:31
510
原创 Python学习1-安装和Hello world
Python分为2.X和3.X两种版本，两个版本之间不兼容。2.X性能方面比3.X好，但是3.X优化了语法，添加了新性能。现在两个版本都有在更新，用什么版本就看个人的选择了。在Windows下安装Python：下载。 官网地址：https://www.python.org/。 选择对应的操作系统和需要的版本。 下不下来可以找国内的镜像下载（https://pan.baidu.com/s/1
2017-07-03 20:46:31
453
原创 集合类-Map
Map存储键值对形势的数据，保存的元素总是成对出现的。键不能重复，值可以重复。继承关系 Map没有父接口，不是继承自Collection。 Map下有HashMap、HashTable、WeakHashMap、IdentityHashMap、TreeMap实现类，HashMap下有LinkedHashMap子类。 HashMap HashMap基于散列表实现，继承了Abstract
2017-06-22 20:36:52
295
原创 集合类-Set
Set中每个元素都是唯一的，并且不保证插入元素的顺序。1. 父接口 Set继承了Collection接口，并且具有父接口的所有方法。2. 实现类 Set下有TreeSet、HashSet实现类，HashSet下有LinkedHashSet子类。 TreeSet 保持次序的Set，底层实现为树结构。可以提取出有序的序列。存放的元素必须实现Comparator接口。 TreeSet
2017-06-21 20:05:09
457
原创 设计模式-单例模式
单例模式是一种对象创建模式，用于生产对象的具体实例，并确保系统中一个类只产生一个实例。Spring中的Bean就实现了单例模式。好处： 1）、频繁使用的对象可以节省对象创建花费的时间； 2）、new次数减少，减少对系统内存的使用频率，减轻GC压力，缩短GC停顿时间。参与者： 1）、单例类，提供单例的工厂，返回单例 2）、使用者，获取并使用单例类。 基本构成： 1）、必须将构造方法私有化，
2017-06-21 09:50:59
213
原创 集合类-List
List接口简介 List中的元素是有序的、可以重复并且可以为null父类 List接口继承自Collection接口，并新增了操作方法，如下表。 方法 Collection List int size() 存在 存在 boolean isEmpty() 存在 存在 boolean contains(Object o) 存在 存在 Itera
2017-06-20 20:38:53
338
原创 shiro登录，多个项目session被覆盖问题
有两个项目都使用了shiro权限校验框架，且部署在一台服务器下两个Tomcat中。 测试时发现在一个浏览器中，登录A后，再登录B。这时A失效，需要重新登录，且登录后B又失效。查看log后发现是cookieId相同的原因。先排查tomcat。 在tomcat下的server.xml中添加sessionCookieName，A项目设置为A_SESSION，B项目设置为B_SESSION。测试后发现问
2016-11-17 14:50:29
5530
原创 静态多层Map缓存清除
最近重构项目遇到一个问题。一个本地缓存的Map凌晨定时清除数据，但好几天了都没清除。内存累加，执行500W的数据会增长将近2.86G的内存，虽然暂时服务器还够用，不过感觉总有一天会挂掉。启动时内存占用：PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2016-11-17 10:39:57
1369
原创 Tomcat8安装
下载tomcat8，下载地址：http://tomcat.apache.org/download-80.cgi将压缩包上传到服务器。[root@localhost]# ll总用量 31312-rw-r--r--. 1 root root 9304958 11月 10 13:56 apache-tomcat-8.5.6.tar.gz解压并重命名。 解压[root@localhost]#
2016-11-10 14:49:57
716
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人