- 博客(23)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 关于SpringBoot配置文件 加载多个外部自定义配置文件
Spring Boot项目最终我们会发布为一个jar或war文件部署到生产环境，这十分方便，但在生产环境中我们会遇到一个问题：Spring Boot在打包时，将项目下所有文件全部压缩到了jar文件内，这使得我们在生产环境下每需要修改某个配置文件属性都需要将项目重新发布，相当反人类。那么要解决这个问题，我们就需要让项目引用外部配置文件，那么在实际开发环境下，可能我们会存在多个配置文件（我很排斥使用Spring Boot的 Application.Properties作为我项目的配置文件，可能是某种精神
2020-09-18 11:37:47
2376
1
原创 springboot项目发布后执行报错 “没有主清单属性”
这是由于普通发布未将项目发布为可执行jar文件，需要在项目中添加 spring-boot-maven-plugin 引用，它可以将springboot项目发布为一个可执行的jar或war文件。打开项目中的pom.xml,在其中添加以下内容红框中的内容：<!-- spring boot 构建插件，解决没有主属性清单的问题 --> <build> <plugins> <plugin&g...
2020-09-16 16:44:42
427
原创 springboot项目发布 Maven Install报错No compiler is provided in this environment.......
springboot 项目发布是，执行Maven install时发生以下错误:这是因为IDE环境可能使用了jre而不是jdk把jdk路径添加进来应用再重新尝试发布即可解决这个问题发布成功
2020-09-16 16:35:59
188
原创 进击的大数据（十三）数据工厂模块开发——java下的elasticsearch操作
项目我上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。github代码地址：https://github.com/sjctt/spartacus数据工厂模块主要功能是：将接收模块缓存到redis中的数据，进行基础分析后生成elasticsearch索引。模块命名：spartacus_datafactory关于springboot项目的创建，可以参考之前的文章：https://blog.csdn.net/FormatWindowsXP/article/details
2020-09-07 10:58:40
259
原创 进击的大数据（十二）数据工厂模块的设计
项目我已上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。github代码地址：https://github.com/sjctt/spartacus在前面几篇文章里完成了数据采集模块的设计研发，主要功能就是通过syslog接收信息后缓存到redis中等待处理。涉及到一些技术点如：UDP网络通信，非阻断式接收、多线程处理、队列任务的使用、java操作redis数据库等。今天开始来做数据工厂部分，即从redis中拿出缓存数据后将数据经过解析后放入elasticsearc
2020-09-07 10:14:47
368
原创 进击的大数据（十一）数据采集模块开发——syslog日志采集服务_多线程入库
项目我已上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。github代码地址：https://github.com/sjctt/spartacus昨天我完成了udp接收部分，今天来把入库部分做一下。在这里，如果我把入库动作与udp做单线程处理，会发现，在高并发数据下，入库效率存在很大的延迟，并且udp的接收会有很多数据丢失的情况，这里我们需要采用多线程入库的方式处理数据。当然，在做多线程时，无限制的开启线程操作显然是不可取的，这会造成严重的资源浪费，甚至内存溢出的
2020-09-04 09:33:33
479
原创 进击的大数据（十）数据采集模块开发——syslog日志采集服务 _udp网络通信
本章相关技术：UDP网络通信、java线程池多线程处理、redis。项目需求文档地址：https://blog.csdn.net/FormatWindowsXP/article/details/108279929在前一篇中我完成了关于redis模块的内容，下面我们来把采集模块完成，关于udp网络通信部分。首先，在之前整理的需求中，对于UDP的要求为可通过配置文件对udp绑定的ip及端口进行配置，下面先来设计一下配置文件。1.设计系统配置文件在spartacus_datacollectio
2020-09-01 17:37:31
876
原创 进击的大数据（九）数据采集模块开发——syslog日志采集服务_java下的redis数据库操作
本章相关技术：UDP网络通信、java线程池多线程处理、redis。先来整理一下syslog模块的结构路径：spartacus_datacollection/src/main/java/spartacus_services //放置系统服务模块spartacus_datacollection/src/main/java/spartacus_services/syslog_service //syslog服务模块spartacus_datacollection/src/main/java/s.
2020-09-01 15:45:24
399
原创 进击的大数据（八）数据采集模块开发——服务中心消息通信接口
之前我们新建了一个springboot的项目，今天我们来进行服务中心通信接口的代码书写，需求都基于之前的文章《进击的大数据（六）数据采集模块的设计》 https://blog.csdn.net/FormatWindowsXP/article/details/108279929 不记得可以供我们回顾一下。项目代码我上传到github上了，随时做随时更新，感兴趣的可以下载，github代码地址：https://github.com/sjctt/spartacus1）首先在之前的sprin...
2020-09-01 14:09:05
403
原创 进击的大数据（七）数据采集模块开发——创建spring boot项目
下面就准备开始编码了，因为我是出于可以提供学习参考的目的过程就尽量写的详细一些吧。1. 开发环境IDE：Eclipse 2020java：jdk 8开发架构：Spring boot这里jdk版本不要低于8，因为项目后面涉及到ES的时候，ES需要jdk8，否则支持不了。2.创建项目1）springboot 基于Maven框架，首先我们建立一个Maven项目。2）这里选择创建一个简单的项目3）给项目命名，我的项目名是spartacus_datacollection
2020-08-29 00:09:32
545
原创 进击的大数据（六）数据采集模块的设计
先来搞数据采集模块吧， 简单做一下需求分析，大概暂时就这几个需求吧，很简单。1. 需求分析1.1 syslog协议采集 1）采用udp协议对宿主机指定端口进行监听，实时获取数据后将数据放入redis缓存。 2）可通过配置文件对UDP协议绑定的IP、端口进行设置。 3）端口默认 514 syslog标准端口，IP默认 0.0.0.0 即宿主机所有IP地址。1.2 服务中心消息通信 1）提供与服务中心交互接口，便...
2020-08-28 17:27:38
1808
原创 进击的大数据（五）项目的启动
1. 项目介绍1.1 前言 Spartacus取自古罗马时代的起义军领袖，在古罗马奴隶制时代，奴隶领袖斯巴达克斯领导的大起义，曾经震动了整个西方世界，其斗争精神曾影响了一代又一代奴隶。斯巴达克斯象征了追求自由的、不畏强权的、不安于现状的精神。 Spartacus的项目目标是一个可以提供日志审计、数据分析服务的大数据功能平台，不知道我一个人可以将这个项目做到一个什么程度，可以做到半途就放弃了，也可能以后有机会在这个项目里加入人工智能的概念，哈哈哈哈哈哈哈哈哈哈哈哈，白日...
2020-08-28 14:11:09
186
原创 进击的大数据（四）elasticsearch 的搭建
1. 下载elasticsearch喜欢使用最新版本的可以去官网下载最新版本，因为官网下载慢，总中断，这里我网盘分享一个7.2版本，方便下载。elasticsearch官网：https://www.elastic.co/cn/百度网盘链接：https://pan.baidu.com/s/1cWAwxoueGWllLZmkwcvgbg提取码：a8152. 安装部署主机系统：Centos7elasticsearch版本：7.2.0将ES安装包移动到centos下进行安装，ES的安装
2020-08-28 11:09:53
185
原创 AIX系统下NTP校时的配置方式
在对数据中心进行标准时间管理时，我们需要对各类操作系统、网络设备、安全设备等关键设备接入ntp协议对时，今天在配置一台AIX系统时碰到了一个问题，我们的ntp时间服务器是采用gps卫星标准时间，在使用ntpdate命令对时时，配置AIX是始终提示以下错误，通过ntp.conf方式配置，xntpd服务也一直无法对时，最终终于还是在官方文档靠谱，找到了解决方案，这里记录一下，记性不好。官方文档的说明————————————————————————————————————————...
2020-06-28 15:34:25
1438
原创 进击的大数据（二）：redis的搭建
不小心把搭建的文章删除了，把记录的草早仍上来吧..下载地址：https://redis.io/tar xzf redis-4.0.2.tar.gzcd redis-4.0.2makemake install配置文件信息1、bind 127.0.0.1 - 设置redis只可以访问的IP地址，注释掉可以所有的都可以访问，在生产环节中最好...
2019-08-28 18:17:07
209
原创 进击的大数据（三）：java操作redis
一、redis的java驱动java驱动下载地址：http://repo1.maven.org/maven2/redis/clients/jedis/,当前最近版本是3.1.0-m3。 剩下的不详细写了，直接上代码。没有那么复杂，整体感觉上redis还是很不错的，方便、快速、简单。我没有对redis进行并发和大数据测试，对它的性能还没有概念，有机会的话我会进行深度测试。...
2019-07-04 13:59:00
301
原创 进击的大数据（一）：始于数据
对于大数据的处理，我们不免要用到分布式集群、搜索引擎、缓存等各种各样的技术。我计划用一些时间调研一下包括springboot、vue、elasticsearch、storm等几个技术，并将这些技术应用到一个项目工承中。因为这是私人事件，我不知道这件事情是否可以坚持下来，会做到什么时候，也许这个目标会在执行过程中因为其他工作无疾而终也说不定。先给这个项目命个名吧，我打算叫它：Sparta...
2019-07-03 11:40:04
295
原创 SNMP协议学习记录（二）
继续来看SNMP，昨天搭了一个测试环境，收到了一票不知道什么含义的数据。 深入了解后，发现这跟一个叫做MIB库的东西有关，这个MIB库是一个非标准的库，每个厂家都有自己的MIB库，据说甚至每个厂家的不同产品可能都不同，学一步做一步，先不管mib库，我先来用java实现一个snmp trap的信息接收demo。我使用的snmp4j一个开源的工具类下载地址：https://downlo...
2018-08-15 16:10:15
775
原创 SNMP协议学习记录（一）
工作需要，今天要开始接触snmp协议，记录一下学习过程，方便以后回顾。看了协议报文，一头雾水，我决定先模拟一个服务端+客户端，先看看它的运行效果。1. 搞一个服务端 通过了解，发现snmp协议支持主动采集和被动接收两种形式，我最终需要实现一个snmp的服务端，接收通过snmp协议发送的消息，再对这些消息进行更深度的处理，符合被动接收。https://download.c...
2018-08-14 17:10:57
3076
2
原创 Ubuntu配置和修改IP地址
习惯了使用RedHat和Centos，今天客户要修改Ubuntu的IP地址，怎么着配置文件也找不到，也没有setup图形配置程序，只能谷歌了一下，问题解决了，在此做一下备忘。1、修改配置文件/etc/network/interfacessudo vim /etc/network/interfaces添加以下内容：auto eth0
2017-03-20 10:42:25
375
原创 MongoDB学习记录—索引
1. 索引1.1 添加索引db.CollectionName.ensureIndex({"字段列名":1}) 其中1为正序 -1为倒序1.2 查询索引db.CollectionName.getIndexes()1.3 删除索引db.CollectionName.dropIndex({"字段列名":1})
2016-06-24 16:02:38
271
原创 MongoDB在Windows下的安装及配置
公司有款日志审计类的产品使用Mysql数据库效果总是不太尽如人意， 听说非关系型数据库对大数据的处理速度比关系型数据库要快的多，于是在网上了解到了MongoDB，现在国内淘宝、京东、360都有大规模的使用，那么在性能上应该没有什么问题。（虽然网络上总是有人励志反复证明mongodb有问题，但我想国内几个大互联网都在使用，那么应该没什么问题吧。）下面就说一下我的安装过程吧.首先，下载MongoD
2016-06-23 10:13:53
394
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人