- 博客(31)
- 收藏
- 关注
RSS订阅原创 云服务时代，自建还是选择云服务？
自建 or 云服务？直接表明我的观点：在两者成本差不大的情况下，肯定云服务啊。来看看自建要做啥预设资源，搭建服务需要先准备服务器资源吧，然后最好部署时不要混部其他组件，不然会和目标组件抢资源，不稳定。然后就是改配置文件，搭建服务啊，这里搭建服务时需要对组件本身比较了解才能知道如何改配置文件。构建对应的监控报警体系服务搭好了，没有报警监控就相当于裸奔。资源满了，要报警吧；服务挂了，要报警吧；组件本身的情况，要监控吧。所以这些都是一些想用好组件本身的一些额外的工作。运维方面组件资源快
2021-01-26 19:07:39
569
原创 emq实现向大量指定设备推送消息（九）
前言：最近完成了一个需求，向大量的指定设备推送消息。但是，实现过程中发生一些问题，导致不得不换了一种实现方式，故记录之，以供参考。先说明下背景：emq集群为2个节点，配置为4核16G，同时在线设备量大概在10W左右（即每个节点负载约5W）。需求就是：需要向这其中的某3万设备推送某个消息。解读下需求：比如我现在有设备号码是 1-100000 的这么些设备，要推送 30000-60000 ...
2020-04-16 17:42:42
1973
16
原创 Swagger2如何使用更好？
知道了swagger2的好，但要怎样的好好利用，才能好上加好？1，用swagger2注解代替掉字段注释吧为什么这样说，字段注释是我们写来解释字段含义的public class PageVO { /** * 第几页 */ private Integer current; /** * 每页条数 */ private In...
2020-01-16 17:23:20
991
原创 Swagger2？有何用？
首先给结论：swagger2 hin有用！！怎么个有用法？从单体应用进入到前后端分离开发模式后，我们可能经历了这么几个时代：口头传述+钉钉（QQ\微信）私聊时代后端在开发完获取用户列表接口后。。。 /** * 获取用户列表 * @param name 用户名，用于模糊查询，可传可不传 * @param current 第几页 * @param siz...
2020-01-14 15:22:56
1237
原创 redis系列——redis跨机器复制指定key（二）
前言：拷贝redis数据，首先想到可以把redis的dump.rdb快照文件拷贝到新redis的数据目录启动就好，但这样是把全部数据都拷贝了过去，并且如果被拷贝的redis里面本身有数据的话，会被覆盖掉，所以这种方法只适合做数据的整体迁移。但有时候需要把redis内的部分key写到不同机器上不同集群的redis内，这时候就有了这个方法。新建脚本：movekey.sh#!/bin/ba...
2019-12-12 11:14:19
1127
2
原创 ELK系列——terms分组后的结果数据再分组（七）
前言：最近遇到了一些需求，需要统计分组后的结果数据再分组的数据，查遍资料绞尽脑汁的想解决方案。可也没有一个很好地解决方案，但最后也还是找到一个不算太好但能解决问题的办法。分享给大家。需求背景：有一批设备可以播放广告，es存了设备的播放记录，播一次一条记录。大概需求是这样：1，统计每个设备播了多少次。（这个so easy啦，直接terms分组不就可以啦，但是有个问题，es默认terms的...
2019-12-11 16:04:49
2202
1
原创 redis系列——centos7部署redis（单机）（一）
前言：记录一下，方便后续自己查看。1，下载编译安装wget http://download.redis.io/releases/redis-5.0.5.tar.gztar -zxvf redis-5.0.5.tar.gzmake && make install2，创建配置文件目录和文件mkdir -p /opt/software/redis-5.0.5/co...
2019-12-11 14:38:12
109
原创 出门吃饭，手机没电，有感——为什么共享充电宝能活？
前言：本人很不喜欢没事去商场，但由于女友的存在，不得不去啊。恰巧这次去商场手机要没电了，又要买单，于是去借了充电宝，由此引发思考。这次借了个街电的充电宝，用支付宝扫码信用无押金借的，1.5元/半小时，大概借了40来分钟吧，因为手机充了40多分钟后发现充电宝没电了，遂还掉，扣款3元，体验还算不错，毕竟解决了我的燃眉之急。想起前两年的共享狂潮，催生出了共享单车、共享雨伞、共享汽车、共享充电宝等...
2019-09-25 17:08:54
509
原创 centos7部署mysql 5.7.27，并设置用户账户
前言：最近需要部署一个5.7版本的mysql，供开发测试用。1，先建好指定目录，我准备在把安装包下载到/opt/mysqlmkdir /opt/mysqlcd /opt/mysql2，下载安装包wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar...
2019-09-10 20:26:57
370
原创 springboot MultipartFile 上传文件后@Async异步处理报错：FileNotFoundException
前言：最近使用springboot处理文件上传。但是遇到了一些莫名其妙的问题。需求是：前端上传一个excel，后端需要接收并解析里面每行数据，并最后生成一个结果excel提供下载。由于考虑到如果用户上传的excel数据量大的时候，解析过程可能要持续很久，所以采用了异步开线程@Async的方式去处理。具体实现是：controller被调用后会进行文件的合法性判断，判断通过后就异步调用有@As...
2019-09-10 11:39:41
3753
2
原创 摆脱LB服务器，自己实现emq集群的负载均衡（八）
前言：前面用nginx+keepalived做了emqx的负载均衡和高可用，但是通过观察服务器监控发现，nginx转发了tcp连接到emq后，还会占着tcp的连接数，这就导致服务器的tcp总连接数翻倍。还有个问题就是，通过nginx转发的tcp连接到emq那显示的ip全部变成了nginx服务器的内网ip，那么通过自己实现负载均衡，就没有这个问题。那如何自己实现负载均衡，话不多说，先写思路。...
2019-06-06 16:16:08
1075
1
原创 kafka系列——kafka生产中消费速度慢的问题（三）
前言：kafka是个高吞吐的消息中间件，有着削峰填谷的作用。最近在生产中，发现消费速度跟不上生产速度，很是好奇，kafka不是号称高吞吐吗？难道是kafka吐的太慢了？后来查了很多资料，总算弄清了点头绪。不是kafka的锅，是自己的消费者消费能力不行导致。生产者一般不会有啥问题，因为是写进kafka，数据如果要处理的话，处理中的数据和kafka还没关系，等数据处理完要最终写入kafka了的...
2019-05-29 18:31:52
16621
2
原创 kafka系列——kafka实用命令（二）
前言：最近用kafka比较多，记录一下命令。1，查看kafka的topic列表bin/kafka-topics.sh --list --zookeeper 172.18.215.18:21812， 启动一个生产者，并向 dofun-testhaha这个topic发送数据./bin/kafka-console-producer.sh --broker-list 172.18...
2019-05-29 17:53:59
178
原创 个人觉得实用链接
前记：这是我的个人觉得有价值的收藏。logback的使用和logback.xml详解Nacos配置的多环境管理centos虚拟机扩展磁盘空间
2019-05-11 14:38:54
154
原创 Centos7添加用户和用户组，并加sudo权限
前言：登录服务器总不能所有人都用root，root权限太大。一：添加用户组和用户#添加用户组devgroupadd dev#添加libb用户，并归属于dev组useradd -g dev libb#给libb用户改密码passwd libb#给已有的用户增加工作组gpasswd -a user group#查看组以及组员cat /etc/group二：...
2019-05-10 12:00:53
7130
原创 ELK系列——7.0.0 elasticsearch-rest-high-level-client踩坑记（六）
前记：今天要用java来连es集群查数据，目前连es的常用办法一般有两种：1：elasticsearch-rest-high-level-client（这个会随着es的版本同步更新）2：spring-boot-starter-data-elasticsearch（这个是spring做的es集成包，更新不会很及时）我习惯用第一种方式，今天在引入的时候： <dep...
2019-05-08 16:26:29
4798
11
原创 ELK系列——7.0.0 logstash踩坑记（五）
前言：玩 logstash 7.0.0 的时候又碰到了bug...修改一：es7.0版本去掉了type的概念，所以当我在用logstash往es导入数据的时候，用这个模板文件做映射就会报错。{ "order" : 0, "index_patterns" : [ "gps-*" ], "settings" : { "index" : {...
2019-05-07 09:51:22
1328
原创 ELK系列——7.0.0 elasticsearch 集群部署踩坑记（四）
前言：最近es7系列版本出来了，玩了一下，发现之前的配置不管用了，看官方文档后发现，好些配置都改了。es官方文档开始按照以前的配置玩，启动后发现一直报警告日志：master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster,and [cluster.initial...
2019-05-04 16:12:57
9172
原创 nginx+keepalived实现emq集群负载均衡高可用（七）
前言：压测emq集群之前需要有负载均衡服务，做负载均衡的一般常用nginx，也可以用haproxy，我这里用nginx。虽然一个nginx就可以实现负载均衡的功能，但nginx作为一个入口，如果挂了后续服务都将受到影响，nginx+keeplived能实现nginx的高可用。目前nginx+keeplived有两种搭建模式：1，主从热备 2，双机热备。我用第二种，更多利用服务器资源。部署机...
2019-05-04 11:00:36
1690
原创 emqtt_benchmark压测emqx集群（六）
前言：前面分别对单台emqx进行了压测，并且从压测结果来看，可以看出单台的能力已经很强，只要资源给够的情况下，应该是能达到官方说的百万连接。但我也说过，单节点是没有容灾能力的，所以现在来测集群。我三个emqx服务分别跑在1核4G内存的虚拟机上，并在128虚拟机上部署了nginx做负载均衡。我的代理端口是18084，先在一台机器上执行，跑30000完的连接。./emqtt_bench_...
2019-04-24 17:59:48
1651
原创 emqtt_benchmark压测单台emqx服务器（五）
前言：官方说的单台连接达到百万，虽然我信，但我还是要自己玩一下。我用emqtt_benchmark进行压测，要用emqtt_benchmark需要有erlangR17版本以上的环境## 安装erlang虚拟机yum -y install ncurses-devel openssl-devel unixODBC-devel gcc-c++ cd /optwget http://er...
2019-04-24 15:04:15
3287
10
原创 emqx服务器的权限验证（四）
前言：emqx是默认开启匿名认证的，即客户端不需要任何认证信息即可连上emqx服务器，但生产环境这样肯定是不行的。emqx也支持很多种认证方式，这里我选着最简单的一种，用户名密码认证。生产环境肯定是不能裸奔的，所以需要权限验证。emqx支持很多种权限验证，我选最简单的一种，用户名权限验证。#先要把emq的匿名认证关了，在emqx.conf文件allow_anonymous = fa...
2019-04-21 12:29:26
7463
6
原创 emqx服务器的集群搭建（三）
前言：前面做了emqx的单点搭建，官方的压测显示，即使单点的emqx的性能也是很能打的（EMQ XR3.0 在单机 8核/32G内存的 CentOS 云服务器，能够测试到 130万 的客户端连接数），但单点没有容错能力（如果部署emq的服务器挂了，或者emq本身挂了），一旦出现问题，后续服务将会受到影响，所以现在搭建集群。主要修改./emqx/etc/emqx.conf#集群发现模式，...
2019-04-21 12:24:42
8296
3
原创 物联网场景下MQTT初探（一）
前言：最近在研究车联网场景下，大量车辆会同时在线，并且会同时上传数据，这就需要能支持大量的连接数以及大量的数据吞吐的构件。MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，它比较适合于在低带宽、不可靠的网络的进行远程传感器和控制设备通讯等，正在日益成为物联网通信协议的重要组成部分。MQTT现在主要用于即时通讯，物...
2019-04-21 11:54:18
1581
原创 kafka系列——kafka集群搭建（一）
前言：前面搭好了kafka要依赖的zookeeper（其实kafka自己内置了zookeeper，但我还是用自己搭的），现在开始搭建kafka集群。在/opt目录解压后，进入config/server.properties修改：broker.id=1 #每个kafka节点要唯一listeners=PLAINTEXT://192.168.1.128:9092 #对应的kafka机器的i...
2019-04-16 11:17:03
285
原创 zookeeper集群搭建
前言：最近要搭kafka，要依赖zookeeper，所以先搭建zookeeper集群。下载zookeeper后，上传到/opt目录下解压。在/conf下拷贝zoo_sample.cfg一份并改名为zoo.cfg文件，里面添加：dataDir=/data/zookeeper/data #zookeeper的数据目录server.1=192.168.1.128:2888:3888s...
2019-04-12 18:11:13
115
原创 ELK系列——6.7.1的kibana中文版安装（三）
前言：前面装了最新版6.7.1的kibana，然后看到了官网说6.7.1的kibana推出了本地化版本，且首个就是简体中文版，所以来尝尝鲜。装中文版很简单，看文档介绍只要在config/kibana.yml加上：i18n.locale: "zh-CN"加上之后，先杀掉kibana进程：//杀死kibana进程ps -ef | grep node然后重启kiban...
2019-04-12 15:22:27
1043
原创 ELK系列——logstash、kibana单点搭建（二）
前记：上一篇写了es集群的搭建，这一篇再把 可视化的kibana 和 数据导管logstash 部署一下。kibana安装：kibana安装很简单，下好和es对应版本的kibana解压后。1，打开config/kibana.yml 文件 加上server.port: 5601 #指定kibana服务端口，可以不配默认就是5601 server.host: "1...
2019-04-10 17:51:50
543
原创 ELK系列——elasticsearch集群搭建（一）
前记：使用ELK技术栈也有快1年的时间了，最近需要新搭建ELK，有些配置与修改，纪录在此，以便后续查阅。用笔记本开了三台虚拟机搭建，虚拟机系统是centos7，每台1个G内存。然后下载es最新版，现在已经到了6.7.1：https://www.elastic.co/cn/downloads/elasticsearch。es配置：修改config/elasticsearch.yml，三个节点...
2019-04-10 15:49:01
496
原创 JAVA实用工具类-GPS，高德，百度坐标相互转换
经过本人实际验证，此工具类的转换方法靠谱，所以拿出来给大家分享。验证方式有二：1，通过此工具类转换的坐标和调百度高德地图转换后的坐标，进行对比，误差在小数点后四到五位才出现。2，把用此工具类转换后的坐标，渲染到对应地图上，如：高德地图，百度地图。点几乎在路上。下面就把此工具类贡献出来。/** * 各地图API坐标系统比较与转换; * WGS84坐标系：即地球坐标系，国际上...
2018-12-04 16:04:07
5310
3
原创 实测可用：springboot打war包，成功引入第三方jar包两种方法
在这里介绍两种方法，都是笔者实践过，确认可行的方法。这里以oracle的jar包为例一：思路：将第三方jar包先deploy到本地Maven库上。（本地maven库路径：C:\Users\xxx\.m2\repository）你maven所有引用过的包都下载在这里了。这时候需要下载一个，再把需要deploy到ojdbc6的拷到E盘根目录，并在maven的bin目录里执行：...
2018-09-26 11:07:24
2020
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人