创世纪小马哥-CSDN博客

原创通过fiddler抓IOS&安卓的数据包

操作步骤1. 从官网下载fiddler (试用期30天)https://downloads.getfiddler.com/win/Fiddler%20Everywhere%203.1.1.exe2. 安装fiddler3. 配置fiddler,菜单操作： view -> proference ，允许远程客户端链接4. 手机端连接的WIFI需要和fiddler安装的电脑处于...

2022-04-20 18:26:00 70

原创 mysql delete表后数据恢复

误操作删除了一整个表 tb_user_info, 恢复步骤如下：1. 查找最新的binlog文件名：show master status;从阿里云备份日志下载mysql-bin.001612文件(或者使用mysqlbinlog命令远程导出)2. 把binlog转换成sql文件mysqlbinlog--start-datetime="2021-12-28 10:30:00" --s...

2021-12-28 15:09:00 180

原创 RocketMQ的broker节点挂掉后重启导致的消息重复消费问题解决方案

我的RocketMQ架构图如下：故障描述： Broker-b所在服务器宕机8小时(1：00-9：00)，重启Broker-b后， 8小时期间产生的消息被消费者订阅消费，由于消费者等幂条件是：2小时内相同消息(msgId相同)不重复发送，但是此时已经超过两小时，故 1:00-7:00 期间产生的消息被重复消费。期望： Broker-b重启后，消费者只订阅当前时间开始的消息，之前...

2020-11-10 17:21:00 149

原创 linux删除旧文件只保留最新的10个

背景：jenkins每日发布很多版本，上传的文件占用了linux大量磁盘空间，久而久之，空间不足，故需要定期清理系统旧版本文件。1. 选定清理目标，分析目标文件列表清理前：文件夹列表查询：ll st-www/可见文件列表是固定前缀"st-www.", 后面跟着的是版本号，最大的版本号86就是最新的版本。我只需要保留最新的10个版本，其他的删除。2. Shell脚...

2020-09-12 12:13:00 94

原创 springboot集成dubbo生产者&消费者方法

1. pom.xml添加maven依赖  <dependency> <groupId>com.gitee.reger</groupId> <artifactId>spring-boot-sta...

2020-08-28 14:15:00 26

原创 nginx授权非root用户运行

1. 修改nginx.conf文件配置，首行改为user root;2. nginx文件属性设置#1 进入nginx运行文件目录cd /usr/local/nginx/sbin#2 设置所属组为rootchown root:root nginx#3 文件权限755，所属用户全权限，所属组读+执行，外部用户执行读+执行chmod 755 nginx#4 chmod u...

2020-08-21 14:41:00 54

原创 ElasticSearch定时清理缓存索引

1. 背景：由于ES的日志索引每天都在增长，很快缓存就吃不消了，需要定期清理一下过期不用的索引，在此使用定期删除索引的方法2. 脚本delete_es_indices_over_15_day.sh#!/bin/bash#删除早于15天的ES集群的索引function delete_indices() {param=$(echo $1)#截取索引的日期部分(用于下面的日期比较是...

2020-08-11 16:52:00 44

原创 mysql数据delete后的数据恢复

误删除了一个订单，订单号为：D200711008，现根据binlog对该订单数据进行恢复。1. 查看binlog日志, 取最新的一个mysql-bin.000635show binary logs;2. 导出删除日期范围内的binlog日志mysqlbinlog -uadmin -padmin123 -P3306 -h192.168.1.234 --start-datetime=...

2020-07-17 15:54:00 75

原创 Docker+ElasticSearch+Logstash+Kibana+Filebeat搭建方法

刚开始尝试独立安装ELK的每个软件，发现下载很慢，配置起来挺痛苦，安装问题多多，故采用Docker镜像安装法，省事省心。1. Docker安装#添加docker镜像资源sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo#安装...

2020-06-03 11:38:00 24

原创 linux实现磁盘自动挂载脚本

#!/bin/bash#罗列所有已挂在和待挂载磁盘fdisk -lecho "请输入所挂盘目标地址："read -p "地址：" allecho "请输入所挂地址："read -p "地址：" llmkdir $llecho "np1w"|fdisk -u $allkk="${all}1"mkfs.ext4 $kkmount...

2020-05-26 16:36:00 21

原创阿里云ecs基于镜像进行旧服务器迁移到新服务器

背景：新购服务器会比续费更加优惠，但是新购又不想重新把旧的服务器的配置搞一遍，故采用镜像拷贝的方式去新建ecs步骤1、对旧的ecs进行创建自定义镜像。2、购买ecs新实例，选择自定义镜像，然后支付。3、创建新实例成功后，修改新实例的登录密码，实例名， host名，安全组设置为和旧实例在同一个安全组内，然后停止实例。4、停止旧实例，把旧实例的私有IP修改为一个临时的I...

2020-03-05 14:11:00 82

原创 Sqlserver数据迁移踩坑记

一. 背景老的库source_db是安装在window server 2003上，新库target_db为华为云的SqlServer 2008(RDS), 老库数据迁移到新库上。二. 迁移步骤1. 为了保证在迁移过程中源库数据不再被更新，先将库设置为只读。方法1：可以使用如下命令来设置sql server数据库的只读特性。USE [zssg]GOALTER DATABASE ...

2020-01-14 11:56:00 49

原创 Springboot集成Spring-cloud-config配置中心

背景：由于这个项目本身是springboot骨架，项目不是很复杂，不想使用springcloud全家桶(部件太多，管理麻烦)，但是配置的内容根据生产和测试并不同，故需要采用可切换的配置文件方式实现，需要弄一个配置中心来实现，此处选择Spring-Cloud-Config来实现。1. 项目结构2. 父pom.xml增加如下配置依赖：<dependencyManagemen...

2020-01-06 10:50:00 26

原创 Gitlab安装、备份与恢复

背景：由于需要把gitlab从A服务器转移到B服务器，故在B服务器进行gitlab的安装和恢复备份步骤：一、在B服务器安装Gitlab1. 获取安装包wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-7.10.4~omnibus-1.x86_64.rpm2. 安装rpm -i gitlab-ce...

2019-11-22 11:56:00 34

原创基于开源代码做一个水果商城

现在微商非常的多，所以对这类型的商城源码搜集了一下，发现一个比较好的开源做的商城，特记载一下(仅用于学习交流)。1. 商城配置PHP 5.2/5.3 + Mysql 5.x +Nginxphp 5.3.23下载链接：https://museum.php.net/php5/php-5.3.23.tar.bz22. 源码地址：https://github.com/mhlmelon/f...

2019-11-20 16:20:00 25

原创 CentOS7安装图形化界面方法

一、linux安装(root用户操作)1. 安装vncserver;yum install tigervnc-server2. 安装vncviewer;yum install vnc3. 设置密码：vncpasswd4. 启动vncserver:vncserver4. 停止并禁用防火墙；systemctl stop firewalld.servicesys...

2019-11-01 11:58:00 18

原创 python爬取电影网站信息

一、爬取前提1)本地安装了mysql数据库 5.6版本2)安装了Python 2.7二、爬取内容电影名称、电影简介、电影图片、电影下载链接三、爬取逻辑1)进入电影网列表页，针对列表的html内容进行数据提取电影名称，电影简介，电影图片，电影详情URL，插入数据库表2)通过步骤1获取到的电影详情URL，进入电影详情页，获取下载链接，更新数据库的下载链接字段3)循环执行如上过程，直...

2019-10-30 18:22:00 22

原创 centos下java环境搭建安装

1. 购买服务器(阿里云)2. 重置密码，重启服务器3. 创建账号workgroupadd work #创建组mkdir /data # 创建数据文件夹useradd -d /data/work -g work -m work #创建work账号并设置主目录和归属组passwd work #重置密码4. 通过FTP或者scp上传jdk1.8(因为现在oracle不允许匿名下载了...

2019-10-29 15:46:00 23

原创 rocketmq常用命令整理

1. 启动namesrv和borkersh /opt/alibaba-rocketmq/bin/runserver.sh com.alibaba.rocketmq.namesrv.NamesrvStartup &sh /opt/alibaba-rocketmq/bin/mqbroker -n "mq001.eunke.com:9876" -c /opt/alibaba-rocke...

2019-10-24 17:21:00 39

原创应用Redis分布式锁解决重复通知的问题

研究背景：这几天被支付宝充值后通知所产生的重复处理问题搞得焦头烂额，一周连续发生两次重复充钱的杯具，发事故邮件发到想吐。。为了挽回程序员的尊严，我用了Redis的锁机制。事故场景：支付宝下单 -> 客户支付 -> 回调我方接口通知支付结果服务器节点： 2个事故发生原因：回调我方接口后，第一次通知还未处理完，第二次通知又来了(间隔几秒)，未对通知进行判定重复，导致...

2019-10-22 10:41:00 37

原创用java编写爬虫爬取电影

一、爬取前提1)本地安装了mysql数据库2)安装了idea或者eclipse等开发工具二、爬取内容电影名称、电影简介、电影图片、电影下载链接三、爬取逻辑1)进入电影网列表页，针对列表的html内容进行数据提取电影名称，电影简介，电影图片，电影详情URL，插入数据库表2)通过步骤1获取到的电影详情URL，进入电影详情页，获取下载链接，更新数据库的下载链接字段3)循环执行如上过程...

2019-10-21 10:04:00 519

原创 docker命令集合

#docker安装yum -y install docker-iodocker --version#启动Docker进程systemctl start dockersystemctl status dockersystemctl enable docker --设置开机自启动docker服务#查看镜像并下载docker search hello-worlddocker pull hello...

2019-10-19 10:35:00 16

原创阿里云RDS数据库备份同步到自建库方法（SHELL脚本）

一、背景：由于阿里云RDS生产库每天都需要备份且拷贝到自建读库，而如果使用阿里云的自动拷贝到只读实例，费用太高，故采用自编写同步脚本方法实现。二、前提：1). 已开通阿里云RDS，且开启定期备份功能。(备份功能生成备份文件供下载)2). 已在备份的目标服务器上安装mysql数据库。3). 备份目标服务器已安装数据恢复工具Percona XtraBackup，您可以从Percon...

2019-10-17 14:43:00 34

# php安装包下载wget https://www.php.net/distributions/php-5.6.19.tar.bz2# 解压bunzip2 php-5.6.19.tar.bz2tar xvf php-5.6.19.tar# 配置安装php (中间可能报缺少某些包，按照缺少的提示装上即可)cd php-5.6.19./configure --prefix=/usr/local...

2019-06-17 12:07:00 16

原创 zblog如何更改数据库配置以及生效

zblog是一个博客的开源框架，挺不错的，我们当前拿来作为新闻系统管理使用。由于我们数据库需要统一使用RDS，故对zblog数据库配置进行修改，修改文件如下：1. 数据库文件地址：zb_users/c_option.php2. 修改如下：3. 修改完毕，保存后重启php:service php-fpm restart4. 完毕...

2019-04-29 15:04:00 44

原创阿里云RDS数据库改造迁移方案

1. 改造原因　　(1) 由于历史原因，本应该是同一个库的表分布在两个数据库中，需要对这两个库进行合并。　　(2) 已有的数据库性能无法满足业务的增长需要，查询卡，慢问题突出。 (3) 当前自建Mysql数据库在配置优化、性能监控、负载均衡上缺乏成熟的方案和经验，故借托管到阿里云RDS，有利于数据库的数据安全和服务器稳定。2. RDS数据库现状分析(1)RDS基本配置...

2019-04-11 14:09:00 29

原创如何突破微信的支付额度限制

微信对于钱包支付存在着额度限制，静态扫码每笔最高为 3000元，对于一些价格超过3000元的商品，只能使用多次支付，客户体验很不好。为了突破微信的支付额度限制，我们使用动态付款码实现。自建商城中，在支付环节使用微信、支付宝支付，我们对接网商银行接口实现支付，网商银行对接了微信、支付宝渠道，通过网商的接口返回动态二维码，实现支付，如下：通过动态二维码进行付款，额度能够达到银行...

2018-11-08 11:33:00 30

原创 Lists.newArrayList的一个小坑

把一个用户ID转换成List存储，最开始我使用的方法是：// 用户IDInteger userId = 120;// id 转 ListList<integer> userIds = Lists.newArrayList(userId);// 通过userIds查询用户列表List<User> userList = userService.findByIds...

2018-08-30 12:16:00 24

原创 Linux如何实现进程监控和守护

最近新搭建的亚马逊EC2服务器，上面部署了一个静态的WEB，启动了一个nginx做代理。最近发现一个问题：Nginx进程隔一段时间就莫名的挂掉了，然后就出现了网站无法打开的窘境。。为了防止这个问题再次发生，特使用如下方法进行Nginx的进程守护。1. 编写脚本，监测nginx进程，如果挂掉，则重启，否则不予干预。在/data/work/scripts目录下创建一个 restar...

2018-08-29 16:23:00 17

原创基于RAP(Mock)实现前后端分离开发

看看RAP的官方定义：什么是RAP?(Rigel API Platform)在前后端分离的开发模式下，我们通常需要定义一份接口文档来规范接口的具体信息。如一个请求的地址、有几个参数、参数名称及类型含义等等。RAP首先方便团队录入、查看和管理这些接口文档，并通过分析结构化的文档数据，重复利用并生成自测数据、提供自测控制台等等... 大幅度提升开发效率。RAP的特色强大的GUI工具给...

2018-08-22 19:13:00 16

原创 jenkin如何实现web版本控制&回退

jenkins本身作为一款运维利器，具备1. 持续集成 (Continuous integration) 2. 持续交付(Continuous delivery) 3. 持续部署(continuous deployment)的强大能力，对于生产的版本部署，有时候会遇到新发的版本出现严重BUG等问题，急需进行版本回退，为了解决这种应急问题，特地介绍下如何使用jenkins做we...

2018-08-17 16:20:00 24

原创亚马逊云开服之旅

最近公司需要搭建一个面向海外客户的官网网站，主题是区块链物流。1. 在Godaddy申请了一个xxx.io结尾的域名，要使用这个域名提供给老外访问。2. 新域名解析指向阿里云ECS主机。遇到问题：但是在域名解析指向国内阿里云服务器后，打开站点显示的是下面这玩意儿：境外的域名指向国内的IP是需要备案的！之前有过阿里云备案经历，环节繁琐，审核周期长(不下20天)，由于这个新官网很...

2018-08-14 16:12:00 19

原创 Linux主机之间ssh免密登录配置方法

由于公司的生产环境有很多台Linux的CentOS服务器，为了方便机子(假设两台机子A，B)互相之间免密ssh， scp命令操作，配置如下1. 在A、B上分别创建本机的公钥和私钥，输入命令后连续三次回车ssh-keygen -t rsa2. 查看公私钥的文件生成情况cd ~/.ssh/ls看到列表有2个文件：文件说明：id_rsa : 生成的私钥文件id_rsa.p...

2018-08-08 15:46:00 13

原创阿里云运维培训讲解

1. 什么是运维？运维(Operation and maintenance)一般是指对大型组织已经建立好的网络软硬件的维护,其中传统的运维是指信息技术运维(IT运维)。2.工作范畴IT运维是IT管理的核心和重点部分,也是内容最多、最繁杂的部分,该过程主要用于IT部门内部日常运营管理,其涉及的对象分成两大部分,即IT业务系统和运维人员;业务运维：是业务需求和用户体验的核心和重点部分,更是...

2018-08-07 12:27:00 41

原创区块链技术在物流领域应用分析

当前区块链概念火热，对于技术人来说其实原理一看就懂，由于本人所在公司从事的是整车物流行业的软件开发，有必要探讨下区块链对于物流行业的意义和应用前景。当前中国物流行业的互联网化程度还不算太高， 14年开始才兴起物流的互联网化浪潮，产生了比如货车帮、运满满等在线车货匹配交易的平台，并借助资本补贴快速培养货主、司机、信息部三方用户习惯，以致到现在，中国几乎每个货车司机都安装了这些车货匹配的...

2018-08-06 14:51:00 76

原创公众号页面分享朋友圈后点击跳转到小程序的方法介绍

由于微信小程序是不支持直接分享到朋友圈的，只能转发给朋友或者群聊，当前公司已经开发了小程序，希望能把客户引导到小程序上操作报价，方法是：公众号货源详情分享朋友圈-> 朋友圈点击货源详情进入小程序报价，老板让我们想办法实现。。于是，老板说打哪就打哪，实现过程总结如下：前提：报价页面在小程序中已经实现(路径为 pages/supply/supply)：公众号开发部分：...

2018-08-06 10:10:00 70

原创阿里云网络迁移引发公司服务器宕机的24小时吐血恢复纪实

7月初收到阿里云邮件，提示说需要做经典网络预约迁移到专用网络(更安全，配置更灵活的虚拟网络空间)，于是乎就随意自然选择了一个工作日日期(下午14点：30预约迁移，客户使用高峰期，这个时间选的我也是后悔莫及o(╥﹏╥)o)。如期迁移，14:35开始，收到客户反馈，PC系统和手机端APP、小程序均无法使用, 内部测试人员检查结果也显示无法正常使用，服务器处于瘫痪状态(挖槽，阿里云生产从来没...

2018-08-03 12:07:00 29

原创关于maven-resources-plugin配置的隐藏的坑

昨天发现一个问题，一个第三方证书的文件存放于resources文件夹下，在本地环境使用该证书进行加密调用第三方接口，没有任何问题，但是发布到测试环境和生产环境(linux)报错，提示证书工厂无法初始化。看正式环境和本地唯一的代码区别是证书的路径不一样，本地是windows操作系统，证书变量设值为：plat.cert.path=E:\\LOJI-GIT\\eunke-web\\eunke...

2018-08-03 11:23:00 44

原创数据库主库从库宕机重启后binlog数据同步

由于阿里云经典网络迁移到专用网络，一不小心没有先预备方案调整网段，导致实例无法以内网IP形式访问数据库，被迫进行数据库停机后网络网段调整，导致宕机了几个小时。。。被客户各种投诉爆了。。基于这次数据库恢复血泪史，特整理解决办法，让日后同学避免再犯。数据库master库重启后，确保能正常提供服务。由于生产上BI系统使用的是slave从库做数据查询，从库的数据库已经落后了master好几...

2018-08-03 10:26:00 37

原创面试题及答案汇总

1）简述spring为解决复杂企业应用而生，优点在于其分层结构，架构上面7个组成， core, AOP, orm, web, mvc, context, dao控制反转和依赖注入， AOP 是核心2）说一下怎么理解spring中的IOC控制反转之前是底层控制上层，现在改为上层控制底层，方便底层和上层的解耦。之前是代码控制权，转为容器控制参考：https://www.zhihu.com/quest...

2018-03-19 13:43:34 298