- 博客(43)
- 收藏
- 关注
RSS订阅
原创 数据库mongodb效率测试
序言工作中,遇到单机高并发,大数据量的数据存储场景,mysql显得有些吃力,mongodb具有高并发(1k稳定),大数据量存储的特点.想要引入,故针对mongo的基础CRUD性能,做测试验证.这里针对大数据量的插入和查询,分别测试mongodb和mysql的效率(插入/查询多次测试,取平均值,得到测试耗时测试类型次数mongodbmysql结果插入1w500ms1100ms插入效率,mongodb快一倍插入10w1800ms3700ms插入效率,m
2021-11-17 17:30:06
5560
原创 linux系统多个mysql时的部署和服务注册
在一次实际部署过程中,碰到了服务器已经部署了一个mysql服务. 再部署新的mysql时,特别注意不能与另一个mysql互相影响.记录一次部署中存在的问题和解决方法.因为已存在mysql,新的mysql部署采用的是mysql.tar.gz解压手动安装,避免.rpm或者.deb等自动安装方式覆盖了已有mysql的配置或者数据.
2024-02-29 10:49:34
349
原创 maven模块化开发部署
之前一直维护迭代的产品,因为有很多客户使用.有些用户有定制化需求,需要添加新的模块功能.因此需要平台主体功能迭代的同时,非主体功能和定制化功能插件化.
2024-01-09 14:35:02
556
原创 python基础语法总结
python一个文件定义多个类,比较轻java一个文件一般定义一个类,比较重类的继承语法不通,方法定义只需要 def 方法名(传参),不需要定义返回类型。
2023-07-12 11:59:24
326
原创 python之简单网络爬虫抓取Top250案例
这次简单编写抓取页面案例,可以看出python的优势在于语法简洁,且拥有特定场景相对成熟的库可以使用,便于快速实现功能,下面贴代码main.py和结构。
2023-05-30 16:31:01
373
1
原创 数据库单表和分表后效率对比,Merge引擎,MyISAM及Innodb效率的看法
公司项目有用到分表,考虑到分表对于查询效率的影响,进行了测试,测试过程不列举,这里记录下自己测试的结果,以及自对单表和分表,三种引擎的看法.这个是基于我自己的电脑测试结果,仅代表自己的看法.后续还会更新自己看法一.单表和分表查询效率对比1.数据量及查询时长数据量 单表 多表 10w 0.24 0.31 20w 0.47 0.63 30w 0.74 0.98 60w 1.5 2 150w 4.2 9.
2021-03-04 11:27:12
634
1
原创 jdk自带VisualVM无法监控到注册成服务的tomcat
在windows 服务器中,遇到tomcat注册了服务,启动tomcat后无法通过VisualVM来监控到tomcat,这里提出解决方案1.问题原因VisiualVM来监控tomcat进程是通过监控tomcat下运行的catalina.bat来进行的,普通双击方式启动tomcat会运行这个文件,所以能监控到.但是注册成服务后,通过tomcat.exe来运行,故监控不到2.解决方案tomcat注册成服务后,在注册编辑器中,获取到tomcat的配置,启动Options中加入JMX配置,..
2021-02-02 10:20:59
566
原创 自签SSL证书生成
生成私钥命令：openssl genrsa -out ca/ca-key.pem 1024命令：openssl req -new -out ca/ca-req.csr -key ca/ca-key.pem生成CA自签证书命令：openssl x509 -req -in ca/ca-req.csr -out ca/ca-cert.pem -signkey ca/ca-key.pem -days 3650（10年有效期）用 java 自带的 keytool工具生成密钥（密码[email protected]
2021-01-14 10:30:21
355
原创 linux下tomcat 重启脚本,杀死进程
在linux系统中,tomcat的shutdown.sh往往无法真正杀死tomcat进程,会进程残留,导致后续tomcat启动失败.故制作简单shell脚本重启tomcat.1.脚本置于tomcat/bin/下,新建文件命名为restart.sh,内容如下#!/bin/bashpids=`ps -ef|grep tomcat|grep -v grep|awk '{print $2}'`echo "结束tomcat进程:$pids启动"for id in $pidsdo kill.
2021-01-13 16:14:06
408
原创 ftp文件远程传输雏形
bat文件rem 设置数据库参数@set db_back_file="F:\back"rem 设置ftp服务器登录参数@set ftp_server=192.xxx.xx.xxx@set ftp_user=用户名@set ftp_password=密码rem 通过FTP上传到远处服务器@echo offecho open %ftp_server%>ftp.txtecho %ftp_user%>>ftp.txtecho %ftp_password%>>
2020-11-20 16:54:36
94
原创 [数据库]mysql 死锁问题记录
一.概述工作中遇到了deadlock found when trying to get lock;try restarting transaction; 数据库发生死锁了.数据库的事务隔离级别是RR(Repeatable Read)二.分析工具1)通过命令 show engine innodb status,将status中的记录另存为txt文件,查看死锁语句和原因2)通过命令 show variables like "innodb_print_all_deadlocks",查询是否
2020-09-09 12:55:40
185
1
原创 [数据库]C3P0连接池中的连接和原生mysql连接不一致问题记录
一.概述工作中遇到了问题,C3P0连接池中连接达到500个,导致再从连接池取连接失败;但是查看mysql的连接数,只有200个;按我的理解,连接池内维护的就是mysql的连接,要用时直接取,不需要再从数据库创建.问题最终定位到代码中连接用完没有close,未释放到连接池;二.疑惑连接池中的连接没有close返回连接池,达到500个,为什么mysql查看到连接数是200个,不应该也是500个吗?三.可能的原因1.c3p0缺少健康检查机制,连接池中连接断开连接失效了但是还在连接池中;
2020-08-28 10:31:16
222
原创 mysql-数据库引擎Memory的使用场景分析
一.结论根据我的测试证明,如果数据的量级在万以下,无论是Memory引擎还是Innodb引擎,对于数据库的读写,执行时间相差不大,可以忽略;如果数据量在万级以上,则Memory引擎的效率比Innodb高很多;二.限制但是Memory引擎有限制:1.数据存储于Mysql内存中,mysql重启数据全部丢失.2.并发情况下,Memory引擎不一定比Innodb表现更好.三.拓展看到好像Memory有数据备份方案,后续如果考虑这个引擎且需要备份再更新....
2020-08-20 10:12:09
816
原创 vmware虚拟机三种配置方式,与本机及网络通信详解
1.vmware菜单:编辑->虚拟网络编辑器设置设置vmware识别到的本机VMnet8(虚拟网络8)->NAT模式DHCP查看,VMnet8的 IP允许范围,我这里手动设置为192.168.133.0~254通过cmd查看本机的VMnet8对应的ip (本机是192.168.133.2)解释:本机中的VMnet8相当于是本机与虚拟机网络连接的桥梁,虚拟机网络设...
2020-05-08 12:37:39
7292
原创 [加密]账号登录密码传输加密
在实际使用过程中，用户登录时密码如果明文，存在被黑客窃取的高危风险。通过https传输加密和密码传输加密 这两种方式，来防止账号登录过程的信息泄露风险。https加密是针对网站网址的，可以参考我的https升级的文章。密码传输加密，我采取AES对称加密，页面Js里面加密，后台接受密文，再解密还原密码。更严谨的是再加盐，这里不做深究。1. 前端JS<script typ...
2019-10-11 11:12:52
6012
1
原创 网站从Http升级为Https真实案例,SSL免费证书加密
从安全角度考虑,公司需要将一个网站从http普通模式升级为https模式,阿里云提供了免费的SSL证书,故这里根据阿里云的SSL证书来做升级.1.免费证书申请,配置域名1)SSL 0元购买2)填写信息,SSL证书与域名绑定填写域名及个人信息,完成证书申请,会得到key码.需要登录域名购买平台配置txt类型,将key码输入,加入到DNS解析,解析生效后,验证成功,...
2019-09-04 11:31:20
421
原创 Socket实现两个服务之间通信以及SocketChannel(1.4升级版Socket)
Socket可以实现两个服务之间通信,数据传输.SocketChannel的作用和Socekt一样,在Java1.4版本引入. 相当于是升级版Socekt,性能比Socket更好.1.Socket与SocketChannel对比Socket:服务端通过accept()为每个客户端Socket请求分配一个线程,而每个线程都有可能长时间阻塞,过多的线程会影响服务器的性能.ServerS...
2019-08-30 17:51:28
2400
原创 IO流整理及案例(文件复制),NIO的概念
目录1.IO流1)数据传输类型分类2)数据流向分类3)按功能作用分类2.文件复制案例(IO流与NIO管道)1)IO流复制2)NIO通道复制3.NIO1)NIO的核心1) NIO示例流是对数据传输的抽象,特性是进行数据的传输.按照流向可以分为输入流和输出流.按数据的处理类型可以分为字节流和字符流.1.IO流1)数据传输类型分类字节流...
2019-08-28 16:41:45
185
原创 [Spring-AOP]解析aop的实际作用和实现原理(todo)
1.aop的概念和作用2.aop的运行流程3.java动态代理的底层实现(jdk动态代理和cglib代理)
2019-08-13 22:14:33
227
原创 [数据库]mysql数据库知识
mysql作为常用的三大数据库之一.1 数据库设置1)用户创建/授权//连接数据库进入cmd命令,输入mysql -u用户名 -p密码//创建数据mysql>create user '用户名'@'host' identified by '密码' //只能本机访问mysql>create user '用户名'@'%' identified by '密码' //能...
2019-08-07 15:17:34
133
原创 [权限]严谨的token整套流程
最近整理了下原来公司的认证登陆流程,其中涉及到的点很多,也给后续项目的登陆,认证及权留下了参考块.1.JWT 将账号信息生成Token及解析Token校验
2019-07-30 20:37:36
414
原创 [JVM]java虚拟机的运作原理和优化
目录1.JVM的定义以及相关概念(JDK,JRE)2.JVM的体系之三大运行流程1)类加载器子系统2)运行时数据区2.1) 案例图解说明3)执行引擎3.JVM优化1 ) JVM内存划分2) 性能调优(使用jdk自带分析工具)在入行java后,一直只对代码层面感兴趣,但是近期服务器出现运行出现StackOverflowError或者Heap excee...
2019-07-27 19:49:32
210
原创 [前端]JavaScript语义模板库,模板引擎-Handlebars.js
目录1 基本语法-快速入门2 其他使用规范1)内置helper2)自定义helper block2) handlebar path(路径识别) Handlebars是基于JavaScript的view和data的分离来快速构建Web模板的引擎,在加载时被预编译.1 基本语法-快速入门 {{value}},双括号是handlebars的基本语法.快速入...
2019-07-15 14:31:58
266
原创 [服务器]linux开机启动设置(两种常用方式),服务名称识别
如果软件安装后,使用service xxx start 显示unrecognized service,服务无法被识别,或者需要设置开机启动,避免机器重启后软件服务没有启动,可以进行如下设置. 下面以nginx服务为例1.设置服务名称识别 要点解释:/etc/init.d/和/etc/rc.d/init.d目录是同一目录,实际操作的目录就是/etc/rc.d/i...
2019-07-10 12:48:25
1040
原创 [服务器]linux mysql安装和卸载及升级/OpenSSH卸载和安装及升级
因为之前因为在linux上安装常规软件,总是出错,而且没办法快速解决. 本篇文章就主要讲诉linux上软件安装,常用的一些概念,指令,以便更好的理解软件安装问题. 这里已mysql,OpenSSH为例. 对于软件的升级,目前我的处理方法是,先卸载,再安装新版本.顾这里主要就卸载和安装做详细解释.1.基础安装概念#常用linux系统分为2大系RedHat系:RedH...
2019-07-08 16:25:40
1104
原创 [安全]检测出项目内的安全漏洞,如启用了不安全的HTTP方法,会话Cookie中缺少某某属性等
目录1.启用了不安全的HTTP方法2.开启OPTIONS方法3.错误页面Web应用服务器版本泄露4.X-Frame-Options Header未配置5.会话Cookie中缺少secure/HttpOnly属性6.敏感目录 前段时间收到了第三方发过来的网站安全评估报告,发现我所管理的很多项目有各种漏洞,总结下来如下,做个笔记以便后续自己写项目时注意避免和修正,...
2019-07-04 17:17:50
1509
原创 [服务器]linux centos6.5和centos7版本下的防火墙和端口开放命令
centos6.5和7版本在防火墙语法上完全不同,而平时操作中这两种系统经常遇到,做个记录1.防火墙及端口开放快捷命令1)防火墙系统 防火墙指令 查询状态指令 centos6.5 iptables service iptables status/stop/start/restart(状态/停止/启动/重启) centos7 firewalld...
2019-06-21 15:51:13
332
原创 [数字类型]java中涉及数字的计算
在java中,如果涉及到浮点类型的数字类型的计算,加减乘除,不能使用float或者double类型直接计算,会造成精度丢失,计算的结果跟正常情况下的结果显示有很大区别.需要使用一种数字处理类BigDecimal.1.springmvc中前端传递浮点型(float/double)问题 @RequestMapping(value = "/getCommissionRat/{ve...
2019-05-28 14:52:27
916
原创 [服务器]Linux定时任务/监控重启某个进程shell脚本/数据库定时备份
通过定时任务搭配shell脚本,可以达到定时监控/备份等目的1.定时任务查询相关命令命令 含义 crontab -l 查询系统的定时任务列表 crontab -e 编辑定时任务,可以通过这个命令去取消某个定时任务 crontab -r 取消所有定时任务 ps -aux|grep cron 查询定时任务进程是否开启 service...
2019-05-24 17:13:43
949
转载 [springcloud]SpringCloud注解和配置以及pom依赖说明
SpringCloud注解和配置以及pom依赖说明作者：梦幻朵颜出处：https://www.cnblogs.com/zhuwenjoyce/你的一个点赞，一句留言，都将是博主的前进动力！！！ 版权：本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。在本文中说明了pom依赖可以支持什么功能，...
2018-12-28 11:43:09
2801
原创 [tomcat]虚拟路径
tomcat虚拟路径设置项目运行后,使用ip:port就可以访问,而不需要ip:port/projname在路径tomcat-&gt;conf-&gt;server.xml中,在&lt;Host&gt;标签中,添加&lt;Context&gt;标签,代码片如下: &lt;Host name="localhost" appBase="
2018-12-25 15:56:29
81
原创 [代码管理]git 命令
1 将本地develop分支提交到远程master分支方式一:git push origin develop:master(注意:此行带有冒号)方式二:git push origin master develop补充:origin是远程代码库repository版本的一个指针,指向远程代码库相应版本 2 git分支的重要性 默认的分支为master,根据业务需...
2018-12-25 15:16:28
151
转载 [tomcat]idea下(包含maven/非maven)工程部署至tomcat
转自:https://blog.csdn.net/z69183787/article/details/414161891.前言 关于idea中关于项目部署至tomcat,一直比较模糊,参考了网上的文章,做个梳理.2.项目配置（Project Structure）2.1 Projectproject compliler output：配置的是项目中的默认编译输出总目...
2018-09-19 20:28:20
872
转载 [注解]Annotation实现原理与自定义注解例子
什么是注解？ 对于很多初次接触的开发者来说应该都有这个疑问？Annontation是Java5开始引入的新特征，中文名称叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且供指定的工具或框架使用。Annonta...
2018-09-06 14:06:16
96
原创 [注解]@Autowired和@Resource的相同点和本质区别
前言:有些小伙伴不太明白@Autowired和@Resource在实际开发中的区别,使用起来也懵懵懂懂,本文将做梳理. 1.相同点 作用都是为了自动注入bean而使用,在真实开发中,一般情况下不会涉及到使用哪个的问题,都可以使用,效果也是一样的.但是在某些特定的情况下,会有不同的效果.2.区别 <1>@Autowired是Spring...
2018-09-06 12:03:03
465
原创 [编译]idea中非maven工程编译不过,包不存在,找不到类
使用idea时,如果非maven工程,jar包手动导入的时候,编译时会经常碰到jar包不存在,找不到类的情况.需要按下面步骤处理解决.1.问题描述:编译运行非maven工程时,编译可能会报错,如下:备注:maven工程的编译报错跟idea的环境配置关系比较大,也有可能是idea版本的bug.可从idea配置着手.Information:java: 某些消息已经过简化; 请使用...
2018-08-30 14:15:36
2702
转载 [html之rem]手机端页面自适应解决方案—rem布局进阶版（附源码示例）
代码搬运工,转载自简书:https://www.jianshu.com/p/985d26b40199手机端页面自适应解决方案—rem布局进阶版（附源码示例）一年前笔者写了一篇 《手机端页面自适应解决方案—rem布局》，意外受到很多朋友的关注和喜欢。但随着时间的推移，该方案已然过时，故为大家介绍一个目前我极力推荐使用的，更加完美的方案——rem布局（进阶版）另外：此方案仅适用于...
2018-08-28 11:34:27
691
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人