- 博客(223)
- 资源 (12)
- 收藏
- 关注
原创 [详解]Twitter开源分布式自增ID算法snowflake,附演算验证过程
详解Twitter开源分布式自增ID算法snowflake,附演算验证过程.snowflake简介,snowflake算法原理,snowflake算法源码(java版),snowflake算法推导和演算过程。snowflake算法是一款本地生成的(ID生成过程不依赖任何中间件,无网络通信),保证ID全局唯一,并且ID总体有序递增,性能每秒生成300w+
2017-01-22 14:44:40 14399 2
原创 【总结】MySQL非root安装-初始化数据库时unknown variable ‘defaults-file=**/my.cnf‘
使用非root安装mysql,使用 mysqld 初始化数据库时,不想使用/etc/my.cnf作为启动配置文件,而是指定自定义的my.cnf文件,在执行时,遇到[ERROR] unknown variable 'defaults-file=/***/mysql/conf/my.cnf' 错误。这个是mysql 的一个bug,使用指定路径的my.cnf,而不用默认的/etc/my.cnf文件,需要在启动时,将--default-file=***/my.cnf 参数放在命令后的第一位参数传入,即可解决。
2024-03-20 10:28:50 271
原创 【总结】服务器无法连接外网,设置http代理解决
内网机器,访问不到外网,简单操作后,就可以访问外网了。某天想要在服务器上下载编译github上某开源项目,结果发现访问不了外网。
2024-03-14 16:43:02 349
转载 Prometheus Alertmanager 监控预警规则大全
使用prometheus + alertmanger 配置监控预警,预警规则大全。包含常见的node、Elasticsearch、Zookeeper、nginx、mysql等等预警规则。原文:https://samber.github.io/awesome-prometheus-alerts/rules。
2024-02-04 10:26:29 53
原创 【总结】ES 7.x 配置用户名和密码访问(亲测可用)
线上的Elasticsearch,因为安全问题,需要开启用户名和密码。本文主要是通过开启x-pack 来实现,以下是7.9.3 版本开启用户名密码访问实战。
2023-11-29 19:37:35 835
原创 【总结】一次MySQL数据库迁移实战
由于之前安装的mysql因为磁盘、cpu、内存等,不满足现有使用需求,需要升级主机配置,只能重新在更高的主机上安装新的mysql。同时,将现有数据库迁移至新的mysql主机。于是有了下面迁移实战,为避免不必要的麻烦,以下教程信息已经脱敏。登录机器:ssh tkops@192.168.10.173。恢复mysql demo数据库至新的mysql主机。3)执行初始化数据库-授权及创建库。1)登录mysql 升级版主机。2)使用root登录mysql。1)登录mysql安装服务器。2)执行mysql备份命令。
2023-11-06 11:04:21 738
原创 【总结】linux centos 7 开启网络白名单访问策略
场景一:开放指定端口给指定来源ip访问,将本机3306端口,开放给192.168.10.160 机器访问。sudo systemctl disable firewalld #开机不启动,永久关闭。sudo systemctl stop firewalld #关闭firewalld。安全需要,被检测各种3306、9200、9300端口没有设置访问策略。需要注意的是,执行以上命令,均需要root或sudo权限才可以执行。对于linux来说,有两种方式可以开启防火墙。场景二:开放指定端口给全部来源ip访问。
2023-11-02 11:39:09 3162
原创 【实战】三步轻松搞定Springboot集成skywalking实现APM全链路监控
Springboot集成Skywalking 实现全链路监控,三步搞定关于skywalking的介绍,详情:https://skywalking.apache.org/本文不再做过多描述。全链路监控,是指从用户发起前端页面http请求那一刻起,到最终返回接口报文前,后端处理的全链路过程都可以被追踪和监控。
2023-07-05 11:21:56 523
原创 【总结】yarn ResourceManager 宕机重启总是失败解决排查
Yarn ResourceManager RM服务莫名其妙宕机,重启时报错,经过一番排查发现时内存不足OutOfMemory ,调大RM jvm 内存后的已解决。
2023-06-25 14:00:16 1041
原创 【总结】springboot 2.7.x集成springdoc openapi 实现api文档快速生成
在排查的过程中,找到github上的一个issues,https://github.com/springfox/springfox/issues/3462 这篇文章里说:springfox 已死,让我们转用springdoc。于是胡开始研究springdoc,发现springdoc 集成起来非常简洁好用。访问地址:http://localhost:8080/api/swagger-ui/index.html。springdoc 文档:https://springdoc.org/#Introduction。
2023-06-06 14:47:41 932
原创 【总结】Springboot 从2.0.0升级至2.3.12版本hive使用报错问题解决
公司springboot 版本终于从老古董2.0.0.release 升到2.3.12版本了,应用启动、系统登陆都正常,但在回归验证hive时,spark sql 操作hive相关的功能却用不了。原因:springboot 从2.0.0.release升级至 2.3.12.release后,jackson-module-scala_2.11 默认升到2.11.0版本了。原因:springboot 从2.0.0.release升级至 2.3.12.release后,janino 默认升到3.1.4。
2023-04-13 21:06:26 386 1
原创 【总结】Linux vim编辑文件中文乱码cat正常(亲测有效)
最近为了测系统的兼容性,公司运维装了一台统信UOS arm-64的系统,在该操作系统上部署时,发现vim 编辑文件中文乱码,但是使用cat 查看文件,却是正常。网上搜索了一番,终于解决问题。
2023-04-07 14:52:26 2235
原创 【总结】hadoop 磁盘满导致集群宕机排查解决
hadoop 集群因磁盘满了,导致服务挂掉,甚至有机器宕机。当机器重启后,启动nameNode 和 journalNode 有报错。
2023-03-29 16:21:21 973
原创 【总结】解决dubbo 升级至apache 2.7.18版本发生Zookeeper连接失败问题
最近在做系统的架构升级,升级应用dubbo版本号至apache 2.7.18版,发生Caused by: java.lang.IllegalStateException: Failed to connect with zookeeper, pls check if url zookeeper。最终排查下来是因为curator-client 版本冲突导致。
2023-03-27 20:39:01 1349
原创 【总结】docker 安装教程
yum方式安装:yum install -y docker-ce shell在线安装:curl -sSL https://get.docker.com | sh 以上两种方式,均需要服务器能连接外网,且安装简单快捷。当服务器无法连接外网时,推荐使用tgz包方式手动安装,linux手动安装docker,这也是本文接下来重点描述的安装步骤。
2023-03-21 11:17:15 704
原创 【总结】hive-jdbc升级后执行spark.sql查询hive报错NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
看到 Caused by: java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 首先关键词是HIVE_STATS_JDBC_TIMEOUT,错误原因是NoSuchFieldError,说明存在类冲突,点击查看org.apache.spark.sql.hive.HiveUtils 类源码第212行,发现该代码引用了HiveConf.ConfVars中的枚举值。最后迫于无奈,只能将hive-common的版本号再次降回到1.2.1版本。
2023-03-08 11:44:55 703
原创 【总结】记一次log4j包冲突引发es类找不到的问题
ElasticSearch 7.17.5 相关操作报错,Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.elasticsearch.client.RestHighLevelClient 。由于log4j和logback的冲突,导致该变量无法初始化,进一步导致RestHighLevelClient无法被加载成功。
2023-03-01 20:58:02 3285
原创 【总结】python3启动web服务引发的一系列问题
在某行的实施项目,需要使用python3环境运行某些py脚本。由于行内交付的机器已自带python3 ,没有采取自行安装python3,但是运行python脚本时报没有tornado module。为了解决这个问题,引发需要离线源码安装pip3等问题。最后,如果操作系统是centos、redhat 系列,建议直接采用anaconda 一键安装python环境,该软件安装完后,会将常用python 模块也附带安装掉。
2023-02-22 20:33:18 793
原创 【总结】安全漏洞组件升级修复问题集群
最近在搞系统安全漏洞组件修复的工作,项目是用springboot大件的,用到了很多第三方组件包,通过安全扫描软件时,报了很多组件存在安全漏洞。于是很多组件只能硬着头皮升级,升级后,遇到了很多编译启动问题,项目启动不了了。代码编译的情况,可以修改代码,但jar包冲突引发的启动失败,只能一个一个排查。
2023-02-06 10:12:08 1383
原创 【总结】手动安装jar包到maven本地仓库
项目组小伙伴引用了一个在maven公共仓库没有的jar包,于是乎本地编译通通过不了。本来应该是,申请运维工单,由运维传到maven私服仓库去。但流程太慢,任务紧急,只能先手动处理,安装到本地。目标:手动将jar包安装到maven本地仓库。
2023-01-30 18:06:42 194
原创 【总结】Elasticsearch 导出建索引语句
有时候开发中,经常会遇到多个环境间,索引不一致的情况,可能是开发过程中变更原有设计了,但是没有及时更新发布文档,导致上线后,多个环境间不一致。同样的功能,在开发测试环境没问题,在生产环境出问题。怀疑是索引建的有问题,那么可以通过以下方式,将开发测试环境的索引,重新在生产环境建一遍。创建索引,将上述构造好的建索引脚本,粘贴到–data-raw中。注意替换url部分ip、端口、索引名。settings部分,仅需要以下两个配置即可。分片数,按集群节点数1.5~2倍配置。
2023-01-17 15:14:55 1132
原创 【总结】ElasticSearch 安装启动报错max file descriptors [32768] for elasticsearch process is too low, increase
ES集群初次安装部署,启动的时候ERROR: bootstrap checks failedmax file descriptors [32768] for elasticsearch process is too low, increase to at least [65535]设置/etc/security/limits.conf 不生效
2022-12-01 09:38:29 1412
原创 【总结】Idea 编译maven项目报错NoSuchMethodError DefaultModelValidator
从网上git clone了一个项目,本地编译compile、打包package都没问题。但是启动服务,启动不了,且查看Dependency Analyzer 没有任何依赖信息。执行Reimport时,报错:Error injecting constructor, java.lang.NoSuchMethodError: org.apache.maven.model.validation.DefaultModelValidator: method ()V not found。
2022-11-21 20:00:01 1429
原创 【JVM学习】Jconsole 配置jmx 监控JVM
jconsole结合jmx监控jvm。在使用jconsole监控jvm之前,首先需要先打开jmx。启动jvm时,添加以下参数。jmx通过58088端口对外开放。
2022-11-18 16:12:29 1124
原创 【总结】mysql 忽然连接不上报CJException: null错误
mysql 连接不上报错cj.exceptions.CJException: null。重启之后就成功了。
2022-10-18 18:53:18 3772
原创 【总结】maven 打包刷新下载依赖卡死
idea 打包或者刷新maven依赖,总是出现卡死情况。之后就不动了。使用同样maven 命令打包也一样。这个问题以前出现过,但后来又几次是关机重启idea,或者重启电脑,或者有时候莫名其妙的就自己好了。和--update-snapshots有关。...
2022-08-26 10:24:26 3324
原创 【总结】shell 脚本命令执行结果赋值给变量无效
Linux shell 使用反引号为变量赋值,将命令执行结果赋值变量,未生效。反引号前后应该加空格。
2022-08-12 10:33:12 3486 2
原创 【总结】使用livy 提交spark任务时报错Connection refused
使用livy 提交spark任务时报错,错误信息:java.net.ConnectException: Call From dev-d-01.hz/10.192.168.62 to dev-d-02.hz:8032 failed on connection exception: java.net.ConnectException: Connection refused。原因是livy 代理用户不存在或者不生效,去掉livy 代理用户后,就可以正常提交任务了。...
2022-06-27 15:27:33 1381
原创 【总结】dubbo 服务注册消费正常,但调用失败
dubbo 服务正常注册和消费,但调用dubbo 服务时报错。组内有几个小伙伴,本地开发,调用dubbo服务,有一位同学调用报错。其他人都没报错。经过差异化对比,报错的同学因为比别人多集成了一个别人提供的组件。从zk上抓取dubbo 服务注册和消费信息来看,最终找到蛛丝马迹。报错的同学就是:10.57.240.33 这个消费者,他用的dubbo版本是release=2.7.7,别人用的都是dubbo=2.8.4。于是乎去分析代码的maven依赖,果然,新引进来的二方包,依赖了dubbo2.7.7.排除
2022-06-21 09:41:41 3724
原创 【总结】解决Linux机器重装后-免密登录报错问题
文章目录1.背景2.问题现象3.原因分析4.解决方法1.背景某天,因为安装某个软件,开发机器的ssh 免密登录被玩坏了,随后所有人都登录不上机器,导致系统必须重新安装。2.问题现象机器安装好后,重新设置ssh key 信任后,免密登录报错。报错信息:(base) [ywops@dev2-13 ~]$ ssh tdops@192.168.1.13@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOT
2022-05-27 14:01:19 658 1
原创 【总结】ElasticSearch创建索引失败,超过maximum shards
创建新的es索引报错,报错信息es已经超过最大的分片数。but this cluster currently has [999]/[1000] maximum shards open;更改es的最大分片数配置
2022-05-27 13:47:11 3325
原创 【总结】一次自动循环检测端口是否存活引发的问题
druid dataSource already closed ,org.springframework.boot.web.embedded.tomcat.ConnectorStartFailedException: Connector configured to listen on port 80 failed to start。问题解决排查
2022-05-18 19:20:52 3131
原创 【总结】Idea 总是提示 Class has too big memory footprint
Idea 总是报Class has too big memory footprint 的警告如图一,这个问题一直困扰了很久,各种搜索解决方法都没能解决。在Preferences 中搜索 memory footprint 关键词,去掉对勾或者调大阈值。
2022-04-20 19:07:30 1549
原创 【总结】springboot 应用启动后找不到类NoClassDefFoundError问题解决
springboot 应用启动成功后,找不到类NoClassDefFoundError问题解决,原因是服务器上混合部署很多服务,机器内存不足。
2022-02-23 11:28:24 5124
原创 ElasticSearch 从5.6.3升级到7.9.3遇到问题总结
本文记录了ElasticSearch 从5.6.3升级到7.9.3遇到问题总结。
2021-12-07 09:53:24 4807
原创 [总结] linux ssh 报错Host key verification failed
报错信息TD-rong:~ xxx.li$ ssh tdops@101.11.36.17@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS
2021-07-12 15:04:08 264
原创 [总结]新版本Idea Autoscroll to Source 和 from source 不见了
问题(可略过)前几天将idea更新到最新版本,打开项目,点击文件,想要自动定位文件所在包目录,然后按照往常一样点击设置的图标,结果发现里面,Autoscroll to Source 和 Autoscroll from Source 没有了,英语糟糕的我,开始慌了,纳尼?这么好用的功能idea不要了?!走倒退路吗。解决别急,经过一番试探性,终于找到了。不是没有了,只是改了文案而已。Autoscroll to Source -> Open Files with Single ClickAutos
2021-04-01 09:47:35 2073 2
原创 30分钟(零成本)快速搭建markdown个人github博客
零成本-30分钟快速搭建markdown个人github博客摘要:本文以mkdocs 开源文档工具 + markdown预发编写文档,最终生成简易个人github博客。最终效果如:https://smilemrlee.github.io/1.准备工作学习markdown 语法,写好文档必备学习mkdocs 基本原理和规范,以便合理规划好建站导航安装好python或安装好homebrew2.安装mkdocs2.1 phyton原生安装mkdocs需要 Python 和 Python pac
2021-01-12 16:04:38 2206
Redis+Desktop+Manager+0.9.3.39(最后的免费版本).zip
2020-04-08
redis-desktop-manager-0.8.3-3850.rar windows版
2017-01-20
redis-desktop-manager-0.8.3-2550.dmg mac版
2017-01-20
eclipse4.3安装配置反编译插件jad
2014-03-28
毕业论文信息系统
2012-11-15
班级事务管理系统
2012-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人