- 博客(96)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 【Kafka】Kafka 为什么那么快的 6 个原因！
partition 并行处理顺序写磁盘，充分利用磁盘特性利用了现代操作系统分页存储 Page Cache 来利用内存提高 I/O 效率采用了零拷贝技术Producer 生产的数据持久化到 broker，采用 mmap 文件映射，实现顺序的快速写入Customer 从 broker 读取数据，采用 sendfile，将磁盘文件读到 OS 内核缓冲区后，转到 NIO buffer进行网络发送，减少 CPU 消耗。
2023-09-18 11:23:14
185
原创 【ES】Too many dynamic script compilations within, max: [75/5m]； 问题处理
ElasticSearch5分钟内脚本编译的数量不能超过75个
2023-09-18 10:46:56
242
原创 k8s安装helm和kube-batch
安装helm# https://github.com/helm/helm/releases wget https://get.helm.sh/helm-v3.5.4-linux-amd64.tar.gztart -zxvf helm-v3.5.4-linux-amd64.tar.gz mv linux-amd64/helm /usr/local/bin/helmhelm versionkube-batchmkdir go在~/.bash_proflie中配置GOPATHsource
2021-05-13 20:11:49
219
原创 k8s argo工作流
argo简介argo根据前置任务执行状态判断是否继续执行后续任务apiVersion: argoproj.io/v1alpha1kind: CronWorkflowmetadata: name: coinflip-cronspec: schedule: "* * * * *" concurrencyPolicy: Forbid successfulJobsHistoryLimit: 1 failedJobsHistoryLimit: 1 startingDeadlineSe
2021-05-13 19:58:42
809
1
原创 golang logrus日志框架配置标准输出和文件输出，文件按天切割
import (rotatelogs "github.com/lestrrat/go-file-rotatelogs" "io" "github.com/sirupsen/logrus" )////代码示例 logFilePath := fmt.Sprintf("%s/%s/", logFileBasePath, podName) fileStr := strings.Trim(logFilePath, " \r\n") var logPath string index := s
2021-03-24 20:59:23
1163
原创 python3安装psutil报错
报错信息 gcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -fPIC -DPSUTIL
2020-12-25 21:19:01
647
1
原创 git常用alias
git config --global alias.st statusgit config --global alias.co checkoutgit config --global alias.cob checkout -bgit config --global alias.ci commitgit config --global alias.com commitgit config --global alias.comm commgit config --global alias.br br
2020-08-21 11:37:49
529
原创 C C++ redis pipeline读写数据
pipeline （流水线）允许 Redis 客户端一次向 Redis 发送多个命令，避免了多条指令发送多次网络请求。影响处理速度。在C，C++中，Hiredis 提供了redisAppendCommand()函数来实现流水线的命令发送方案redisAppendCommand()会先将命令缓存起来，在调用redisGetReply()方法后一次性将命令发送给redis，并取得第一个命令的返回结果。性能提升在作者使用过程中，需要将原有匹配的数据scan出来，再发请求获取对应key的value，然后替换
2020-08-12 21:08:46
2226
1
原创 Spring Cloud Gateway集成Sentinel，限流
导入依赖启动dashboard在gateway项目中添加JVM参数触发客户端连接控制台请求链路API管理实时监控
2019-09-06 13:39:50
10383
4
原创 定时备份数据到另一台服务器
1、配置免密登录ssh-copy-id [email protected]用户名，111.111.111.111示例IP2、编写备份拷贝到备份机脚本#! /bin/shtarName="$(date +%Y%m%d)"ssh [email protected] << remotessh mkdir /home/xxxBacxxxkupTempmkdi...
2019-07-12 17:23:19
1577
原创 JVM运行时内存区域
程序计数器（Program Counter Register）程序计数器是一块较小的内存空间，它可以看做是当前线程所执行的字节码的行号指示器。Java虚拟机的多线程是通过线程轮流切换并分配处理器执行时间的方式实现，在任何一个时刻，CPU的某一核都只执行一条线程中的指令。为了保证线程切换后能恢复到正确的执行位置，每条线程都需要一个独立的程序计数器，互不影响。如果线程正在执行的是一个Java方...
2019-07-11 23:07:11
158
原创 垃圾收集算法
标记-清除算法如名字，分为“标记”和“清除”两个阶段：首先标记处所有需要回收的对象，在标记完成后统一回收所有被标记的对象。不足效率问题空间问题 标记清除之后会产生大量不连续的内存碎片，空间碎片太多可能会导致以后咋程序运行过程中需要分配较大对象时，无法找到足够的连续内存而不得不提前出发另一侧垃圾收集动作。复制算法复制算法将可用内存按容量划分为大小相等的两块，每次只使用其中一块。当这一...
2019-07-11 23:05:41
152
原创 CMS和G1垃圾收集器
CMSCMS（Concurrent Mark Sweep）收集器是一种以获取最短回收停顿时间为目标的收集器。运作过程：初始标记（CMS initial mark）并发标记（CMS concurrent mark）重新标记（CMS remark）并发清除（CMS concurrent sweep）初始标记和重新标记需要“Stop The World”。初始标记仅仅只是标记一下GC R...
2019-07-11 22:38:00
354
转载 redis实现高并发下的抢购/秒杀功能
这一次总结和分享用Redis实现分布式锁 与 实现任务队列 这两大强大的功能。先扯点个人观点，之前我看了一篇博文说博客园的文章大部分都是分享代码，博文里强调说分享思路比分享代码更重要（貌似大概是这个意思，若有误请谅解），但我觉得，分享思路固然重要，但有了思路，却没有实现的代码，那会让人觉得很浮夸的，在工作...
2019-05-12 17:00:39
974
原创 【Linux】kill -9 停不掉进程
遇到的问题：HDFS 拷贝数据，起了FsShell进程，想停掉，kill了又重新起FsShell进程。使用ps -ef | grep FSShell显示信息是列名：UID PID PPID C STIME TTY TIME CMDUID ：程序被该 UID 所拥有PID ：就是这个程序的...
2019-04-22 20:18:27
1691
原创 【Linux】nohup后台运行脚本 终止脚本运行
command &和nohup command区别command & 是后台运行 Ctrl + C后程序不停止运行，关闭shell会话后或者其他原因导致shell会话退出 程序停止运行nohup command shell会话退出后，程序不停止运行，Ctrl+C程序停止运行nohup后台运行脚本nohup command &终止脚本运行ps -aux | gr...
2019-04-18 16:24:57
6215
2
原创 【Python】科学计数法转化为浮点型数据
def as_num(x): y = '{:.10f}'.format(x) # .10f 保留10位小数 return yif __name__ == '__main__': str = '2.88657e-5' if ('E' in str or 'e' in str): x = as_num(float(str)) pri...
2019-03-22 17:18:00
20743
3
原创 【Linux】Shell执行Java jar传入参数并获取退出码
#!/bin/bashresult=0if [ $# -eq 2 ];thenresult=`java -jar test.jar $1 $2`fiif [ $# -eq 1 ];thenresult=`java -jar test.jar $1`fiif [ $# -eq 0 ];thenecho &amp;quot;exec default&amp;quot;java -jar test.jarresul...
2018-12-28 12:01:56
2608
原创 执行shell脚本报syntax error: unexpected end of file错误
原因:我的脚本是在windows上创建并编辑的。windows下的换行是\r\n而linux下的换行只是\n解决办法：显示换行符将\r\n替换为\n (这里我使用的是Notapad++的替换，快捷键为Ctrl + H)...
2018-11-06 11:31:38
1192
原创 【Git】Git创建本地分支并关联远程分支
创建本地分支git branch 分支名切换到本地分支git checkout 分支名创建本地分支并切换到该分支git checkout -b 分支名提交本地分支到远程仓库git push origin 本地分支名将新建的本地分支与远程分支关联git branch --set-upstream-to=origin/远程分支名 本地分支名使用 git ...
2018-10-31 16:03:56
6848
原创 【Git】Git免密登录，使用ssh-keygen生成多个key分别用于公司的gitlab和自己的github仓库
一、在git bash中执行ssh-keygen -t rsa -C ‘[email protected]’ -f ~/.ssh/id_rsa_xxx二、添加配置在用户目录的.ssh目录，添加config文件Host gitlab.xxx.comHostName gitlab.xxx.com User git Port 22 IdentityFile ~/.ssh/id_rsaHo...
2018-10-19 18:16:23
437
原创 【Java并发】Java并发之CountDownLatch
CountDownLatch是一个同步辅助类，可以使用它做一个类似于计数器的功能，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。典型的应用场景：有一个任务想要往下执行，但必须要等到其他的任务执行完毕后才可以继续往下执行。CountDownLatch类中最重要的三个方法。public void await() throws InterruptedException...
2018-10-08 14:18:24
314
原创 try catch finally在有return的情况下的执行顺序
1、不管有没有出现异常，finally块中的代码都会被执行；2、当try和catch中有return时，finally仍然会执行；3、finally是在return后面的表达式运算后执行的此时会先把要返回的值保存起来，不管finally中的代码做什么，返回的值不会改变，仍然是之前保存的值。4、finally中最好不要使用return，这会使得程序提前退出，返回值不是try或者catch...
2018-10-01 08:39:15
383
原创 Ruby 学校，班级，学生类的三级关系
#!/usr/bin/ruby# 学生类class Student attr_accessor :age, :name def initialize(name, age) @name, @age = name, age endend# 班级类class Class attr_accessor :students, :class_name def initial...
2018-07-18 19:01:16
343
原创 Go 学校，班级，学生类的三级关系
package mainimport ( "fmt" "strconv")type Student struct { name string age int}type Class struct { className string students []Student}type School struct { schoolNam...
2018-07-18 11:56:32
450
原创 Scala 学校，班级，学生类的三级关系
//学生类class Student(namec: String, agec: Int) { val name: String = namec val age: Int = agec}//班级类class Class(classNamec:String){ var className:String=classNamec var students:Array[Student]...
2018-07-18 11:53:55
768
转载 Netty教程-IO多路复用机制详解
高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket...
2018-05-27 21:19:28
358
转载 Netty Reactor模型
无论是C++还是Java编写的网络框架，大多数都是基于Reactor模式进行设计和开发，Reactor模式基于事件驱动，特别适合处理海量的I/O事件。1、Reactor三种线程模型1.1. 单线程模型Reactor单线程模型，指的是所有的IO操作都在同一个NIO线程上面完成，NIO线程的职责如下：1）作为NIO服务端，接...
2018-05-27 21:15:24
228
转载 meterpreter会话渗透利用常用的32个命令归纳小结
仅作渗透测试技术实验之用，请勿针对任何未授权网络和设备。1、background命令返回，把meterpreter后台挂起2、session命令session 命令可以查看已经成功获取的会话可以使用session -i 连接到指定序号的meterpreter会话已继续利用3、shell命令获取目标...
2018-05-07 14:22:40
1472
转载 【JAVA 工具】jstack简单使用，定位死循环、线程阻塞、死锁等问题
转载地址：http://www.cnblogs.com/chenpi/p/5377445.html当我们运行java程序时，发现程序不动，但又不知道是哪里出问题时，可以使用JDK自带的jstack工具去定位；废话不说，直接上例子吧，在window平台上的；死循环写个死循环的程序如下：package concurrency;public class Test
2017-09-29 15:27:27
876
原创 解决org.apache.rat:apache-rat-plugin:0.8:check (default) on project hbase: Too many unapproved license
maven打包的时候报错： 报错信息： [ERROR] Failed to execute goal org.apache.rat:apache-rat-plugin:0.8:check (default) on project hbase: Too many unapproved licenses: 513 -> [Help 1] [ERROR] [ERROR] To see the f
2017-09-26 15:59:52
9503
2
原创 JRuby中String转java的enum类型
import 枚举类型java_import org.apache.hadoop.hbase.replication.ReplicationPeer::PeerProtocol使用PeerProtocol.valueOf(protocol)protocol是string类型
2017-09-12 19:02:09
347
原创 AndroidStudio报错：Error:Conflict with dependency 'com.google.code.findbugs:jsr305'
Error:Conflict with dependency ‘com.google.code.findbugs:jsr305’ in project ‘:app’. Resolved versions for app (3.0.1) and test app (2.0.1) differ. See http://g.co/androidstudio/app-test-app-conflict fo
2017-08-21 11:03:19
1088
原创 判断IP地址的合法性(Java)
有时候我们要对用户输入的IP地址进行校验，判断这个IP地址是不是一个合法的IP地址。解决方案：构造一个正则表达式。判断用户的输入与正则表达式是否匹配。若匹配则是正确的IP地址，否则IP地址格式错误。这里的难点是如何构造出一个可用的正则表达式。/** * Created by yangy on 2017/7/23. */public class IPCheckTool { /**
2017-07-24 00:46:43
5519
原创 HBase源码分析之KeyValue
在HBase存储数据的时候，单元格Cell的实现为KeyValue，每一个KeyValue都是一个低级的字节数组，它允许零赋值访问数据。 KeyValue的数据布局由Key Length（键长度）、Value Length（值长度）、Key、Value四大部分组成。其中，Key又由Row Length、Row、Column Family Length、Column Family、Column Qu
2017-07-23 18:42:19
721
1
转载 看图理解HBase
原文地址一、HBase生态系统二、HBase架构图三、HBase和Hadoop版本矩阵四、HBase组件五、行列存储六、Region Server七、scale out/up水平扩容 垂直扩容 八、compact九、读写流程十、LSM存储十一、存储
2017-07-21 22:49:58
575
原创 python正则表达式将字符串切割成单词列表
# -*-coding:utf-8-*-import restr='''I like to read novel books. When I start to go to primary school, my parents have bought me a lot of novel books, because they want me to fall in love with
2017-07-19 14:33:33
3164
原创 软件危机的表现
1.软件成本和软件规模快速膨胀2.软件开发进度和成本难以控制3.用户对已完成的软件不满意4.软件产品的质量靠不住5.软件通常是不可维护的6.软件通常没有适当的配套文档资料
2017-06-28 14:03:42
1548
转载 软件体系结构风格
原文地址首先，我们需要先明确一个概念，什么叫软件体系结构的风格？定义便是：描述某一特定应用领域中系统组织方式的惯用。即，定义了用于描述系统的术语表和一组指导构建系统的规则。这方便了软件大粒度的重用。因此，当人们使用常用的，规范的方式来组织时，即可使别的设计师很容易理解系统的体系结构。下面是一些常用的软件体系结构风格 （一）经典软件体系结构风格 1.
2017-06-28 13:52:56
2295
七牛云存储7.1.3版java所需要的jar文件
2018-10-15
七牛云存储7.1.3版java需要的jar文件
2016-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人