- 博客(696)
- 资源 (26)
- 收藏
- 关注
RSS订阅
原创 Google引爆大数据时代的三篇论文
Google三大理论（论文） 谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法...
2018-08-19 17:37:13
5583
3
原创 Linux使用总结（持续更新）
一、Linux 安装参考《02_Linux安装.docx》，目录bin (binaries)存放二进制可执行文件 sbin (super user binaries)存放二进制可执行文件，只有root才能访问 etc (etcetera)存放系统配置文件 usr (unix shared resources)用于存放共享的系统资源 home 存放用户文件的根目录 roo.........
2018-07-29 18:48:52
3398
2
原创 Linux 定时任务备份应用数据
定时任务cron job被用于安排那些需要被周期性执行的命令。利用它，你可以配置某些命令或者脚本，让它们在某个设定的时间内周期性地运行。cron 是 Linux 或者类 Unix 系统中最为实用的工具之一。cron 服务（守护进程）在系统后台运行，并且会持续地检查文件和目录。它同样也会检查目录。在 linux 平台上如果需要实现任务调度功能可以编写 cron 脚本来实现。以某一频率执行任务，linux 缺省会启动 crond 进程，crond 进程不需要用户启动、关闭。
2024-03-09 17:30:00
1682
原创 01-TypeScript 介绍
TS 官方文档TS 中文参考 - 不再维护TypeScript 是什么TypeScript 为什么要为 JS 添加类型支持?TypeScript 相比 JS 的优势。
2024-03-08 23:45:00
749
原创 ES数据库重建索引—Reindex详解
2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；1）用过Scroll接口吧，很慢？1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。2）每个Scroll请求，可以分成多个Slice请求，可以理解为切片，各Slice独立并行，利用Scroll重建或者遍历要快很多倍。3）如果这个slices数字很大(例如500)，建议选择一个较低的数字，因为过大的slices 会影响性能。
2023-10-09 23:30:00
863
原创 Ceph 分布式存储原理架构
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。FTP、NFS 服务器，为了克服块存储文件无法共享的问题，所以有了文件存储。b. 方便文件共享。
2023-10-09 23:15:00
174
转载 Elasticsearch 查询优化
正常情况下，单个查询会扫描所有分片，容易遇到长尾效应，且大量节点在空转，可利用ES路由能力，大幅提高查询吞吐、降低长尾。通过写入时支持指定routing ，ES 会计算 target_shard_id = hash(routing) 将写入数据路由到指定分片上，这样在查询时，也可以通过指定routing，快速定位到目前数据所在的分片，查询的效率能够提升一个数量级。通过这种方式，我们可以将一个超大的聚合分析需求，拆分成流式的聚合查询小任务，通过不断迭代，通过较低的内存，也能跑完海量数据的聚合分析任务。
2023-10-08 23:30:00
233
原创 Fabric8 管理k8s集群 Java API
上述代码中，我们使用DeploymentBuilder创建了一个Deployment对象，并使用createOrReplace方法将其创建或更新到集群中。一旦我们连接到了Kubernetes集群，我们可以使用io.fabric8.kubernetes-client来创建、更新和删除Kubernetes资源，例如部署、服务、Pod等。类似地，可以使用io.fabric8.kubernetes-client来创建和管理其他资源，例如Service、Pod、ConfigMap等。
2023-08-07 23:45:00
928
原创 一致性哈希算法 consistent hashing
总结，一致性哈希算法也是使用取模的方法，只是，普通哈希取模法是对服务器的数量进行取模，而一致性哈希算法是对2^32取模。
2023-08-04 23:30:00
93
转载 PlantUML 语法之时序图
IDEA下载插件PlantUML，直接在IDEA里面编写UML，很方便；然后电脑再安装渲染引擎Gravizo，没有它，复杂的类图就无法渲染了；对了PlantUML插件，貌似不提供拖拽控件，这无所谓，就像真正的安卓高手，写布局，绝对不会是拖拽控件的，肯定是手写xml文件；如果看到这了，也不用挑了，PlantUML无比强大，颜值也不差，支持导出普通图片和矢量图，就选PlantUML。
2022-12-16 13:43:36
1567
2
转载 TIME_WAIT和CLOSE_WAIT状态区别
常用的三个状态是：ESTABLISHED 表示正在通信，TIME_WAIT 表示主动关闭，CLOSE_WAIT 表示被动关闭。
2022-10-21 23:30:00
658
原创 Docker容器整合wagon-ssh自动化部署SpringBoot工程
一、前提条件：机器上已经安装了docker(安装过程) 准备部署的springboot的jar包 Dockerfile文件 部署脚本deploy.sh 升级脚本upgrade.sh二、准备Dockerfile文件创建一个Dockerfile(在宿主机器任意位置)内容如下：vi DokckerfileFROM java:8ADDspringboot-webser-0.0.1-SNAPSHOT.jar app.jarENTRYPOINT ["java","-Djava.se
2022-10-07 23:31:00
792
2
原创 PostgreSQL数据库备份脚本
#!/bin/bash#操作类型，backup、restoretype=$1#造作数据库schema名dbname=$2#备份文件名，格式为：注册名_yyyyMMddHHmmss.sqlbackupFileName=$3#数据库所在服务器ipdbhost=$4#固定存储目录/home/backup/if [ ! -d "/home/backup/" ];then mkdir "/home/backup/"fibackupFile="/home/backup/"${ba...
2022-10-01 17:44:24
1432
原创 spring-expression表达式详解
Spring Expression Language（简称 SpEL）是一个支持查询和操作运行时对象的强大的表达式语言。贯穿着整个 Spring 产品组的语言。
2022-09-30 23:45:00
4563
原创 XXL-JOB分布式任务调度平台
XXL-JOB 是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
2022-07-26 23:45:00
508
转载 2万字详解，吃透 ES
之前已经分享过Elasticsearch的使用和原理的知识，由于近期在公司内部做了一次分享，所以本篇主要是基于之前的博文的一个总结，希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。...
2022-07-26 23:30:00
382
原创 SNMP(简单网络管理协议)详解
SNMP(简单网络管理协议)：专门用于在 IP 网络管理网络节点（服务器、工作站、路由器、交换机及HUBS等）的一种标准协议，它是一种应用层协议。SNMP 使网络管理员能够管理网络效能，发现并解决网络问题以及规划网络增长。通过 SNMP 接收随机消息（及事件报告）网络管理系统获知网络出现问题。........................
2022-06-13 11:29:33
25679
2
原创 FAQ：报红--maven本地有jar包仍从从远端下载
方式一：删除 _remote.repositories 文件最近编译项目，发现有个模块总是遍不过，报无法download jar包。跑到maven配置的远端仓库，发现maven已不支持该jar包。但是本地确实存在，为什么要从远端再下嘞？不知道解决方法：将本地仓库中的*.jar包中的_remote.repositories文件（或者文件后缀是 lastUpdated 的文件删除），不再去远程下载。pom.xml文件文件更新，需要先删除—>更新—>重新引入—>再更新原因：就
2022-05-31 23:30:00
5490
转载 5GC architecture N1、N2、N3、N4、N6等接口
5GC architecture N1、N2、N3、N4、N6、N9、N26接口N1接口N1接口为UE和AMF间的信令面接口。N1是逻辑概念的接口，不存在物理口。N1接口基于N2接口信令实现。N2接口N2接口为(R)AN和AMF间的信令面接口。类似于4G中的s1-mme接口。N3接口N3接口是5G (R)AN（Radio Access Network ）与UPF（User Plane Function）间的接口，主要用于传递5G (R)AN与UP.
2022-05-07 23:45:00
29043
1
转载 5GC 网元AMF、SMF、UPF、PCF、UDM等介绍
5GC 网元AMF、SMF、AUSF、UPF、PCF、UDM、NRF、NSSF、NEF介绍1、AMFAccess and Mobility Management Function，接入和移动性管理功能，执行注册、连接、可达性、移动性管理。为UE和SMF提供会话管理消息传输通道，为用户接入时提供认证、鉴权功能，终端和无线的核心网控制面接入点。类似于4G MME中移动性管理。AMF分配5G-GUTI，AMF选择SMF。2、SMFSession Management fun
2022-05-07 23:30:00
28837
原创 docker打包流程常用方式
完整的docker打包流程把外网服务器上的docker搬到内网使用时，报了两个错误，外网容器到tar包都没问题，在内网使用tar包的时候报了两个错误cannot connect to the Docker daemon at is the docker daemon running starting container process caused: "exec: "/bin/sh": stat /bin/sh: no such file or directory发现是tar包到镜像的问题
2022-03-31 23:30:00
6690
原创 postgresql查询表元数据信息语句
select tablename from pg_tables where schemaname = 'public' and tablename like '%_table' order by tablename
2022-02-22 15:46:40
1213
转载 wireshark抓包教程详解
wireshark抓包新手使用教程 Wireshark是非常流行的网络封包分析软件，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程各种问题定位。本文主要内容包括： 1、Wireshark软件下载和安装以及Wireshark主界面介绍。 2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。 3、Wireshark过滤器使用。过滤器包含两种类型，一种是抓包过滤器，就是抓取前设置过滤规则。另外一种是显示过滤器，就是在数据包分析时进行过...
2022-02-17 23:45:00
114525
10
原创 linux tcpdump抓包命令使用详解
一、抓包命令概述作用：（1）捕获网络协议包（2）分析网络协议包分类：（1）命令行工具，如tcpdump（2）图像界面工具，wireshark tcpdump是一个用于截取网络分组，并输出分组内容的工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。 ...
2022-02-17 23:30:00
2120
原创 Windows dos命令使用总结（持续更新）
1、windows如何通过CMD命令结束某个端口的进程：netstat -ano | findstr 端口号 tasklist | findstr 进程PID taskkill -PID 进程PID -F
2022-02-10 23:45:00
390
原创 linux进程kill命令关不掉
进程已经成为僵尸进程（Zombie），当它的父进程将它回收或将它的父进程kill掉即可在ps输出看不到了。（"Zombie"进程要等到下次重启时才会消失，但它的存在不会影响系统性能。）进程正处在内核状态（kernel mode），Linux进程运行时分内核和用户两种状态，当进程进入内核状态后，会屏蔽所有信号，包括SIGKIL，所以这个时候kill -9也变得无效了。
2022-01-06 23:30:00
7344
原创 SpringBoot 异常后更改响应状态码
一、@RestControllerAdvice和@ExceptionHandler拦截异常package com.lxk.socket.collector.common;import com.lxk.base.bean.CommonResult;import com.lxk.base.exception.BusinessRuntimeException;import org.apache.commons.lang.exception.ExceptionUtils;import org.s..
2021-12-28 23:45:00
3140
6
原创 FAQ：sorry，too many clients already
报错如下：sorry, too many clients already解决办法：如果业务上需要增大客户端连接数，那么需要修改max_connections参数的配置打开Postgresql安装目录下的data文件夹，找到postgresql.auto.conf文件，添加下面这段话：max_connections = '800'...
2021-11-26 23:45:00
1406
转载 spring restTemplate超时设置
关于spring resttemplate超时设置Spring org.springframework.web.client.RestTemplate 使用 org.springframework.http.client.SimpleClientHttpRequestFactory建立 java.net.HttpURLConnection 后者采用 HttpURLConnection 的默认超时配置HttpURLConnection 超时属性ConnectTimeout(ms)a speci
2021-11-23 23:45:00
5725
原创 SpringBoot测试类
一、Spring Boot Test介绍Spring Test与JUnit等其他测试框架结合起来，提供了便捷高效的测试手段。而Spring Boot Test 是在Spring Test之上的再次封装，增加了切片测试，增强了mock能力。整体上，Spring Boot Test支持的测试种类，大致可以分为如下三类：单元测试：一般面向方法，编写一般业务代码时。涉及到的注解有@Test。 切片测试：一般面向难于测试的边界功能，介于单元测试和功能测试之间。涉及到的注解有@RunWith @WebMv
2021-11-18 23:45:00
19270
原创 Linux下查看某一进程占用的内存
一、ps -ef|grep flink 和top -p pid 组合Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如：ps -ef|grep flink，可以看到flink task这个程序的进程id已知pid是8678，现在可以使用如下命令查看内存：这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行二、直接命令查看 ps -aux|grep flink第一个标注的地方是CPU和内存占用率，后面的15 209 056是物理内...
2021-11-01 23:45:00
30919
原创 常用加密工具类
一、Md5Utilpackage com.lxk.webser.utils;import java.security.MessageDigest;/** * @create 2021/10/26 */public class Md5Util { private static String Md5Util(String s) { try { MessageDigest md = MessageDigest.getInstance("MD5")
2021-10-27 23:45:00
982
原创 FLINK集成REDIS组件，使用异步IO能完全解决性能瓶颈问题？
基于上述的问题，我们先来对异步IO有个大致的认识，了解的同学可以选择跳过。流计算系统中经常需要与外部系统（Redis、MySQL等）进行交互，我们通常的做法如向数据库发送用户a的查询请求，然后等待结果返回，在这之前，我们的程序无法发送用户b的查询请求。这是一种同步访问方式，如下图所示。图中棕色的长条表示等待时间，可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题，异步模式可以并发地处理多个请求和回复。也就是说，你可以连续地向数据库发送用户a、b、c等的请求，与此同时，哪个请求的回
2021-10-24 22:09:10
1208
原创 Caffeine实现数据延迟发送
@Autowiredprivate KafkaTemplate kafkaTemplate;@Autowiredprivate AlarmNormalizedUtil alarmNormalizedUtil;private Cache<String, String> alarmCache = Caffeine.newBuilder() .maximumSize(1000) .scheduler(Scheduler.forScheduledExecuto.
2021-10-24 22:08:39
392
原创 线上修改jar包中配置文件
一、解压修改后再打包解压：jar xvf xxx.jar打包：jar cvfm0 xxx.jar META-INF/MANIFEST.MF ./注：-m参数可以将 一个具体的mainfest文件打包进入jar内生成mainfest文件，否则运行jar会报no main manifest attribute in xxx.jar-0是store only；use no zip compression 只存储，不压缩使用jar -h查看帮助二、直接修改jar中的文件首先安装zip
2021-10-24 22:07:56
716
原创 spring boot 拦截 以及Filter和interceptor 、Aspect区别
一、通过Filter这个大家很熟悉了吧,这是java规范的一个过滤器，他会拦截请求。在springboot中一般有两种配置方式。这种过滤器拦截并不知道你用的是哪一个Controller处理也不知道你用哪一个方法处理。过滤器使用的主要是反射 ；拦截器使用的主要是回调 ；AOP使用的主要是动态代理。一个请求过来 ，先进行过滤器处理，看程序是否受理该请求。过滤器放过后， 程序中的拦截器进行处理，处理完后进入被AOP动态代理重新编译过的主要业务类进行处理 。Filter：和框架无关，可以控制最初的ht..
2021-10-24 22:07:14
2478
原创 jar包常用启动/停止脚本
start.sh脚本[root@xxx auto-deploy]$ cat start.sh#!/bin/bashexport BASE_DIR=`cd $(dirname $0)/..; pwd`JAR_NAME=auto-deploy-0.0.1-SNAPSHOT.jarnohup java -jar ${JAR_NAME} > ./start.out 2>&1 &echo "jar ${JAR_NAME} is starting"nohup
2021-10-24 22:06:18
683
dbeaver-ee-latest-win32.win32.x86_64.zip
2019-10-23
03_storm.zip
2019-10-14
HBASE资料.zip
2019-09-08
MobaXterm.rar
2019-07-07
Kafka.zip.002
2019-06-12
Kafka.zip.001
2019-06-12
Kafka.zip.003
2019-06-12
Java8示例代码
2019-05-08
大数据之数据挖掘
2019-03-26
python爬虫资料
2019-03-01
scala学习文档
2019-02-24
大数据开发之内存计算
2019-02-17
scala学习资料
2019-02-17
Python电子书整理
2019-02-13
SVN入门教程
2018-03-11
前端框架、模板和手册
2018-02-06
离线计算系统
2018-02-05
activiti工作流代码示例
2018-01-02
Activiti教案和zip包
2018-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人