- 博客(57)
- 资源 (31)
- 收藏
- 关注
RSS订阅
原创 Flink中如何使用Jmock 进行学习常规业务的学习与测试
目录1. 在pom中引入jmock 坐标2. 参照 [Jmock介绍](https://blog.csdn.net/u012491646/article/details/109743641) 规则写pojo类型3. 编写业务逻辑类输出结果图1. 在pom中引入jmock 坐标<dependency> <groupId>com.github.a524631266</groupId> <artifactId>jmock-core</art
2020-11-19 16:02:53
246
原创 Mock Annotation for Java 注解mock介绍
文章目录背景项目目标maven项目坐标项目依赖how to use生成一个pojo类。main.java功能介绍1. 接受多层pojo递归嵌套2. 接受正则表达式(支持基本类型/String/Date类型)3. 时间函数4. 容器随机5. 基本数据类型检测方法6. 支持 以@为前缀的语义转换7. 优先级8. 1.1.0 新增内容继承类使用内部类使用详细案例框架支持的类型注解使用方式注意： 注解的表达能力有限为什么不用map？后续进展所有规则均参照前端界比较流行的mock框架:javascript Mo
2020-11-18 16:58:50
1247
原创 netty篇 之基本概念和核心组件（一）
文章目录基本概念IO篇cpu与controller之间的交互方式perform IOIO中的四大基本概念的理解IO 模型演进BIO 模型分析BIO在tomcat上的模型图NIO 模型NIO在Tomcat中的模型图NIO中channel与buffer配套结合channel分类FileChannel实例FileChannel下的[零copy技术模型](https://segmentfault.com/a/1190000021448694)NIO中的buffer的直接内存UDP服务端的channel实现Serve
2020-08-04 12:42:46
446
原创 时间戳范围内正则表达式 生成器 解决方案
需求说明如何求出一个正则表达式，表示在 1324736000 到 1546272000之间的数例如15423232231这个根据正则表达式能够识别出来为true实际应用这个需求是因为由于公司内部rowkey的设计导致的,rowkey为 id+timestampe如果想对整个表中的指定1324736000 到 1546272000范围内的数据进行聚合操作其中一个解决方案是用row...
2019-08-27 22:21:25
1279
6
原创 jupyter由于无法import新包的解决方案
jupyter因为其在python框架下具有一个较为人性化的设计,从而在数据分析,python教学,以及python的快速学习中大放光彩. jupyter作为一个类似于spyder的一种编译器,其美观实用,而且还易于写博客吸引我.但是由于在jupyter模式下写代码的时候,会发现通过pip install package命令行安装package完成之后,无法在jupyter模...
2018-03-25 18:21:33
21786
8
原创 熵(entropy)的自然直观的理解
在机器学习领域有一种叫entropy目标函数,我们想通过调整参数(w,θ)去优化这种目标函数,以达到寻找到的含有某个参数(w,θ)的模型,最大程度上来表示我们想要描述的事件.但是,对于没有接触过熵这种概念的同学,实在是很困惑,熵到底是什么?为什么熵能够代表对原信息的一种度量标准(criteria)?这种想法,也一直困扰着我,感觉"熵"这种高大上的东西,感觉就像"量子物理"的"量子"概念一样
2017-12-24 12:40:51
3337
2
原创 Spring Cloud Gateway: get “Connection has been closed BEFORE response, while sending request body“
背景： 上传文件超过100M，出现了网关导致的问题。可以通过debug，可以发现，在调用链的过程中。
2023-07-06 09:27:00
1077
1
原创 arthas 源码分析 篇一 【结构篇】
这些模块并不影响核心模块的，只是在核心之上更多元化，满足用户的各种应用层面上的需求，比如弄个web界面，比命令行使用起来更方便。该式在用户启动目标jar包的过程中附属 arthas-agent.jar 包，在agentjar包中根据Premain-Class指定的类中premain方法动态修改字节码。b) 通过 attach方式，在agentjar包中根据Agent-Class指定的类中定义的agentmain方法中作为主入口加载并在运行时【实时】修改字节码。给定指定的class，返回对应的实例。
2023-03-26 21:39:02
1147
原创 个人开发的idea工具插件-json美化、时间戳转换、gif制作
上图有2个tab，在first这个tab中，又有3个tab，根据自己平时的工作上时常要上网去搜索查询json美化和时间戳解析的问题。自己想着直接在idea中的toolWindow中自己搞个小工具，多方便。同时为了写这篇文章用工具生成了一个mov、map4视频文件，想要转换成gif文件，也开发了第三个tab。这个工具做得比较简陋，不过本着实用的原则，各位看官就先忍忍。如果想要源码，可在下面评论，私发连接给你。自从开启了idea插件开发路程以来，得到了很多启发，下面根据自己的实际情况做了一些插件的小工具。
2023-03-24 23:20:22
753
原创 比较好用的几款idea插件
我会持续在本文中添加一些有趣的插件。1、UI插件2、火焰字3、CodeGlance显示代码缩略图插件4、智能关键字记忆插件codota5、rainbow 括号灾难对于Lisp语言的开发是友好的6、idea插件开发工具。
2023-02-18 21:07:23
234
原创 汇编指令环境搭建已经基本指令操作
是用来查看cpu中各个寄存器相关指向地址的。寄存器就是cpu要执行指令的临时存储单元。cpu执行的指令依赖于寄存器所指向的内存地址内包含的数值。这些数值又可能是数据，有可能是指令。默认情况下可以理解data的含义，查看当前cpu所指向的查看的位置中的数据。-d 0000:9 表示段地址 0000 加上 偏移地址9。-d 0000:0 e 表示查看多少数据 e表示十进制中的15。段地址和偏移地址的组合确定了内存的物理地址。其他命令 r ax 表示编写ax寄存器的内容。多次输入d 会翻页查看内容。
2023-02-04 22:07:59
421
原创 记录一次gateway HandlerStrategies.withDefaults().messageReaders() 导致的内存炸裂的问题
年前出现了一次内存炸裂的生产事故。导致其他请求无法请求通过。[boundedElastic-55] [Loggers.java:314]:Scheduler worker in group main failed with an uncaught exception根据调用栈找到最先的代码片段目的是为了保证在gateway某次请求不限制body大小的问题,需要从网关的策略类中拿到一些reader，并且修改当前read的读取字节的大小。本来是一个比较简单问题。反而在gateway使用过程中，频繁发生
2023-01-18 14:48:04
1533
4
原创 Spring StateMachine 使用@WithStateMachine 遇到的transition报错，状态无法回滚的问题
所以用户在使用spring stateMachine中的注解@WithStateMachine 的时候要切记，这个方法只是一种监听器行为，而不会控制状态的流转。可以看到notifyTransition ，这个含义就是通知的意思，其语义就是一种监听行为，监听transition转换过程中发送的状态变化时候执行的操作。在使用注解的时候，这里特意去抛一个异常，场景是很常见的，在不知道哪个步骤里面，可能动作【action】会涉及到数据库存储、外部调用，往往会出现异常的情况。此时，doAction。
2022-09-15 17:15:49
1315
2
原创 flink 设置checkpoint路径遇到的部署问题[Cannot support file system for ‘hdfs‘ via Hadoop]
flink 设置ck遇到的部署遇到的问题1、 增加 core-site.xml文件 和 hdfs-site.xml这两个文件需要在集群的hadoop集群中找2、 需要在main方法中添加3、 需要在项目中引入hadoop版本通过4、 添加 checkpoint路径前提是flink用户需要有hdf集群的查看权限如果使用 rockeddbStateBackEnd需要添加依赖以上是设置增量ck需要做的代码设置。配置rocksdb保存checkpoint时，idea运行报错5、 确定设置了Co
2022-06-27 10:49:36
1947
原创 java Spi实战
SPI实战网上已经有很多介绍了SPI机制的文章，写得都非常棒。然而计算机是一门实战课程。最重要的是要把理论的知识转化为实战嘛。SPI使用场景略。实际中，如果真的用上，也是极少的。毕竟不常用。但是有一点可能很少有讲的。那就是SPI是支持双亲委派机制的。言外之意就是，当普通用户在使用接口规范方的接口的时候，需要在pom包中依赖一些实现接口规范的厂商的jar包，这个jar包可以单独存在于$JAVA_HOME/jre/lib【boot加载器加载的目录】$JAVA_HOME/jre/lib/ext 【.
2022-04-19 22:08:19
559
原创 flink 窗口 核心部件 - WindowOprator 算子计算过程
文章目录windowsOprator1. StreamRecord(流记录)timestamp的理解2. 窗口 WindowwindowAssigner3.如何判断延迟4. 窗口状态保存全局窗口状态如何使用全量窗口？增量窗口状态如何使用增量窗口？总结5. trigger 判断是否可以继续执行triggerContexttrigger 状态定义(TriggerResult)TriggerResult 触发窗口计算的前提条件。trigger应用！！！6. 触发窗口计算看不到图的可以通过这个链接查看wind
2021-04-02 18:52:23
505
原创 Flink 1.11.0 job提交流程源码解析（精髓)
文章目录1. 首先StreamExecutionEnvironment是流作业的一个执行环境2. StreamGraph的创建3. 异步创建一个JobClient客户端1. 创建一个执行器。2. pipeline到jobgraph的转化1.激活配置文件（准备JobGraph的配置）2. 翻译Translator （执行JobGraph转化）异步提交任务到Cluster（集群）中，并获取Job客户端1. LocalExecutor 构建器2. RemoteExecutorRestServerEndpoint
2020-10-24 08:43:19
1226
原创 DFA如何识别一个被3整除的数字串的正则表达式
需要具备的只是 编译原理 前第三章（词法分析，大概花个17个课时就可以了，读者要是感兴趣的话，可以多多深入了解）东南大学 廖力老师的编译原理很不错，推荐读者自己看看,（考前必备良品！）基本概念讲解即如下知识正规集，在编译原理中叫做 语言->L（α）L（\alpha）L（α） ,也就是说有句子的集合（这里要对句子有个非常清晰的理解，句子就是符合语法规则的字符串（更准确地应该叫做终结...
2020-04-22 13:34:10
3185
原创 gitlab shared runner 实战篇
文章目录假设用户在本机中有完善的docker执行环境以及k8s环境gitlab CI/CD 自动构建步骤概念 1 runner的执行环境1. gitlab 运行命令 查看gitlab配置2. gitlabrunner 执行一个可以运行runner的docker容器3.进入 gitlab-runner 内部构建mvn docker 以及其他文件， 用来生成一个镜像3.1 两种方式创建executo...
2020-04-08 15:20:47
2519
原创 位图实现(Java版本)
文章目录本质位图映射规则如何判断位图中是否存在某数代码实现java实现类是否因为hbase中的布尔过滤器的实现而感到疑惑呢？其实布尔过滤器这种存储结构的基本设计原型来源于位图的设计思想。本质位图其本质就是hash函数的一种设计实现，很多地方都会用到hash设计，比如java中的hashmap数据结构其底层仍然是以hash函数映射的数字作为key，其value是以链表方式存储碰撞数据位图映射...
2020-01-13 13:49:30
3043
原创 git抽离与瘦身场景-抽离子项目以及删除git中无用的大文件
目录1. 抽离场景---从大项目中抽离一个独立文件夹作为新的子项目0. 查看git大小1. 查看有哪些大文件（top 10）2.在总项目之外任一地方创建一个空项目，并通过本地项目进行动态拉取项目3.查看新项目目录大小2.瘦身场景--独立项目删减大文件（夹）场景0. 查看git大小1. 查看有哪些大文件（top 10）2. git filter-branch...
2019-12-02 14:15:10
491
原创 spark streaming2.4.0 任务启动源码剖析
文章目录官方案例StreamingContextDStreamGraphDStream调度篇输入流的注入与开启输出流的注入流动？官方案例首先以官方启动入手object SparkStreamingTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("aaa")....
2019-11-13 14:58:43
309
原创 spark2.4.0 sql dataframe向上补齐操作(含udaf操作)
文章目录方案一方案二思考方案一使用窗口函数以及index实现具体操作放大图查看方案二使用窗口函数的特性以及spark2.4.0 新的array特性进行结合具体操作放大图查看其中所指的窗口函数聚合函数(index索引) over(order by index rows between unbounded preceding and current row)表示针对每...
2019-11-04 11:44:50
1003
原创 spark sql 高阶函数介绍
文章目录背景transformtransform 嵌套执行（nest）existsaggregate 聚合背景An Introduction to Higher Order Functions in Spark SQLNested data types offer Apache Spark users powerful ways to manipulate structured data. ...
2019-11-04 11:14:22
864
原创 Linux shell 整理之 语法结构篇（五）
文章目录背景条件分支语句if条件分支if then 最基本的语句if then elseif then elif then elsecasetest处理特殊条件使用[]来代替test函数高级判断复合判断(( expression )) 高级数值比较[[ expression ]] 高级字符串比较循环语句for基本语法稍微复杂一些的结构for循环注意的双引号问题练习题目for循环与重定向的结合wh...
2019-10-10 23:37:17
186
原创 spark-submit 到底做了什么
文章目录本文的目的是提升linux shell脚本的功力，以及熟悉spark-submit提交的具体流程spark-sumbit*第一段背景知识综合案例解读第二段背景知识解读第三段背景知识解读总结语本文的目的是提升linux shell脚本的功力，以及熟悉spark-submit提交的具体流程spark-sumbit*#!/usr/bin/env bashif [ -z "${SPARK...
2019-10-09 21:58:30
741
原创 Linux shell 整理之 复合命令行篇（四）
文章目录开篇前置命令和后置命令异常（非零状态码）状态码输入输出重定向符a) 输出重定向 与 内联输出重定向的区别b) **++输入重定向++** 与 **++内联输入重定向++**扩展 标准输入（0），标准输出（1），标准错误（2）c) 临时重定向 （>&）d) 永久重定向 (exec)永久改变输出永久改变输入exec 扩展管道参考资料前置参考文章Linux shell 整理之 ...
2019-10-09 16:14:19
1252
原创 Linux shell 整理之 用户权限篇（三）
文章目录用户管理useradd 发生了什么如果useradd某个设置经常被改动userdelusermod批量修改密码用户组GID值修改/ect/group文件UMASK 水印修改文件类型权限S 共享权限（！！！！）用户管理核心文件 /etc/passwduseradd 发生了什么其中会默认在创建用户的时候把/etc/skel/中的目录作为新用户的起始文件如果useradd某个设置经...
2019-10-08 13:47:13
715
原创 Linux shell 整理之 基本概念篇（一）
文章目录虚拟内存管理软件程序管理（应用程序）硬件设备管理设备的分类通信过程文件管理系统虚拟内存管理虚拟内存代表的是一种过程，这个过程是由内核内置维护的内存页面表（映射表）来交换物理内存与实际磁盘指定的位置（swap space）进行数据交换的一个过程（换出，换入）。为什么要有这么一个交换过程呢？我们都知道目前内存是昂贵的，磁盘是便宜，而如果把数据存在内存中时间过长，会很容易导致内存oom，...
2019-10-03 21:36:53
205
原创 Linux shell 整理之 基本概念篇（二）
文章目录后台进程 (daemon)普通命令转换为后台进程的方式子shell (非后台)进入子shell的三种方式子shell无法修改全局变量的值,但是会在子shell的这个当前值环境变量什么时候加$ ,什么时候不需要文件管理系统文件类型extext2日志服务系统ext3ext4写时复制文件系统 copy-on-write，COW操作文件系统实战主分区扩展分区常用的fdisk 命令查看系统支持的系统...
2019-10-02 23:43:12
1103
原创 spark pom文件 胖廋包结合
这里写自定义目录标题背景pom.xml 以供参考背景平时会有同僚（尤其是新手），一直很疑惑，本地开发的spark应用都运行得好好的，一旦编译文件之后就通不过，可能会有出现各种坑，其中就是使用sdt方式很容易导致项目使用的scala版本与本地编译的版本起冲突这里使用maven-shade-plugin 用来编译同时会生成两个包其中 feature-1.0-SNAPSHOT.jar 为胖包...
2019-09-27 13:54:04
321
原创 elasticsearch7.1.0 ik中文分词快速搭建本地测试环境（docker版本）
docker nameversionelasticsearch7.1.0kibana7.1.0 > git pull https://github.com/medcl/elasticsearch-analysis-ik.git > cd elasticsearch-analysis-ik > mvn clean compile packa...
2019-07-18 11:10:48
1571
原创 phoneix数据库 部署篇(一)
phoneix数据库 语法来自 | 官网 1.本问所讲述的phoneix并非 网页框架,实则为可以与hbase互相配合使用 2.在列式数据库的基础上集成到一套类似与mysql这种关系型数据库到一套框架 ,以关系型数据库的思维去体验弥补列式数据库本身带来到劣势(事务). 3.phoenix将用户编写的sql查询语句编译(原理是协处理器)转化为一系列的 habse 的 scan,put等...
2019-06-29 22:15:37
239
原创 Hbase Api常规操作记录
Hbase Api常规操作记录这个是之前整理出来做到一系列接口本文主要是在增删改查到基础上,记录原子操作(checkAndPut)以及batch操作(混合put/get/delete)到使用废话不多说直接上代码package com.bigdata.hbase.test;import org.apache.hadoop.conf.Configuration;import org.ap...
2019-06-22 16:58:46
287
原创 springboot（2.1.5）与任务方法的相关内容(异步任务，简单定时任务，邮箱任务)
1、 异步任务单个用户进行请求的时候对任务进行异步处理对于初学者来说，多个用户对一个controller进行请求会堵塞吗？这个需要理解web中的 顾虑器，拦截器以及转发器的应用才能解答，这里按揭不表1. 需要开启@EnableAsync2. 在同步方法上添加注解 @Async 见项目 aysnc 可以不用等待就能返回结果2、 简单定时任务（后续增加quartz任务...
2019-06-17 17:11:24
235
原创 kibana+elasticsearch+filebeat （7.1.0）docker容器实现日志分析记录配置，并与harbar服务结合部署
##安装部署流程elasticsearch 安装部署流程下载elasticsearch7.1 最新版本 docker (elasticsearch用来存储日志记录) shell> docker pull docker.elastic.co/elasticsearch/elasticsearch:7.1.0 本地安装并配置支持跨域容器设置 1. 开启容器 shell> doc...
2019-06-03 13:28:05
2194
原创 vue2 typescript 项目 如何引入antd -ui组件
背景目前 antd 还没有写 .d.ts 类型的声明文件，所以无法在目前的项目中正常使用，当在ts文件中导入ant-design-vue的时候 import {Button,message,Tree} from "ant-design-vue"会报错，如下： Could not find a declaration file for module 'ant-design-vue'. ...
2018-12-19 20:19:06
8199
3
原创 vue2 动态添加组件 （typescripte版本）
假设读者已经对vue有了初步的认识目标当想要在一个画板中添加一些组件（图形）的时候适用，如下图类似的效果，点击一个按钮的时候，动态地在面板中添加组件，请看 2.组件动态添加区的效果效果先上图 让大家看看动态添加组件的效果技术说明1这里并不是添加简单的数据，而是添加组件(名)的功能，并利用vue的:is 特性，通过v-for语法动态添加组件2.动态切换区动态地绑定到它的 is ...
2018-12-15 17:55:08
2763
elasticsearch-analysis-ik-7.1.0.zip
2019-07-17
zeal-for-develop.zip
2019-07-05
Cupertino-iCons-master.zip
2019-06-15
A Computational Approach to Edge Detection (1986)
2018-04-09
window python scrapy出错需要的包
2018-03-14
计算机数据可视化基础
2017-12-29
THREE.JS开发指南.zip
2017-10-30
HTML5 Canvas游戏开发实战
2017-10-30
Tensorflow 实战Google深度学习框架 才云，郑，顾 完全版
2017-10-12
Ajax权威指南.pdf
2017-09-15
Python源码剖析-深度探索动态语言核心技术.陈儒.扫描版
2017-09-13
[超级智能：路线图、危险性与应对策略].（英）尼克·波斯特洛姆
2017-03-09
Stream+Processing+with+Apache+Flink2019.pdf
2020-09-29
antlr-intellij-plugin-v4-1.14.zip
2020-04-27
r-devtools-package-development.pdf
2019-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人