u013551615的博客

原创 MySQL InnoDB存储引擎锁与事务实现原理解析（未完成）

MySQL存储引擎 InnoDB学习

原创 AWS S3常用功能总结回顾

Aws s3常用功能总结与代码示例

原创 Skywalking8.5.0-ES7 Rancher部署及ES高可用部署过程记录

Skywalking rancher k8s部署流程

原创 SpringBoot-Starter原理及实现

Spring-Boot-Starter原理和实现

原创 设计模式入门

设计模式入门

原创 禁用AMQP配置中的明文身份验证机制（包含Springboot结果测试+踩坑）

禁用AMQP配置中的明文身份验证机制

原创 RabbitMQ学习-第一部分

RabbitMQ持久化、可靠性

原创 阿我就是舅舅卡空间

测试测试

原创 实用机器学习笔记第四章-模型评估与验证

一、模型评估本章主要是讲如何衡量一个模型，此时模型已经训练好了1. 模型指标监督学习中，通常使用损失作为衡量模型质量的指标。还有其他多种指标：模型相关的指标：分类问题评估精度，目标检测问题评估mAP商业相关的指标：营业收入、延迟通常根据多个指标来选择模型1.1 举例广告投放1.2 常见分类问题的指标1.2.1 准确度Accuracy = 正确预测样本大小/样本大小样本中预测正确的个数占比1.2.2 精度Precision = 预测正确为类i的个数/我预测成

原创 实用机器学习笔记第七章-深度神经网络架构

一、深度神经网络架构本章内容关于深度神经网络共用的设计模式1. 深度神经网络调参DL是一门编程语言，用于表达对数据（结构、设计）的理解里面的一些值（参数）不用确定，可以根据真实数据学习得到的可导，定义一个损失函数，通过误差反响传播，来进行权重的更新有许多的设计模式，从层的设计到网络的设计1.1 批量和层的归一化1.1.1 批量归一化（Batch Normalization）1.1.1.1 概念线性模型中使用 来使得损失函数更加平滑（均值0 方差1 ）‘[外链图片转存失败

原创 实用机器学习笔记第八章-迁移学习

1. 迁移学习1.1 概念在一个人任务上学习一个模型，用于解决一个相关任务常用于深度学习，原因是数据难获取、训练模型很贵1.2 方法训练好一个模型，做成特征抽取模块（WordVec、ResNet-50 feature、I3D feature）在一个相关的任务上训练一个模型，然后在另一任务上直接使用它训练一个模型，对模型做微调（本章关注的重点）1.3 相关领域半监督学习zero-shot/few-shot learning多任务学习2. 微调（Fine-tuning）在CV

原创 实用机器学习笔记第六章-模型调参

一、模型调参本章主要讲如何对超参数进行调节，得到比较好的结果1. 手工调节超参数从一个比较好的基准线（baseline）开始eg：高质量的工具包的默认参数、别人论文的超参数调一个值，重新训练一个模型，去看看损失、精度重复前面的步骤多次，得到一些直觉，就能知道：哪些超参数比较重要模型对超参数对超参数的敏感度比较好的超参数的范围需要妥善管理实验，做笔记记录下所有的日志、超参数，之后可以进行比较区别把log存在txt文件，把超参数和一些指标放在excel使用tensorb

原创 实用机器学习笔记-第五章-集成学习

一、集成学习1. 统计学习中的衡量模型指标1.1 偏差：学习到的模型和真实模型之间的位移1.2 方差：学习到的东西差别有多大1.3 示意图1.4 偏差-方差公式泛化误差:Ed[(y−f^(x)2)]=Bias[f^]2+Var[f^]+σ2E_d[(y-\hat{f}(x)^2)] = Bias[\hat{f}]^2 + Var[\hat{f}]+\sigma^2Ed​[(y−f^​(x)2)]=Bias[f^​]2+Var[f^​]+σ2（偏差平方+方差+误差）1.5 模型-方差的

原创 实用机器学习笔记-第三章-机器学习模型分类与介绍

一、 机器学习模型本章节内容：介绍机器学习的模型分类、常用分类的模型的代表1. 入门介绍1.1 机器学习算法分类可监督学习：在有标号数据上训练模型，去预测标号自监督学习：标号由数据中生成出来的(word2Vec,BERT)半监督学习：有标注的数据和大量的没有标注的数据任务1:像监督学习一样，预测我的标注任务2:去预测没有标注的数据无监督学习：在无标注的数据上训练（聚类clustering，分布估计density estimation如GAN）强化学习：模型与环境交互，对环境做一

原创 实用机器学习-2. 数据预处理

一、数据预处理1. 探索性数据分析丢掉数据缺失高于30%的列检查数据类型类型转换，字符串转成浮点数eg：货币、面积检查数字列的最大最小值是否合理过滤掉不正常值的列可视化方法displotsubplots/ heaetmapboxplot2. 数据清洗流程图2.1 数据错误缺值、错误、极端值好的ML模型对错误容忍度很高，但是会影响精度把错误的模型部署在线上会影响新收集到的数据质量，模型慢慢变差2.1.1 数据错误类型Outliers：数据的值不再正

原创 实用机器学习-1.3 网页数据抓取

一、网页数据抓取从网页中抽取数据，特点是噪音多、弱标号、无用信息多可获取数据量大爬网页 vs 数据抓取：爬是整个网页内容，抓取是抓特定的数据工具：headless浏览器（selenium）、许多IP、BeautifulSoup1. 抓取单个网页2. 抽取数据（定位HTML元素）3. 图片抓取二、成本问题存储成本网络带宽成本云计算成本CPU/GPU三、法律问题1. 不要爬敏感数据、隐私数据2. 不要爬有版权的数据3. 遵循网页服务条款...

原创 实用机器学习-1.2数据获取

一、数据获取数据获取是很困难的1.1 数据发现（找数据）寻找已有数据集寻找公用数据集来检验我的想法收集数据常见数据集 ：MNIST/ImageNet/AudioSet/Kinetics找数据集：Paperswithcodes Datasets/Kaggle Datasets/Google Dataset Search/Open Data on AWS1.2 数据融合产品数据通常存在多个表中，需要进行Join合并关键问题：找到Join的key、处理重复列、空数据行、数值冲突1.3

原创 实用机器学习-1.1课程介绍

一、课程介绍本课程是关于机器学习在工业界的应用，公司使用机器学习来增加营收 。1. 工业界的应用制造业：质量控制零售业：商品推荐、聊天机器人、需求预测健康：疾病检测、病情监控预警金融：诈骗检测、 申请自动处理汽车：汽车状态预测、无人驾驶2. 机器学习流程（样例：房价预测）2.1 形成机器学习问题聚焦在最有影响的工业问题2.2 数据高质量数据很少、需要做数据清洗挖掘数据涉及到隐私问题2.3 模型训练复杂的模型训练很贵2.4 部署模型耗费GPU的模型（大模型

原创 实用机器学习-1.4 数据标注

一、数据标注流程图1. 半监督学习Semi-Supervised-Learning（SSL）一小部分数据有标注、绝大部分数据没有标注1.1 对数据分布做假设连续性假设： 两个样本的特征相似，可能有相同的标号聚类假设：同一个类可能有相同标号流型假设：收集的数据维度较高，数据在低维上分布，需要降维处理1.2 自学习是一种SSL算法模型用来标注数据，可以使用昂贵的模型（深度神经网络、模型融合）伪标注数据：是指按照模型预测出来的数据，噪音可能比较大，只保留置信的样本数据2. 众包

原创 Redis-设计与实现-多机数据库思维导图（未完待续）

原创 Spring-Cloud-Hystrix

一、引入原因微服务架构，各服务之间通过RPC进行调用，如果中间一个服务出现故障，导致任务积压，最终引发整个系统瘫痪。通过Hystrix，对故障进行监控，出现错误向调用方返回错误码，而不是长时间等待。二、原理分析本文基础架构如下⚠️在Ribbon-consumer上通过@EnableCircuitBreaker或者使用@SpringCloudApplication一步到位。原理分析1. 创建HystrixCommand或HystrixObservableCommand对象命令模式用

原创 Redis-单机数据库系统实现原理-思维导图

链接: https://pan.baidu.com/s/1rgyOsDVGd06j46VnwBPRyg 提取码: akpb–来自百度网盘超级会员v5的分享

原创 Redis原理-基本类型与对象

原创 RESTful-表现层状态转移风格

一、概述REST是对API接口标准的一种规范每一个URL代表一种资源在客户端与服务器之间传递资源的表现层，如JPGE，XML，JSON等客户端通过HTTP动词对服务器资源进行操作，实现状态的转换。二、REST标准六大原则C-S架构无状态：采用的是http方式统一的接口一致的数据返回格式：要么XML，要么JSON，或者返回状态码。可以缓存系统分层违反了任意一个原则，严格上都不能叫做RESTful风格。三、HTTP动词GET: 从服务器取出资源POST：新建资源PUT：更新

原创 JVM垃圾收集器

一、为什么关注GC当需要排查内存溢出、内存泄漏，垃圾收集成为系统高并发的瓶颈需要对自动的GC实施监控和调节二、回收哪些对象-GC只需要关注Java堆和方法区的已死对象-调用GC回收System.gc()如何确定对象已经死去？1.引用计数法给对象添加引用计数器。缺点：难解决循环引用问题2.可达性分析法 （Java虚拟机采用的方法）有一系列GC rootl,包括虚拟机栈(栈帧中的本地变量表)中引用的对象、方法区中类静态属性引用的对象、方法区中常量引用的对象、本地方法栈中Native方法引

原创 JVM(Java SE 7)-内存区域和内存溢出

一、运行时数据区域1. 线程共享区域1.1 方法区 Method Area存储虚拟机加载的类信息、常量、静态变量、JIT编译后的代码运行时常量池Runtime Constant Pool是方法区的一部分用于存放编译器生成的各种字面量和符号引用抛出的异常OutOfMemoryError：方法区无法满足内存分配；1.2 堆区 Heap存放对象实例，为对象实例分配内存进行垃圾收集的主要区域堆内存在物理上可以是不连续的堆内存会给多个线程划分出私有的分配缓冲区TLAB抛出的

原创 Java并发编程的艺术-七-十章

原创 Java并发编程-FutureTask

一、FutureTask简介FutureTask实现了Future接口和Runnable可以由Executor执行，也可以使用FutureTask.run()直接调用线程执行。FutureTask状态未启动：没有执行FutureTask.run()之前FutureTask.get()导致线程阻塞FutureTask.cancel()导致永远不会执行此任务已启动：run()方法的执行过程中FutureTask.get() 阻塞FutureTask.cacel(true) 中断执行任

原创 ScheduledThreadPoolExecutor

一、概念继承自ThreadPoolExecutor，用于执行定时任务和延时执行任务。与Timer的区别：Timer只对单个线程执行定时任务，而ScheduledThreadPoolExecutor可以对多个线程执行。二、运行机制使用DelayQueue作为工作队列maximumPoolSize参数无效通用执行步骤1. Executor调用scheduleAtFixedRate()/scheduleAtFixedDelay()，向DelayQueue添加一个ScheduledFutureTas

原创 Java并发编程-ThreadPoolExecutor

一、核心参数corePool 核心线程池大小maximumPool 最大线程池大小BlockingQueue 工作队列RejectedExecutionHandler 当Executor已经关闭或饱和，需要拒绝的策略。二、分类FixedThreadPoolSingleThreadExecutorCachedThreadPool三、通用Executor执行模型当前线程数量小于corePoolSize，创建一个新的线程来执行任务如果线程大于等于corePoolSize，工作队列不

原创 Java并发容器与框架的实现

一、ConcurrentHashMap1.1 背景多线程中，HashMap导致程序死循环（HashMap采用拉链法解决hash冲突，当链表大于了装载因子对应的最大容量，需要重新进行散列。问题发生在这里，多线程可能同时出发rehash，形成了链表的回路）；HashTable会阻塞其他线程，效率低下。ConccurentHashMap使用分段锁，把数据分段，每一段配一把锁。1.2 结构由Segment数组和HashEntry数组组成。Segment是一个ReentrantLock，当作锁。HashEnt

原创 数据库事务与Spring事务

一、概念由单个用户或者应用程序执行的，完成读取或者更新数据库内容的一个或者多个操作。也就是包含多条DML的操作。二、事务特性原子性：事务不可分割，要么全部执行，要么都不执行。一致性：事务将数据库从一种一致性状态转换到另一种一致性状态。数据库只保证数据符合约束，而数据的逻辑正确性应该由应用程序来保证。隔离性：事务的执行相互独立，没有完成的事务的中间结果对其他事物不可见。持久性：成功提交的事务被永久记录到数据库文件中。三、并发控制丢失更新问题：一个事务A进行更新操作，事务B的更新覆盖了

原创 Java并发编程的艺术-四、五章节思维导图

原创 Java并发编程的艺术-前三章思维导图整理

原创 五种IO模型的总结

原创 Java并发-锁的获取和撤销机制

Java对象头个人总结Biasable 可偏向：bitfields为0Biased 已经加偏向锁：bitfields为线程ID轻量级锁快速上锁机制fast locking• 在当前线程栈中创建存储锁记录的空间• 将对象头mark work复制到lock record中（displaced mark word）• 线程尝试用CAS将mark word替换为指向锁记录lock recordœ的指针• 如果成功，当前线程获得锁，如果失败，意味着其他线程在竞争锁，尝试自旋获取锁，次数过多升级为重量

原创 Maven-自动化构建工具学习

为什么要用Maven目的：进行依赖管理和生命周期管理一、依赖管理：管理第三方jar包每个项目不需要复制粘贴大量的jar包到WEB-INF,只需要维护一个jar包的引用，也就是“坐标”，实现代码重用可以将当前jar包所依赖的jar包都导入，无需了解依赖的具体jar包。jar包冲突，使用最短路径优先原则或者先声明优先原则解决。二、生命周期：清理、编译、测试、报告、打包、部署好处：不需要粘贴大量jar包大项目拆分，maven可以把一个项目拆成多个工程不需要自己下载jar包jar包版本统

原创 Apache Shiro认证流程

Subject第一步：获取用户名(Principal)和密码(Credential)；//获取当前的SubjectUsernamePassworkToken token = new UsernamePassworkToken (username,password);//Rmember me功能.token.setRememberMe(true)AuthenticationToken接口：用于表示用户提交的用户名和密码的接口通常使用UsernamePassworkToken类(派生自Aut

原创 CSAPP-2.2-线程

线程简介线程：一条线程指的是***进程中***一个单一顺序的控制流，是***最小调度单元***。传统操作系统中，每个进程只有一个地址空间和一个控制线程。需要多线程的原因：许多应用同时发生多种活动，某些活动随着时间推移会被阻塞，可以把应用程序分解成准并行运行的多个顺序线程。线程比进程更加轻量，创建撤销快。线程能够提高I/O密集型的进程的性能，而不能提高CPU密集型的。经典线程模型进程模型基于两个概念：资源分组处理与执行。线程模型：资源分组是进程的工作，在CPU上被调度执行是线程的工

原创 CSAPP-2.1-进程

进程模型进程存在的原因：在多道程序系统中，描述并发(伪并行)。进程定义：一个这个在执行的程序的映像(实例)，包括许多状态,如：PC、Register、变量的当前值。多道程序设计：内存中同时能够容纳多个程序进程状态运行态。该时刻实际占用CPU就绪态(暂停态)。可运行，等待其他进程运行结束。阻塞态。等待某种外部事件的发生。进程的创建与终止进程创建Fork():创建进程的系统调用。创建一个与调用进程相同的副本。修改共享内存：不可写的内存是共享的。如果全部内存都是共享的，那么需