birdguan

原创 Redis常见知识点

Redis单线程为什么执行速度这么快？纯内存操作，避免了大量访问数据库，减少直接读取磁盘数据。Redis将数据存储在内存里面，读写数据的时候不会收到硬盘I/O速度的限制，所以速度更快； 单线程操作：避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗CPU，不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现的死锁而导致的性能消耗 采用了非阻塞I/O多路复用机制Redis数据结构底层实现☞ Stringsimple dynamic string ..

原创 数据库常见知识点

数据库三范式确保每列的原子性，即列的信息，不能再分解 非主键列不存在对主键的部分依赖（要求每个表只描述一件事情） 满足第二范式，并且表中的列不存在对非主键列的传递依赖数据库主从复制原理主库db的更新事件（update, insert, delete）被写到binlog 主库创建一个binlog dump thread线程，把binlog的内容发送到从库 从库创建一个I/O线程，读取主库传过来的binlog内容并写入到relay log 从库还会创建一个SQL线程，从relay ..

原创 Spring常见知识点

Spring框架的七大模块Spring Core：框架的最基础部分，提供IoC容器，对bean进行管理 Spring Context：继承BeanFactory，提供上下文信息，拓展出JNDI, EJB, 电子邮件，国际化等功能 Spring DAO：提供了JDBC的抽象层，还提供了声明性事务管理方法 Spring ORM：提供了JPA, JDO, Hibernate, MyBatis等ORM映射层 Spring AOP：集成了所有AOP功能 Spring Web：提供了基础的Web开发的.

原创 Java锁常见知识点

synchronized实现原理synchronized同步代码块：synchronized关键字经过编译之后，会在同步代码块前后分别形成monitorerter和monitorexit字节码指令，在执行monitorenter指令的时候，首先尝试获取对象的锁，如果这么锁没有被锁定或者当前线程已经拥有了那个对象的锁，锁的计数器就加1，在执行monitorexit指令时会将锁的计数器减1，当减为0的时候就释放锁。如果获取锁对象一直失败，那当前线程就阻塞等待，直到对象锁被另一个线程释放为止。 syn..

原创 JVM常见知识点

jre, jdk, jvm的关系jdk是最小的开发环境，由jre+java工具组成。jre是java运行的最小环境，由jvm+核心类库组成。jvm是虚拟机，是java字节码运行的容器，如果只有jvm是无法运行java的，因为缺少了核心类库。JVM内存模型堆 - 对象，共享 方法区 - 类信息，静态变量，常量池，共享 （Java 8移除了永久代，替换为元空间，静态变量、常量池迁移到堆中） 虚拟机栈 - 线程执行方法的时候内部局部变量，堆中对象地址等数据 本地方法栈 - 存...

原创 Java集合常见知识点

Java集合的框架有哪几种两种map和collection，其中collection分为set和list.Vector, ArrayList和LinkedList的区别ArrayList的实现是一个可变数组，默认的初始长度为10，也可以我们自己设置容量，但是没有设置的时候默认的是空数组，只有在第一步add的时候会进行扩容至10（重新创建了数组），后面按照3/2的大小进行扩容，使线程不安全的，使用多读取、少插入的情况。 LinkedList是基于双向链表的实现，使用了尾插法的方式，内部..

原创 JAVA基础

AVL树与红黑树（R-B树）的区别和联系AVL树是严格的平衡树 ，因此在增加或者删除节点的时候，根据不同情况，旋转次数比红黑树要多； 红黑树是非严格的平衡来换取增删节点时候旋转次数的开销降低； 所以总结说，查询次数多选择AVL树，查询更新次数差不多选择红黑树； AVL树顺序插入和删除时有20%左右的性能优势，红黑树随机操作时有15%左右的优势，现实应用当然一般都是随机情况，所以红黑树得到了更广泛的应用，索引为B+树，Hashmap为红黑树。为啥redis zset使用跳跃表而不用红黑树实现.

原创 笔试结束两分钟得到正确答案的DFS题目

把数组分成m组，每组不能有重复元素，共可分多少组？笔试结束两分钟后得到正确答案，太遗憾了。import java.util.*;public class Main { /*请完成下面这个函数，实现题目要求的功能 当然，你也可以不按照下面这个模板来作答，完全按照自己的想法来 ^-^ ******************************开始写代码****...

原创 Java——Volatile

目录可见性问题JMM (Java Memory Model)现在计算机的内存模型Java内存模型可见性的解决方案加锁Volatile修饰共享变量Volatile做了什么？MESI (缓存一致性协议)如何发现数据是否失效？——嗅探嗅探的缺点——总线风暴禁止指令重排序无法保证原子性volatile和sychronized的区别应用总...

原创 数据库——Redis

Table of Contents一、概述二、数据类型STRINGLISTSETHASHZSET三、数据结构字典跳跃表四、使用场景计数器缓存查找表消息队列会话缓存分布式锁实现其它五、Redis与Memcached数据类型数据持久化分布式内存管理机制六、键的过期时间七、数据淘汰策略八、持久化...

原创 数据库——MySQL

Table of Contents一、索引B+ Tree原理MySQL索引索引优化索引的优点索引的使用条件二、查询性能优化使用Explain进行分析优化数据访问重构查询方式三、存储引擎InnoDBMyISAM比较四、数据类型整型浮点数字符串时间和日期五、切分水平切分垂直切分Sharding策略Sh...

原创 计算机网络——应用层

Table of Contents域名系统文件传送协议动态主机配置协议远程登陆协议电子邮件协议1.SMTP2.POP33.IMAPWeb页面请求过程1.DHCP配置主机信息2.ARP解析MAC地址3.DNS解析域名4.HTTP请求页面域名系统DNS是一个分布式数据库，提供了主机名和IP地址之间相互转换的服务。这里的分布式数据库是指，...

原创 计算机网络——网络层

Table of Contents概述IP数据报格式IP地址编址方式1.分类2.子网划分3.无分类地址解析协议ARP网际控制报文协议ICMP1.Ping2.Traceroute虚拟专用网VPN网络地址转换NAT路由器的结构路由器分组转发流程路由选择协议1.内部网关协议RIP2.内部网关协议OSPF3.外部网关协议BGP...

原创 计算机网络——传输层

Table of ContentsUDP和TCP的特点UDP的首部格式TCP首部格式TCP的三次握手TCP的四次挥手TCP可靠传输TCP滑动窗口TCP流量控制TCP拥塞控制1.慢开始与拥塞避免2.快重传和快恢复网络层只把分组发送到目的主机，但是真正通信的并不是主机而是主机中的进程。传输层提供了进程间的通信逻辑，传输层向高层用户屏蔽了下面网...

原创 计算机网络——链路层

Table of Contents基本问题1.封装成帧2.透明传输3.差错检测信道分类1.广播信道2.点对点信道信道复用技术1.频分复用2.时分复用3.统计时分复用4.波分复用5.码分复用CSMA/CD协议PPP协议MAC地址局域网以太网交换机虚拟局域网基本问题1.封装成帧将网络层传下来的分组添加首部...

原创 计算机网络——物理层

Table of Contents通信方式带通调制通信方式根据信息在传输线上的传送方向，分为以下三种通信方式：单工通信：单向传输 半双工通信：双向交替传输 全双工通信：双向同时传输带通调制模拟信号是连续信号，数据信号是离散信号。带通调制把数字信号转换为模拟信号。...

原创 计算机网络——概述

Table of Contents网络的网络ISP主机之间的通信方式电路交换与分组交换1.电路交换2.分组交换时延1.排队时延2.处理时延3.传输时延4.传播时延计算机网络的体系结构1.五层协议2.OSI3.TCP/IP4.数据在各层之间的传递过程网络的网络网络把主机连接起来，而互联网是把多种不同的网络连接起来，因此互联...

原创 计算机操作系统——链接

Table of Contents编译系统静态链接目标文件动态链接编译系统如下所示的C程序：#include <stdio.h>int main(){ printf("hello, world\n"); return 0;}在Unix系统上，由编译器把源文件转换为目标文件。gcc -o hello hello.c...

原创 计算机操作系统——设备管理

Table of Contents磁盘管理磁盘调度算法1.先来先服务2.最短寻道时间优先3.电梯算法磁盘管理盘面（Platter）：一个磁盘有多个盘面 磁道（Track）：盘面上的圆形带状区域，一个盘面可以有多个磁道 扇区（Track Selector）：磁道上的一个弧段，一个磁道可以有多个扇区，它是最小的物理存储单位，目前主要有512bytes和4k两种大小...

原创 计算机操作系统——内存管理

Table of Contents虚拟内存分页系统地址映射页面置换算法1.最佳2.最近最久未使用3.最近未使用4.先进先出5.第二次机会算法6.时钟分段段页式分页和分段的比较虚拟内存虚拟内存是为了让物理内存扩充成更大的逻辑内存，从而让程序获得等多的可用内存。为了更好地管理内存，操作系统将内存抽象成地址空间。每个程序拥有自己地地址空间...

原创 计算机操作系统——死锁

Table of Contents死锁必要条件处理方法鸵鸟策略死锁检测与死锁恢复1.每种类型一个资源的死锁检测2.每种类型多个资源的死锁检测3.死锁恢复死锁预防1.破坏互斥条件2.破坏占有和等待条件3.破坏不可抢占条件4.破坏环路等待条件死锁避免1.安全状态2.单个资源的银行家算法3.多个资源的银行家算法死锁必要条件互斥...

原创 计算机操作系统——进程管理

Table of Contents进程与线程1.进程2.线程3.区别进程状态的切换进程调度算法1.批处理系统2.交互式系统3.实时系统进程同步1.临界区2.同步与互斥3.信号量4.管程进程通信1.管道2.FIFO3.消息队列4.信号量5.共享存储6.套接字进程与线程1.进程进程是资源分配的基...

原创 Java并发

Table of Contents一、使用线程实现Runnable接口实现Callable接口继承Thread类实现接口VS继承Thread二、基础线程机制ExecutorDaemonsleep()yield()三、中断InterruptedExceptioninterrupted()Executor的中断操作四、互斥同步syn...

原创 数据库系统原理

Table of Contents一、事务概念ACIDAUTOCOMMIT二、并发一致性问题丢失修改读脏数据不可重复读幻影读三、封锁封锁粒度封锁类型封锁协议MySQL隐式与显示锁定四、隔离级别未提交读提交读可重复读可串行化五、多版本并发控制基本思想版本号Undo日志ReadView快照读与当前读...

原创 RGB or YCbCr in the SR domaon?

原创 【论文】【CVPR 2019 oral】Unsupervised Person Re-identification by Soft Multilabel Learning

目录AbstractIntroductionRelated WorkDeep Soft Multilabel Reference LearningProblem formulation and overviewSoft multilabel-guided hard negative miningCross-view consistent soft multilable ...

原创 二分K-均值聚类

K-均值算法算法可以实现收敛，但是存在一个问题是，K-均值算法会收敛到局部最优解而不是全局最优。一种用于度量聚类效果的指标是SSE（sum of Squared Error，误差平方和）。SSE值越小表示数据点越接近它们的质心，聚类效果也就越好。应为误差取了平方，因此更加重视那些远离中心的点。一种肯定可以降低SSE值的方法是增加簇的个数，但这违背了聚类的目标。聚类的目标是在簇数目不变的情况下提...

转载 LaTeX各种命令，符号

函数、符号及特殊字符声调语法效果语法效果语法效果\bar{x}\acute{\eta}\check{\alpha}\grave{\eta}\breve{a}\ddot{y}\dot{x}\hat{\alpha}\tilde{\iota}函数语法效果语法效果语法效果\sin\theta\c...

原创 图卷积网络介绍及进展学习笔记

原版视频：https://www.bilibili.com/video/av39809391/本文传送机IntroductionDefinitionMethodsApplicationsProblems and progressIntroduction数学上的卷积定义：CNN上的卷积： CNN卷积的特点 Traslation invarian...

原创 使用Tkinter库创建GUI来调整树回归

目录用Tkinter创建GUI集成Matplotlib和TkinterTkinter创建GUIfrom tkinter import *from tree_regression import *def redraw(tolerance_error, tolerance_number): passdef draw_new_tree(): passr...

原创 树回归

本文传送机复杂数据的局部性建模连续和离散型特征的树的构建将CART算法用于回归建树在回归的这篇文章中提供一一些强大的方法，但这些方法创建的模型需要你和所有的样本点（局部加强线性回归LWLR除外）。当数据拥有众多特征并且特征之间的关系十分复杂时，构建全局模型的想法就显得太难了。而且实际中很多问题都是非线性的，不可能使用全局限性模型来拟合任何数据。一种可行的方法是数据集切分成很...

原创 预测数值型数据：回归

本文传送机用线性回归找到最佳拟合直线局部加权线性回归通过缩减系数来“理解”数据岭回归lasso前向逐步回归用线性回归找到最佳拟合直线线性回归优点：结果易于理解，计算上不复杂缺点：对非线性的数据拟合不好适用数据类型：数值型和标称型数据回归方程为：，其中为回归系数回归的一般方法收集数据：采用任意方法收集数据 准备数据：回归需要数值型数...

原创 LSTM以及Conv LSTM

本文传动机LSTM, long short term memory模型中使用的各元素图标LSTM核心思想LSTM解析遗忘门输入门输出门LSTM总结ConvLSTMLSTM, long short term memory在介绍LSTM之前，我们先来看一下RNN的结构：标准RNN模型在标准RNN模型中，只有一个非常简单的模块，如图中的tanh层。...

原创 深度可分离卷积Depthwise Separable Convoltions

本文传送机深度可分离卷积原理Depthwise过程Pointwise过程深度可分离卷积的特点与传统卷积的结构区别与传统卷积的速度区别参数量降低计算速度更快将图像的区域和通道分离深度可分离卷积原理深度可分离卷积是MobileNet的核心，MobileNet是谷歌提出的移动端轻量化网络。标准的卷积网络的一个卷积核在卷积时，对应图像中的所有通道均被同时考...

原创 Adaptive Gradient Methods with Dynamic Bound of Learning Rate

北大和浙大本科生的这篇ICLR论文所提出的优化算法被媒体称为”拳打Adam，脚踢SGD“，该工作为他们在滴滴AI实验室实习时完成。这篇论文提出了两种优化算法，分别是Adabound和AMSBound，两个算法分别是Adam和AMSGrad的变体。在概括这篇论文的研究之前，首先介绍一下Adam和AMSGrad。本文传送机回顾之Adam回顾之AMSGrad论文内容Abstract...

原创 Ubuntu挂载硬盘

当需要将数据写入硬盘时，将硬盘挂在固定的目录下会方便很多。步骤如下：显示硬盘及所属分区对硬盘进行分区格式化分区配置硬盘在系统启动时自动挂载建立挂载目录查看欲挂载硬盘分区的UUID写入配置文件/etc/fstab检查挂载显示硬盘及所属分区sudo fdisk -l2T硬盘位置：对硬盘进行分区sudo fdisk /dev/sdb...

原创 Dilated Convolution —— 空洞卷积（膨胀卷积）

目录Dilated Convolution概述Dilated Convolution存在的问题HDC (Hybrid Dilated Vonvolution)Dilated Convolution概述Dilated Convolution是在标准卷积的Convolution map的基础上注入空洞，以此来增加感受野（reception field）。因此，Dilated ...

原创 设置服务器定时重启

在极端的工况下，工控机需要定时重启以保证系统运行的稳定性，设置方法现记录如下（Ubuntu 16.04系统）：sudo gedit /etc/crontab在crontab文件中输入：0 0 *** root /sbin/reboot即在0：00时刻（前面的0表示分钟，后面的表示小时）执行reboot命令。...

原创 Inception

目录概述Inception V1Inception V2Inception v3Inception v4概述Inception是GoogleNet中的模块，它的目的是设计一种具有优良局部拓扑结构的网络，即对输入图像并行地执行多个卷积运算或池化操作，并将所有结果拼接为一个非常深地特征图。因为,,等不同卷积地运算与池化操作可以获得输入图像的不同信息，并行处理这些运...

原创 Keras文档程序分析 - 2

目录基于LSTM的序列分类关于词嵌入向量关于LSTM基于1D卷积的序列分析关于全局平均池化（GlobalAveragePooling）基于LSTM的序列分类max_features = 1024model = Sequential()model.add(Embedding(max_features, output_dim=256))model.add(LSTM(...