落了一地秋的博客

原创 MAC安装MySQL

SQL，Structured Query Language，用于访问数据库的标准化语言。

原创 Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools“的解决办法

【代码】Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools“的解决办法。

原创 Pycharm小妙招之Anaconda离线配环境

【代码】Pycharm小妙招之Anaconda离线配环境。

原创 万用表数据导出变化曲线图——pycharm实现视频数据导出变化曲线图

万用表数据导出变化曲线图——pycharm实现视频数据导出变化曲线图

原创 Towards Open Vocabulary Object Detection without Human-provided Bounding Boxes(2021CVPR)----论文阅读笔记

Towards Open Vocabulary Object Detection without Human-provided Bounding Boxes----论文阅读笔记Abstract1. Introduction如何实现? pseudo bounding box label如何生成的?2. Related Work3. Related Work3.1. Generating Pseudo Box Labels3.2. Open vocabulary Object Detection with Ps

原创 什么是word embedding？

https://easyai.tech/ai-definition/word-embedding/#representation

原创 什么是RPN，ROIAlign？

RPNRPNRPNRPN（Region Proposal Network）用来产生Regin Proposal（前景框，候选区域，检测框（Faster RCNN 直接拿来做检测框）

原创 Open-Vocabulary Object Detection Using Captions(2021 CVPR)----论文解读

Open-Vocabulary Object Detection Using Captions[2021CVPR]----论文解读papercode1. AbstractOpen-Vocabulary Object Detection Using Captions2. Introduction设想与构思思路与做法OVD、ZSD、 WSD的区别？3. Related WorkZSDWSDObject detection using mixed supervisionVisual grounding of re

原创 teamviewer 远程配置

原创 IoU-aware Single-stage Object Detector for Accurate Localization-----论文阅读笔记

IoU-aware Single-stage Object Detector for Accurate Localization-----论文阅读笔记原文和代码：Abstract存在的问题？解决办法Introduction总结：问题：作者解决方案：2. Related Work3. Method3.1. IoU-aware single-stage object detector3.2. Training3.3. Inference未写实验可以从参考原文原文和代码：原文代码Abstract存在的问

原创 Variational Information Distillation----论文阅读笔记

Variational Information Distillation主要贡献：VIDAlgorithm formulation代码(重点在这,方便理解)提出了一个最大化师生网络互信息作为知识转移的信息论框架。主要贡献：我们提出了变分信息提取，这是一种基于变分信息最大化技术，通过最大化两个网络之间的互信息实现的原则性知识转移框架。我们证明了VID概括了几种现有的知识转移方法。此外，在各种知识转移实验中，我们的框架实现在经验上优于最先进的知识转移方法，包括相同数据集或不同数据集上（异构）DNN之间

原创 Similarity-Preserving Knowledge Distillation（2019ICCV）----论文阅读笔记

Similarity-Preserving Knowledge DistillationAbstract1. IntroductionAbstract在训练网络的过程中，语义相似的输入倾向于在引发相似的激活模式。保持相似性的知识提取指导学生网络的训练，使在教师网络中产生相似（不同）激活的输入指导学生网络中产生相似（不同）激活。与以前的提取方法不同，学生不需要模仿教师的表示空间，而是要在自己的表示空间中保留成对的相似性。1. Introduction...

原创 Probabilistic Knowledge Transfer for Deep Representation Learning（2018）----论文笔记

Probabilistic Knowledge Transfer for Deep Representation LearningAbstract1. Introduction后续存在问题：本文提出的方法：优点：贡献2 Related Work3 Probabilistic Knowledge Transfer4 Experimental EvaluationAbstract1.蒸馏的知识：学习表示和label的互信息量 （mutual information between learned repre

原创 奇异值分解（SVD）

奇异值分解（SVD）

原创 Self-supervised Knowledge Distillation using Singular Value Decomposition（2018ECCV）----阅读笔记

Self-supervised Knowledge Distillation using Singular Value Decomposition----阅读笔记AbstractIntroduction2 Related Works2.1 Knowledge Distillation2.2 SVD and RBF2.3 Training Mechanism3 Method3.1 Proposed Distillation ModuleTruncated SVDAbstract提出了一种新的

原创 Like What Y ou Like: Knowledge Distill via Neuron Selectivity Transfer（2017）------论文阅读笔记

Like What Y ou Like: Knowledge Distill via Neuron Selectivity Transfer------论文阅读笔记写在前面Abstract1. Introduction2. Related Works3. Background3.1. Notations3.2. Maximum Mean Discrepancy (最大平均偏差MMD)可视化结果4. Neuron Selectivity Transfer4.1. MotivationWhat is wrong

原创 A Gift from Knowledge Distillation（2017 CVPR）----论文笔记

A Gift from Knowledge Distillation:Fast Optimization, Network Minimization and Transfer Learning（2017 CVPR）Abstract1. Introduction贡献2. Related Work3. Method3.1. Proposed Distilled Knowledge3.2. Mathematical Expression of the Distilled Knowledge3.3. Loss f

原创 Correlation Congruence for Knowledge Distillation （2019 ICCV）----阅读笔记

Correlation Congruence for Knowledge DistillationAbstractIntrodution2.Related Work3.CCKD3.1 3.1. Background and Notations3.2. Knowledge Distillation3.3. Correlation Congruence3.4. Generalized kernel-based correlation3.5. Strategy for Mini-batch Sampler具体采样

原创 正负样本不平衡----＞Focal Loss（笔记）

添加链接描述添加链接描述简单来说，正样本 就是对于gt center point 所落在 的 grid 网格 所生成的 anchors 中与 gt 计算出最大的IOU的 anchor。负样本就是预测框 与所有的 gt 计算得到的最大IOU，如果 < ignore_thres ,就是负样本。上方图片表诉中括号的意为：一个anchor可能既是正样本又是负样本。Focal Loss 其实很简单来说就是平衡了，正负样本不平衡，难分类样本，易分类样本的不平衡。...

原创 Relational Knowledge Distillation------论文阅读笔记(CVPR2019)

Relational Knowledge DistillationRKD (Abstract+introduction)2. Related Work3. Our Approach3.1 IKD(Individual KD)3.2 RKD（Relational knowledge distillation）3.2.1 Distance-wise distillation loss3.2.2 Angle-wise distillation loss3.2.3 Training with RKD3.2.4 Di

原创 Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD)

@[TOC](Distilling Object Detectors with Fine-grained Feature Imitation(2019 CVPR KD))Abstract我们表明，将传统的知识蒸馏应用到检测模型中可以获得较小的增益。针对检测模型中知识提取的挑战，提出了一种利用特征响应的交叉位置差异的细粒度特征模仿方法。我们的直觉是，探测器更关心局部近目标区域。因此，近目标锚位置上的特征响应的差异揭示了教师模型倾向于如何概括的重要信息。我们设计了一种新的机制来估计这些位置，并让学生模型在

原创 GN BN LN IN

GN看看图就很好理解，这里的红色代表一张图片，横向通道，纵向就是每个通道的每张照片。

原创 inf nan

pytorch 判断并替换 nanpytorch处理inf和nan数值

原创 Non Local Module相关blog阅读笔记

Non Local Module相关blog阅读笔记申明BLOG1BLOG2BLOG3 （提供了代码）文献摘要（来自BLOG1）思考？介绍（来自BLOG1）何为关系推理？传统的非局部模块和改进的ENL（efficient non local module）（来自BLOG1）主要贡献（来自BLOG1）问题？可以置于网络任意位置？由粗到细的方式获得关系推理？Related Work（来自BLOG1）思考与解释Approach（来自BLOG1）额外补充加强理解（来自BLOG2）Non local module 例

原创 Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)

Attention机制理解笔记声明Attention分类(主要SA和CA)spitial attentionchannel attentionSA + CA(spitial attention+channel attention)加强SA+CA理解空间注意力机制和通道注意力机制解释attention机制Attention模型架构1.空间注意力模型(spatial attention)2.通道注意力机制3.空间和通道注意力机制的融合CBAM 和 BAMBLOG1的笔记重点及总结BLOG2重点看下这篇文章BAM

原创 空洞卷积(dilated convolution)

空洞卷积

原创 普通用户无法使用conda

添加链接描述

原创 Exploring Simple Siamese Representation Learning[arxiv Submitted on 20 Nov 2020]------论文解读

Exploring Simple Siamese Representation Learning[arxiv Submitted on 20 Nov 2020]------论文解读注意AbstractIntroduction and Related WorkSiamese networksContrastive learningClusteringBYOLMethodBaseline settingsExperimental setupEmpirical Study注意全文文字或图片来自 KaiMing

原创 ubuntu安装cuda，cudnn

Ubuntu安装CUDA+cuDNNUbuntu 安装 NVIDIA 显卡驱动详细步骤（ERROR: The Nouveau kernel driver is currently in use by your system）

原创 Ubuntu18.04连不网 报“有线连接未托管“

Ubuntu18.04连不网 报"有线连接未托管"

原创 xshell连接 ubuntu

xshell连接 ubuntu

原创 MoCoV2 =MoCoV1 + SimCLR

MoCoV2 =MoCoV1 + SimCLRMoCoV2 =MoCoV1 + SimCLRMoCo-V2MOCO v2

原创 SimCLR论文blog讲解笔记------ICML 2020

SimCLR论文blog讲解笔记------ICML 2020写在前面Blog网页笔记算法详解相关文章写在前面全文来自【ICML 2020】SimCLR所作的笔记，我只不过是知识的搬运工。如有侵权，请联系我删除。Blog网页笔记算法详解首先，第一个公式什么意思呢？其实非常好理解，不过是，向量归一化后点积的形式衡量相似性。这其实在MoCoV1 和 Menmory bank 这两篇文章都有提到，且这里和MoCoV1一样用的是余弦衡量的相似性，如果记得没错的话。N 个样本两种 data

原创 Momentum Contrast for Unsupervised Visual Representation Learning----论文阅读2020 CVPR KaiMing

Momentum Contrast for Unsupervised Visual Representation Learning----论文阅读2020 CVPR KaiMing参考博客前文1. Introduction2. Related Workpretext task and loss functionsloss functions ------ Contrastive lossespretext taskContrastive learning vs. pretext tasks.3. Metho

原创 论文解读Unsupervised Feature Learning via Non-Parametric Instance Discrimination------2018 CVPR

论文解读Unsupervised Feature Learning via Non-Parametric Instance Discrimination------2018 CVPRUnsupervised Feature Learning via Non-Parametric Instance Discrimination------2018 CVPR基于非参数实例判别的无监督特征学习我们的无监督特征学习方法的流水线。我们使用主干CNN将每个图像编码为特征向量，将其投影到128维空间并进行L2归一

原创 pytorch安装其实很快的！安装的这些大坑！

其实安装很快的，安装torch的时候发现一直是0%，因为是download and extract，你终止下载，去conda的pkgs路径下其实可以看到这个包下了多少了，但你不终止，看这个包一直是0字节，还有就是安装好，需要你重启一下terminal，不然发现torch这个包NOTFOUND。还有就是你也可以去清华源下好torch的tar.gz去导入就行，测试的时候一定要在重启下terminal。...

原创 CUDA与cuDNN安装

CUDA与cuDNN

原创 希腊字母表

1、 Α α alpha a:lf 阿尔法2 、Β β beta bet 贝塔3、 Γ γ gamma ga:m 伽马4 、Δ δ delta delt 德尔塔5 、Ε ε epsilon ep`silon 伊普西龙6、 Ζ ζ zeta zat 截塔7、 Η η eta eit 艾塔8、 Θ θ thet θit 西塔9、 Ι ι iot aiot 约塔10 、Κ κ kappa kap 卡帕11 、∧

原创 Paying More Attention to Attention (ICLR 2017)------阅读笔记

PAYING MORE ATTENTION TO ATTENTION:IMPROVING THE PERFORMANCE OF CONVOLUTIONALNEURAL NETWORKS VIA ATTENTION TRANSFERPaper and CodeAbstract1 Introduction2 RELATED WORK3 ATTENTION TRANSFER3.1 ACTIVATION-BASED ATTENTION TRANSFER三种空间注意力映射函数的差异根据教师和学生的深度，可以考虑以

原创 Learning Lightweight Lane Detection CNNs by Self Attention Distillation(2019/8 ICCV)----阅读笔记

Learning Lightweight Lane Detection CNNs by Self Attention Distillation[2019/8 ICCV]----阅读笔记AbstractIntroduction问题的提出？解决方案？SAD的解决方案的提出贡献点Related Work（略过）Lane detection（略过）Knowledge and attention distillation（略过）Methodology3.0 Lane detection is commonly for