- 博客(98)
- 收藏
- 关注
RSS订阅原创 第一部分： Counting Problems基础
1.Counting Problems1.1 什么是Counting Problems？计数问题是组合数学研究的一个重要方向，随着计算复杂性理论的发展，计数问题逐渐成为研究算法计算复杂性的重要工具。计数问题研究不同问题类（按计算复杂性分类）的计数复杂性，常用工具包括近似计数算法与近似取样算法，。1.2 计算问题、计数问题、计算复杂性和计数复杂性的关系总得来说，计算问题包含计数问题，所指更加宽泛。对于计数问题而言，计数问题不光要求问题可计算还要考虑其计数的量级，这使得计数问题更具实际意义。..
2021-05-12 16:21:56
559
1
原创 论文写作准备（三）—— 多目标优化问题与算法
一、多目标优化问题多目标优化是在现实各个领域中都普遍存在的问题，每个目标不可能都同时达到最优，必须各有权重。但是，究竟要怎样分配这样的权重，这已经成为人们研究的热点问题。同时，根据生物进化论发展起来的遗传算法，也得到了人们的关注。将这两者结合起来，能够利用遗传算法的全局搜索能力，避免传统的多目标优化方法在寻优过程中陷入局部最优解，可以使解个体保持多样性。二、多目标优化问题的数学描述一般来讲，多目标优化问题是由多个目标函数与有关的一些等式以及不等式约束组成，式中，函数fi(x)称为目标函数；gi(
2020-08-08 13:57:12
3947
原创 论文写作准备（二）—— 《Interpretable Convolutional Neural Networks》阅读
摘要：提出了一种将传统卷积神经网络(CNNs)修改为可解释的方法。为了阐明神经网络高级卷积层中的知识表示。在可解释CNN中，深层卷积层中的每个滤波器代表一个特定的对象部分。我们的可解释CNNs使用与普通CNNs相同的训练数据，而不需要对对象部分或纹理进行额外的注释来进行监督。这说明在学习过程中，CNN自动给深层卷积层中的每个滤波器分配一个对象部分。我们可以将我们的方法应用于不同类型、不同结构的神经网络。在可解释的CNN中，显性的知识表示可以帮助人们理解CNN内部的逻辑，即CNN记忆了哪些模式来进行预测。实验
2020-08-08 11:01:52
1456
1
原创 论文写作准备（一）—— 初识可解释性深度学习
一、深度学习为什么需要可解释性？（动机） 模型改进：理解指标特征、分类、预测，进而理解为什么一个模型会做出这样的决定、什么特征在决定中起最重要作用，能让我们判断模型是否符合常理。一个深度的神经网络来学习区分狼和哈士奇的图像。模型使用大量图像训练，并使用另外的一些图像进行测试。90%的图像被准确预测，这值得我们高兴。但是在没有计算解释函数(explainer function)时，我们不知道该模型主要基于背景：狼图像通常有一个下雪的背景，而哈士奇的图像很少有。所以我们不知不觉地做了一个雪地探测器，如果只
2020-08-03 21:45:20
2288
原创 Github使用——代码更新
一、定位到仓库cd /G/MYWORK二、初始化git并不知道为什么要初始化，但是在初始化后我添加文件再也没卡过，美滋滋git init三、加载加载所用文件，也可以在add后直接加文件名（可加多个）$ git add .四、 上传$ git commit -m "code"五、查看文件$ git status六、更新报错了，看网上应该跟readme文件有关$ git push -u origin master...
2020-06-11 21:28:08
192
原创 Github使用——代码上传
前言最近要联系博导，之前自己写的代码，如果放到博客上太乱，整理上传到GitHub上更加加明了清楚。同时，之前看别人用Github写笔记公式代码都非常整洁。因此，我也想弄一个。嘿嘿一、注册账号GitHub网址：https://github.com/ 注册步骤：应该都会，不说啦 界面：再简单注册完成之后会需要验证你所输入的邮箱才能正常使用你的GitHub。在注册完成之后，完成一些简单的设置之后，你需要创建一个属于自己的库。二、创建存放自己代码的云端库1、找到设置按钮2、填写信.
2020-06-09 10:48:56
231
转载 高斯金子塔与拉普拉多金子塔
上一讲讲了什么是拉普拉斯算子，相信大家都对其有了一个深入的理解，那么这一节，就给大家讲讲什么是拉普拉斯金字塔，那么再讲拉普拉斯金字塔的时候，我们自然而然就不能错过著名的高斯金字塔，在目前很多视觉的顶会paper中也出现了各种xxx的金字塔，这也为今后学习SIFT特征等视觉和图像知识做足了基础：）高斯金字塔：背景知识：我们都知道，在处理图像的过程中，由于图像中某个像素与相邻像素之间的有很强的相关性，即不管是从纹理还是从灰度级都很相似（CRF的性质，个人理解：一副图像应该就可以看做是一个CRF吧？）如果物体的尺
2020-06-08 20:09:51
274
转载 文献精读——（第二十四篇）Deep Convolutional GAN（DCGAN）
上一篇介绍了GAN 的基本原理以及相关的概念和知识点，同时也反映出GAN 的一些缺点，比如说训练不稳定，生成过程不可控，不具备可解释性等。这一篇就来看看GAN 的改进版之一，DCGAN（Deep Convolutional GAN）。1. 网络结构DCGAN 的...
2020-06-08 20:02:08
895
原创 文献精读（第二十七篇）——基于残差密集网络的图像超分辨率（RDN）
一、文献梳理1、研究背景传统网络特点：增加了网络深度，使用残差，梯度裁剪等方法降低训练难度；使用memory block记忆块建立MeMNet，希望能够保存底层，浅层的特征。传统网络问题：不能充分使用每层的图片信息，大部分方法没有使用层次特征2、实验1）数据集设置训练数据集：DIV2K 训练数据增强：随机水平或垂直翻转90度 测试数据集：Set5、Set14、BSD100自然场景图像、Urban100城市场景图像2）训练集预处理BI方式：双线性插值、缩小比率2,8,16
2020-06-08 19:55:41
4683
原创 文献精读（第二十六篇）——深度拉普拉斯金子塔网络实现快速准确的超分辨率（LapSRN）
一、文献梳理1、背景传统方法的问题：双三次插值预处理增大计算量，同时导致图像出现伪影（常规流程：下采样缩小图像-还原图像大小-超分辨率重构） L2 loss函数会产生模糊的预测 高分辨重建时都基于一个上采样完成，增加了大尺度因子的困难，不能在多个分辨率下生成中间的SR预测2、研究成果1）意义提出一种拉普拉斯金子塔网络结构，每一级金子塔结构以粗糙分辨的图作为输入（低分辨输入，很多方法是利用放大后的图像作为输入），用反卷积进行上采样得到更精细的特征图 利用Charbonnier lo
2020-06-08 14:48:06
1282
1
原创 文献精读——（第二十五篇）基于递归残差网络的图像超分辨（DRRN）
一、文献梳理1、研究背景CNN在超分辨中的模型有SRCNN、VDSR、DRCN等，SRCNN网络深度很浅，VDSR、DRCN虽然加深了网络深度也增加了参数和存储量。VDSR使用全局残差学习GRL，即残差学习介于低分辨率的插值输入图片与高分辨率的输出图片之间。基于上述问题提出DRCN。2、研究成果1）意义提出一个网络深度很深，但参数却很少的新型卷积神经网络 DRRN同时采用局部与全局残差结构以及递归结构 在实验中的结果均优于世界领先水平2）实验（1）设置数据集设置：使用291
2020-06-04 12:10:44
2387
原创 文献精读——（第二十三篇）原生GAN
一、文献梳理1、文献背景1）生成模型生成问题（图像，文本，语音）是人工智能领域的重要分支，其模型可以用：模拟未来（规划、仿真） 处理缺失数据 多模态输出 解决真实的数据生成问题2）传统生成模型（概率生成模型）变分自动编码模型（VAE）：优点是允许带隐变量的概率图模型学习和贝叶斯推断，缺点是生成样本模糊 自回归模型：优点是简单，训练过程稳定，缺点是采用效率低2、研究成果1）模型意义首次提出了生成对抗网络的概念及结构 给出GAN的通用训练策略 通过实验证明了GAN的能
2020-06-03 22:24:34
480
转载 tensorflow使用——（九）训练模型的时候如何指定GPU进行训练
在用tensorflow训练深度学习模型的时候，假设我们在训练之前没有指定GPU来进行训练，则默认的是选用第0块GPU来训练我们的模型，而且其它几块GPU的也会显示被占用。有些时候，我们更希望可以通过自己指定一块或者几块GPU来训练我们的模型，而不是用这种默认的方法。接下来将简单介绍两种简单的方法。我们现有的GPU个数如下所示：1.第一种是通过tf...
2020-06-03 14:05:06
1540
原创 tensorflow使用——（八）GPU
一、指定GPU1、tf.ConfigPrototf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)2、参数#tf.ConfigProto()的参数log_device_placement=True : 是否打印设备分配日志allow_soft_placement=True ： 如果你指定的设备不存在，允许TF自动分配设备3、实例 ：查看.
2020-06-03 14:03:47
170
原创 tensorflow使用——（七）模型保存与加载
一、模型保存1、tf.train.saverimport tensorflow as tf ... ＃在这里构建网络... ＃开始保存模型与tf.Session（）作为sess： sess.run（tf.global_variables_initializer（））＃一定要先初始化整个流 ＃在这里训练网络 ... ＃保存参数 saver = tf.train.Saver（） saver.save（sess，PATH）＃PATH就是要保存的路径 2、tf.saved.
2020-06-03 14:00:46
334
转载 tensorflow使用——（六）tfrecord数据操作
前言：为了更加展示tfrecord数据的相关操作，笔者后续又写了一个实践的简单例子进一步解释，具体可以看：https://blog.csdn.net/weixin_42001089/article/details/90236241正文：tfrecord数据文件...
2020-06-03 14:00:19
661
原创 tensorflow使用（五）——tensorboard
一、代码1、summary operation:tf.scaler_summary:用来添加一些标量，比如 lr，loss，accuracy ，etc tf.image_summary:用来添加一些进入graph的输入图片 tf.histogram_summary:用来统计激活分布，梯度分布，权重分布 tf.audio_summary:2、定义一个op来将所有的summary operation 合并起来merged = tf.merge_all_summaries() 3、使用gr.
2020-06-03 13:56:58
157
原创 tensorflow使用——（四）plot可视化
import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltdef add_layer(inputs, in_size, out_size, activation_function=None): # add one more layer and return the output of this layer Weights = tf.Variable(tf.random_normal([in_siz...
2020-06-03 13:56:15
667
原创 tensorflow使用——（三）网络的简单搭建
一、数据加载1、加载的三种方式Preloaded data: 预加载数据 Feeding: Python产生数据，再把数据喂给后端 Reading from file: 从文件中直接读取2、预加载数据预加载数据的读取方式是直接读取定义好的数据，直接嵌入至Graph，然后将Graph传入Session中运行。当数据量比较大时，Graph的传输会遇到效率问题。Import tensorflow as tf # 设计Graph x1 = tf.constant([2,3,4]) x2
2020-06-03 13:55:58
245
原创 tensorflow使用——（二）基本操作
一、计算图Tensorlfow中的计算是通过一个有向图directed graph或则计算图computation graph来实现的。将每一个运算操作operation作为一个节点node，节点之间通过边edge连接。这个计算图描述的数据计算流程用户可以进行相关分支、循环、选择。使用的语言是python、C++、java、Go等。计算图中每一个节点可以有多个输入和输出，每个节点只能描述一种运算操作。所以节点是运算操作的实例化（instance）。在计算图中传递（流动flow）的数据叫张量（tensor
2020-06-03 13:54:46
257
转载 tensorflow使用（一）——tensorflow安装
1. 安装用conda install tensorflow 即可，注意，这里的python是3.6。基于 Anaconda 的安装 Anaconda 是一个集成许多第三方科学计算库的 Python 科学计算环境,Anaconda 使用 conda 作为自己的包管理工具,同时具有自己的计算环境,类似 Virtualenv.和 Virtualen...
2020-06-02 09:39:31
276
原创 pytorch使用——（十七）GPU运行
一、CPU与GPUCPU（Central Processing Unit, 中央处理器）：主要包括控制器和运算器 GPU(Graphics Processing Unit, 图形处理器)：处理统一的，无依赖的大规模数据运算二、转换数据类型/设备tensor.to(*args, **kwargs)，不执行inplace module.to(*args, **kwargs)，执行inplacex = torch.ones((3, 3))x = x.to(torch.float64)x =
2020-06-02 08:06:55
550
原创 pytorch使用——（十六）模型保存与加载
1、序列化与反序列化2、PyTorch中的序列化（save）与反序列化（load）torch.save：主要参数为obj：对象；f：输出路径 torch.load：主要参数为f：文件路径；map_location：指定存放位置, cpu or gpu3、保存补充保存整个Module：torch.save(net, path) 保存模型参数：state_dict = net.state_dict()；torch.save(state_dict , path)4、断点续训练che.
2020-06-02 07:57:01
248
原创 pytorch使用——（十五）BN、LN、IN and GN
一、Why Normalization因为在深度神经网络中，数据在训练过程（前向传播）中会出出现数据尺度和分布的异常。当这些异常累积的一定程度时，就会导致训练困难。二、 常见Normalization1、种类Batch Normalization（BN） Layer Normalization（LN） Instance Normalization（IN） Group Normalization（GN）2、对比相同：不同：均值和方差求取方式三、Layer Nor..
2020-06-02 07:39:32
741
原创 pytorch使用——（十四）Hook函数
1、Hook FunctionHook函数机制：不改变主体，实现额外功能，像一个挂件，挂钩，hooktorch.Tensor.register_hook(hook) torch.nn.Module.register_forward_hook torch.nn.Module.register_forward_pre_hook torch.nn.Module.register_backward_hook2、Tensor.register_hook，功能：注册一个反向传播hook函数Hook函
2020-06-02 07:22:12
656
原创 pytorch使用——（十三）TensorBoard
1、SummaryWriter，功能：提供创建event file的高级接口class SummaryWriter(object):def __init__(self, log_dir=None, comment='',purge_step=None, max_queue=10,flush_secs=120, filename_suffix=’’)主要属性：• log_dir：event file输出文件夹• comment：不指定log_dir时，文件夹后缀• filename_suf
2020-06-02 07:11:10
262
原创 pytorch使用——（十二）学习率调整策略
一、基本概念梯度下降: ???? ????+???? = ???? ???? − LR * ????(???? ???? )学习率（learning rate）控制更新的步伐二、 具体方法1、class _LRSchedulerclass _LRScheduler(object): def __init__(self, optimizer, last_epoch=-1): def get_lr(self): raise NotImplementedErro
2020-06-02 06:56:44
318
原创 pytorch使用——（十一）优化器
一、基本概念pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签导数：函数在指定坐标轴上的变化率方向导数：指定方向上的变化率梯度：一个向量，方向为方向导数取得最大值的方向二、基本属性class Optimizer(object): def __init__(self, params, defaults): self.defaults = defaults self.state = defaultdict(di
2020-06-02 06:41:02
436
原创 pytorch使用——（十）18种损失函数总结
一、损失函数概念损失函数：衡量模型输出与真实标签的差异class _Loss(Module): def __init__(self, size_average=None, reduce=None, reduction='mean'): super(_Loss, self).__init__() if size_average is not None or reduce is not None: self.red
2020-06-02 06:24:17
6081
原创 pytorch使用——（九）池化、线性、激活函数层
一、池化1、nn.MaxPool2d，功能：对二维信号（图像）进行最大值池化nn.MaxPool2d(kernel_size, stride=None,padding=0, dilation=1,return_indices=False,ceil_mode=False)kernel_size：池化核尺寸 stride：步长 padding ：填充个数 dilation：池化核间隔大小 ceil_mode：尺寸向上取整 return_indices：记录池化像素索引2、nn.A.
2020-06-02 06:23:41
343
原创 pytorch使用——（八）卷积层
一、1d/2d/3d Convolution卷积过程类似于用一个模版去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取。卷积核学习到的是边缘，条纹，色彩这一些细节模式。卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加 卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征。 卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积二、nn.Conv2d功能：对多个二维信号进行二维卷积nn.Conv2d(in_channels,out_c
2020-06-02 06:23:16
680
原创 pytorch使用——（七）模型容器Containers
一、网络层容器Containers二、容器之Sequentialnn.Sequential 是 nn.module的容器，用于按顺序包装一组网络层。局哟如下性质：顺序性：各网络层之间严格按照顺序构建 自带forward()：自带的forward里，通过for循环依次执行前向传播运算三、容器之ModuleListnn.ModuleList是 nn.module的容器，用于包装一组网络层，以迭代方式调用网络层。ModuleList中的的主要方法：append()：在ModuleLi.
2020-06-01 21:33:50
381
原创 pytorch使用——（六）模型创建与nn.Module
1、网络模型创建步骤2、代码逻辑3、torch.nn简介4、nn.Module一个module可以包含多个子module；一个module相当于一个运算，必须实现forward()函数；每个module都有8个字典管理它的属性。具体如下：self._parameters = OrderedDict()self._buffers = OrderedDict()self._backward_hooks = OrderedDict()self._forward_hooks.
2020-06-01 21:16:02
287
转载 文献精读——（第二十一篇）语义分割模型总结（从FCN到DeepLab）
翻译自qure.ai什么是语义分割对图片的每个像素都做分类。较为重要的语义分割数据集有：VOC2012 以及 MSCO...
2020-06-01 16:20:40
641
原创 文献精读——（第二十篇）Mask R-CNN
一、文献核心Mask RCNN是Faster RCNN的扩展，对于Faster RCNN的每个Proposal Box都要使用FCN进行语义分割，分割任务与定位、分类任务是同时进行的。 引入了RoI Align代替Faster RCNN中的RoI Pooling。因为RoI Pooling并不是按照像素一一对齐的（pixel-to-pixel alignment），也许这对bbox的影响不是很大，但对于mask的精度却有很大影响。使用RoI Align后mask的精度从10%显著提高到50%，第3节将
2020-06-01 16:14:23
306
转载 文献精读——（第十九篇）RCNN到Faster RCNN
RCNN（Regions with CNN features）是将CNN方法应用到目标检测问题上的一个里程碑，由年轻有为的RB...
2020-06-01 15:50:30
234
原创 文献精读——（第十八篇）YoLo3
一、文献梳理1、文献背景YOLO即“You Only Look Once”, 是目标检测算法的一种,是采用一步算法实现目标检测的算法,比较两部算法的速度上较快.YOLO一直以速度快而见长. 识别精度比目前优秀的mask rcnn相比还有差距,但是如果在消费级的GPU上实现实时的目标检测,mask RCNN还是不能实现实时的效果,采用YOLO,尤其是YOLO3,在不牺牲太多精度的情景下,非常轻松实现实时的检测效果.2、研究成果1）模型意义YOLO 是目标检测算法中常用的一种模型,目前.
2020-06-01 15:37:47
450
转载 文献精读——（第十七篇）YoLo
目录前言一、Abstract（概括）二、Introduction（介绍）三、Unified Detection（统一检测）1、Network Design（网络设计）2、Training（训练）3、Inference（推论）4、Limitations ...
2020-06-01 15:02:42
713
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人