- 博客(33)
- 收藏
- 关注
RSS订阅转载 关于交叉熵在loss函数中使用的理解
转载自：https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够
2020-07-27 16:35:12
369
1
原创 TensorFlow的数据并行读取：reader, decode, 与 batch_join
为了实现TensorFlow的数据并行读取，我们常常为将一个tensor list传入batch_join函数，该函数会为list中的每个元素开一个新线程进行数据读取。构建tensor list的方法有很多：新开很多个reader，开一个reader然后新开很多个decoder，甚至新开很多个reader并新开很多个decoder。它们的并行效果是不同的。
2020-05-27 17:25:26
611
转载 tensorflow分布式训练
tensorflow分布式训练博客：http://blog.csdn.net/hjimce微博：黄锦池-hjimce qq:1393852684情况一、单机单卡单机单卡是最普通的情况，当然也是最简单的，示例代码如下：#coding=utf-8#单机单卡#对于单机单卡，可...
2020-05-26 20:22:28
353
原创 Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
本文主要记录了这篇文章的主要方法和贡献，以及个人的一些思考和想法，欢迎讨论！最开始是在语雀写的，导出后可能格式有点问题，欢迎移步语雀：https://www.yuque.com/docs/share/fee366de-68ba-4254-9a57-cccfe3edd356?#Alibaba, KDD 2019https://arxiv.org/abs/1905.09248Contribution解耦了用户兴趣捕捉模块，UIC traffic request Vs. t...
2020-05-26 09:51:21
715
原创 V4d:4d Convolutional Neural Networks For Video-level Representation Learning
本文是一篇ICLR2020的文章文章地址：http://xxx.itp.ac.cn/abs/2002.07442Open Review:https://openreview.net/forum?id=SJeLopEYDHBackground对于视频分类、动作识别等任务来说，如何简洁、高效地建模时序信息一直是重要的研究问题。3D-CNN的提出虽然提供了一个时序建模的方案，但是它的运算...
2020-03-01 12:44:49
3216
2
原创 CNN发展相关问题
Inception 系列的发展与区别从Inception v1到Inception-ResNet，一文概览Inception家族的「奋斗史」 - 机器之心的文章 - 知乎https://zhuanlan.zhihu.com/p/37505777Inception V1:采用了多尺寸卷积核提取特征后融合的“加宽”设计。采用了两条辅助的中间层softmax分类器，用以改善梯度消失的问题...
2020-02-23 12:53:06
378
原创 CNN发展
> 参考：CNN系列模型发展简述（附github代码——已全部跑通） - KevinCK的文章 - 知乎 https://zhuanlan.zhihu.com/p/66215918演变LeNet：2个卷积3个全连接，最早用于数字识别AlexNet：12年ImageNet冠军，5个卷积3个全连接，多个小卷积代替单一大卷积；使用...
2020-02-20 12:20:30
411
原创 计算机视觉面试题复习
CNN在图像上表现好的原因相比于手工特征，CNN可以采用数据驱动的方式学习特征提取，能够提取到更好更丰富的特征。深层网络可以拟合更复杂的计算，从而提取更复杂更抽象的特征。相比于普通深度神经网络，卷积核共享参数，充分利用图像上的空间局部性，因此具有参数共享和稀疏连接两条优点，不容易过拟合。CNN中的池化层还使网络具有平移不变性的特性。参数共享： 不同图像区域用的卷积核共享一...
2020-02-20 11:49:21
699
原创 Attention 机制
Attention是一种近年来较为流行的机制，广泛地在自然语言处理、计算机视觉等领域应用。它的作用机制易于人类理解——给重要区域更多的注意力。但是，如何判断什么是“重要”的？注意力又是如何影响决策的？本文将尝试细致理解Attention机制及其几个典型变种，以期真正理解attention机制并得以在今后灵活运用和改进。
2020-01-08 00:23:56
316
原创 科研经验与习惯——2019年末课题组总结
年末老师组织几个课题组进行了2019年的总结，总结了一下科研过程中的经验与习惯，这里做一个整理。内容包括：关于创新点寻找、关于论文阅读、关于实验部分、关于合作、关于rebuttal。
2019-12-25 17:51:01
745
原创 [ICCV2019] Co-segmentation Inspired Attention Networks for Video-based Person Re-identification
这篇文章提出了一种Co-Segmentation Inspired Attention模块，用于专注于视频中的人像主体，忽略背景信息的干扰。本质上这是一篇将non-local模块，或是temporal self-attention机制应用于video-reid的文章，但相较于其他应用non-local在video-reid的文章来说，它的分析较为详尽。
2019-12-19 20:51:38
952
原创 Denoise: from image to point cloud
在掠读ICCV2019论文集的过程中，读到[Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning]，觉得这篇文章在写作上写的很漂亮，并且把 Denoise 问题的脉络介绍的详细清晰。因此在这里基于这篇文章对 Denoise 做一个领域梳理。...
2019-12-12 10:31:28
1192
1
原创 SegNet 速览笔记
SegNet用于做图像语义分割。比以往神经网络要训练参数更少、速度更快、memory需求更低。Architecture总体上是encoder-decoder的结构。 encoder采用了与VGG16网络相同的13层卷积层，decoder由上采样和卷积层构成。 每一个encoder和一个decoder对应。
2017-07-07 15:08:25
1964
原创 Batch Normalization —— 加速深度神经网络收敛利器
Batch Normalization 提出自《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。其效果主要是加速网络收敛速度，并简化超参数的调节。
2017-07-07 15:02:18
3894
转载 主成分分析（PCA）原理详解
转载自：http://blog.csdn.net/zhongkelee/article/details/44064401一、PCA简介1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解方面的项目，所以记录一下心得体会。 在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量
2017-06-27 00:45:49
459
转载 机器学习中的偏差和方差
在统计学习框架下，大家刻画模型复杂度的时候，有这么个观点，认为Error = Bias +Variance。这里的Error大概可以理解为模型的预测错误率，是有两部分组成的，一部分是由于模型太简单而带来的估计不准确的部分——偏差（Bias），另一部分是由于模型太复杂而带来的更大的变化空间和不确定性——方差（Variance）。
2017-05-30 22:07:23
1001
原创 二元回归解决图像恢复问题（图像去噪）
对于本次实验，进行了多次方法的更新迭代，最终使用多变量固定窗口二元高斯回归方法，自我测试效果达到：0.8噪音比下，原受损图像距离774.9727，处理后距离33.2362；0.6噪音比下，原受损图像距离671.1107，处理后距离20.1649；与一元线性回归相比提升三分之一以上。效果良好。
2017-05-23 20:36:38
6327
2
转载 向极限挑战的熵编码——算术编码
Huffman 编码使用整数个二进制位对符号进行编码，这种方法在许多情况下无法得到最优的压缩效果。假设某个字符的出现概率为 80%，该字符事实上只需要 -log2(0.8) = 0.322 位编码，但 Huffman 编码一定会为其分配一位 0 或一位 1 的编码。可以想象，整个信息的 80% 在压缩后都几乎相当于理想长度的 3 倍左右，压缩效果可想而知。难道真的能只输出 0
2017-03-24 03:09:20
1026
原创 Draco代码分析(一) —— Encode过程&探究其数据编码方式
Draco encode过程代码分析 - 探究其数据编码方式IntroductionDraco是谷歌在2017年1月发布的一个3D图形开源压缩库，提供了多种算法进行压缩和解压缩。 对于encoder过程，Draco整体思路是将网格的连接信息和几何信息进行分别编码并进行存储。 其中，连接信息使用了edgebreaker等算法进行了编码压缩，几何信息对数据进行量化、预测压缩、熵编码。其中熵编码采用了
2017-03-19 13:30:39
5561
2
转载 什么是P问题、NP问题和NPC问题
转载自Matrix67这或许是众多OIer最大的误区之一。 你会经常看到网上出现“这怎么做，这不是NP问题吗”、“这个只有搜了，这已经被证明是NP问题了”之类的话。你要知道，大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题，NPC问题才是。好，行了，基本上这个误解已经被澄清了。下面的内容都是在讲
2016-06-12 15:31:24
677
原创 Skew Heaps 习题解
本文介绍另一种优化堆合并操作的数据结构。Skew Heaps 是左式堆的简化版，它没有Npl属性，每次合并后无条件交换左右子树。这样虽然不能严格保证合并操作的时间复杂度是O(logN)，但摊还代价是O(logN)。本文将进行摊还分析的证明，并给出相关题目的分析。摊还分析题目分析 The result of inserting keys 1 to 2k−12^k -1 for any k>4 in
2016-06-04 22:00:17
4952
原创 Leftist Heaps 习题解
Leftist Heaps （最左堆）是一种用于快速合并的数据结构，是堆的一种变种。它的合并操作只需花费O(logN)的代价。 对于二叉堆来说，两个堆合并是非常昂贵的操作，这将耗费O(N)的时间，与重新建堆的时间相同。为了应对优先队列的Merge操作，我们从本篇开始将介绍包括最左堆（又叫左式堆）在内的三种数据结构。 本篇将介绍相关题目。 证明 二叉堆的合并需要耗费O(N)的代价 二叉
2016-06-02 23:17:06
5238
原创 Inverted File Index 文件倒排索引 课件理解与习题解
倒排索引是一种文件搜索的方式，它是搜索引擎实现的基础。它将文件内容中的词建立成索引，以此为依据搜索符合条件的文件。本文将根据高级数据结构课程课件简要介绍文件倒排索引的建立及其特点，然后重点进行pta中的题目分析。
2016-06-01 23:12:15
5377
原创 B+树 习题解
B+树是一种n叉树，它将所有数据存在一个level中。B+ 树的特点是能够保持数据稳定有序，其插入与修改拥有较稳定的对数时间复杂度。因此B+树被应用于数据库和操作系统的文件系统中。 B+树的理解没有红黑树这么复杂，本文将首先简要介绍B+树，然后分析B+树的先关题目。本文重点是最后一部分。
2016-06-01 17:33:18
6079
1
原创 Red-Black Trees 红黑树
红黑树是另一种自平衡二叉查找树。它通过较为复杂的调整，实现一种“局部平衡”。它的性能较为高效，应用广泛，被应用于linux内核进程调度，实现关联数组等。 本文将首先介绍红黑树的特点及其与AVL树的比较，然后说明红黑树的实现方式，评价红黑树的性能，最后对红黑树进行实践。红黑树的特点 本节将整体介绍红黑树的特点，目的是探究红黑树的特点和优异之处。完全不了解红黑树的读者可以先跳过本节，在阅读完红黑树
2016-05-29 09:40:22
1206
原创 Amortized Analysis 摊还分析
Amortized Analysis摊还分析考察一个操作序列中所执行的所有操作的平均时间，来评价操作的代价。这个操作序列中也许某一操作的代价很高，但因为还有其他操作，所以这些操作的平均代价并没有那么高。 本文将首先将这种代价分析方式与最坏情况时间复杂度和平均时间复杂度两种方式进行区分，然后通过一篇其他人的博文说明摊还分析的三种方法，并对三种方法进行简要总结，最后对摊还分析方法进行实践。对比摊还分析
2016-05-27 15:58:22
3572
原创 Splay Trees 学习笔记
Splays Trees 也是一种二叉搜索树，用于提高连续搜索的效率。Splay Trees 通过将被访问到的节点放于根，提升访问速度。 它与AVL Trees 的效果有所区别。AVL树通过使树balanced降低树的高度至logN，从而使得单次搜索的复杂度为O(logN)。而Splay Trees则通过每次将被访问到的节点置于根，使得m次连续搜索的复杂度为O(mlogN
2016-05-27 09:28:10
3655
原创 AVL Trees 学习笔记
AVL Trees 是一种特殊的二叉搜索树，它的作用是通过自我调整，让整棵树保持平衡，从而降低整棵树的高度，以提高查找效率。 本文将首先介绍AVL Trees，然后介绍它的实现方法，性能评估，最后分析题目。 Introduction特点通过自我调整使树趋于平衡，降低树的高度，提高搜索效率本质二叉搜索树变化相比于二叉搜索树，有两个变化，一是每个节点增加了BF属
2016-05-26 12:19:05
4221
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人