- 博客(55)
- 资源 (4)
- 收藏
- 关注
RSS订阅翻译 模型训练的性能优化方法
文章翻译自VADIM IRTLAC大佬的文章，用于解决模型训练时显存和速度的优化。原文请👇Optimization approaches for Transformers | Kaggle
2023-02-14 17:47:03
1501
原创 低分辨率人脸识别--蒸馏法《Low-resolution Face Recognition in the Wild via Selective Knowledge Distillation》
针对低分辨率图像识别，模糊图像识别。蒸馏法提出了一个新的解决思路
2023-02-07 16:02:49
665
2
原创 jieba-analysis java内存占用高
最近项目用到了jieba分词和关键词提取，由于python版本性能较差转到了java版本。github地址：GitHub - huaban/jieba-analysis: 结巴分词(java版)测试关键词提取发现处理50万条数据内存居高不在有9个g，后来定位到了分词模块(关键词提取首先要对文本分词)，循环50万次发现内存居高不下。用MAT工具分析了一番，发现占用最大的对象也只有72m, 离9g差的远。尝试执行jar包的时候限制内存解决：java -Xms512m -Xmx512m jieba-analysi
2022-06-22 20:58:57
447
原创 jieba中的正则表达式
jieba是一个十分常见的自然语言处理包，功能包括：分词，提取关键词等等，具体看他们的官方页面，下面以jieba中的正则表达式为例子，介绍一些常见的正则公式GitHub - fxsjy/jieba: 结巴中文分词https://github.com/fxsjy/jiebare_userdict = re.compile('^(.+?)([0-9]+)?([a-z]+)?$', re.U)该正则项是jieba加载自定义函数load_userdict过滤文本使用，下面看看效果结果：word = '新灌病毒
2022-06-14 17:22:38
843
原创 KeyBERT进行中文关键词提取
原文链接KeyBERTLeveraging BERT to extract important keywordshttps://maartengr.github.io/KeyBERT/index.html使用BERT进行中文关键词提取1.安装keyBertpip install keybert2.安装中文分词器-jiebapip install jieba3.提取中文关键词3.1 文本转化成词共现矩阵from sklearn.feature_extraction
2022-04-28 19:41:45
6396
11
原创 GPU视频压缩2—Multiple Layer Parallel Motion Estimation on GPU for High Efficiency Video Coding (HEVC)
本系列记录使用GPU作为计算设备辅助传统视频压缩(H264/HEVC/VVC等)的相关论文，GPU可能用于视频压缩的某个中间环节也可能用于压缩整流程。论文：《Multiple Layer Parallel Motion Estimation on GPU for High Efficiency Video Coding (HEVC)》原文链接：速看创新点:摘要本文提出了用于HEVC的GPU版多层并行运动估计ME框架。框架为分层结构，包含四层：编码树单元CTU，预测单元PU，运
2022-01-24 17:32:25
2316
原创 GPU视频压缩1—Flexible CTU-level parallel motion estimation by CPU and GPU pipeline for HEVC
本系列记录使用GPU作为计算设备辅助传统视频压缩(H264/HEVC/VVC等)的相关论文，GPU可能用于视频压缩的某个中间环节也可能用于压缩整流程。论文：《Flexible CTU-level parallel motion estimation by CPU and GPU pipeline for HEVC》原文链接：Flexible CTU-level parallel motion estimation by CPU and GPU pipeline for HEVC | IEEE
2022-01-21 11:44:30
2916
原创 监控视频压缩5—A FAST BACKGROUND MODEL BASED SURVEILLANCE VIDEO CODING IN HEVC
论文：《A FAST BACKGROUND MODEL BASED SURVEILLANCE VIDEO CODING IN HEVC》原文链接：摘要1. 简介相同视频质量下，HEVC相比H.264可以节省40%左右码流。主要原因是HEVC的帧间预测复杂度增加了60%~70%左右的编码时长。监控视频数据量巨大，减少编码复杂度就很重要。本文提出了一种基于背景模型的快速算法来加速监控视频的搜索过程。本文分析了不同块切分的比例和多种类型块的参考帧，将分析结果用于设计最优模式选择和参考帧选择框架
2022-01-20 12:27:34
2268
原创 监控视频压缩4—Fast ROI-Based HEVC Coding for Surveillance Videos
摘要本文提出了一个快速ROI HEVC视频编码系统。首先，使用自动分割生成ROI mask。然后该mask被用到四叉树的块拆分算法中，然后使用率控制算法减少非ROI区域的计算量。对于非ROI区域压缩使用下面两步：快速预测模式选择和快速编码单元CU深度级选择。使用基于ROI的率控制算法。不同区域的比特分配是基于整图的ROI区域比例进行的。...
2022-01-18 17:46:56
1859
原创 监控视频压缩3—CODEC INDEPENDENT REGION OF INTEREST VIDEO CODINGUSING A JOINT PRE- AND POSTPROCESSING FRAME
论文：《CODEC INDEPENDENT REGION OF INTEREST VIDEO CODING USING A JOINT PRE- AND POSTPROCESSING FRAMEWORK 》1 摘要对于低比特场景，传统视频编码无法同时满足低比特率和高质量。相对于ROI编码方法通过仅提升ROI区域的质量得到了高效的压缩比。本文不仅传输ROI区域，并且通过全局运动补偿来重建非ROI区域。之前的ROI编码系统修改了视频编码来控制独立块的编码，本文提出了编码和ROI独立的前后处理
2022-01-14 17:46:36
786
原创 监控视频压缩2—Block-Composed Background Reference for High Efficiency Video Coding
原文链接：Block-Composed Background Reference for High Efficiency Video Coding | IEEE Journals & Magazine | IEEE Xplore摘要 本文提出了一种用于HEVC的基于块的背景参考方法。对于一组GoP，第一个重建帧作为初始的背景参考，因此它很可能包含前景内容。在后续的编码中，一些背景编码块（CTU）压缩程度会更大。这些重建的CTU单元用来更新背景参考同时替换掉前景内容。最终，将会...
2022-01-05 16:04:31
1250
1
原创 监控视频压缩1—INSTANCE SEGMENTATION BASED BACKGROUND REFERENCE FRAME GENERATIONFOR SURVEILLANCE VIDEO CODI
原文链接：摘要对于监控视频系统来说，最重要的两个模块是智能分析和视频压缩。传统的监控系统中对于两项任务都是分别处理的，导致效率低下。论文提出将两项任务混合处理的方法，既能高效分析又能提高压缩效率，即提取的语义信息不仅用于智能分析任务，还可以用于构建背景参考帧（Background Reference Frame，BRF）。本文提出的方法通过移除监控视频的背景冗余来获取高质量的BRF，其中运动度量和语义度量确保生成背景块的准确性。通过实验也证实了本文方法的有效性。简介近年来监控视频数据
2022-01-05 12:05:50
2037
原创 Transformer由来——A Tutorial of Transformers课程笔记
代码： 本文提出了transformer，避开了递归的结构而完全依赖于注意力机制，一种吸引输入和输出之间全局依赖关系的注意机制。模型结构 大多数有竞争力的神经序列转换模型都有编码器—解码器结构。编码器将输入的序列(x1,...,xn)映射为连续的信号表示(z1,...,zn)。有了Z后，解码器生成输出序列(y1,...,ym)。每一步，模型都是自动递减的，当需要计算/生成下一个信号时 就用之前生成的信号作为额外的输入。这个思想的示意图如下所示：我 .........
2021-07-29 10:50:45
797
原创 Transformer第三节——ViT
论文：https://arxiv.org/abs/2010.11929代码： ViT是transformer在CV领域的重要著作之一，将Transformer直接迁移到分类任务上，并且完全没有用到CNN，在分类任务中表现很好，尤其是大型训练集。下面聊聊ViT。整体结构1，选择怎样的Transformer网络及其变体作为ViT---(视觉分类任务)的初始结构？先介绍Transformer都有哪些经典变体。按照Transformer结构可以很直接的把这样的网......
2021-07-28 14:25:04
1829
原创 AICIty-ReID 2020 Going Beyond Real Data: A Robust Visual Representation for VehicleRe-identification
论文：代码：https://github.com/layumi/AICIty-reID-2020该文章是CVPR 2020 Vehicle ReID赛道的第一名方案。1. 简介本文作者旨在解决三个问题。1） 如何设计一个有效的车辆 reid 网络；2) 如何结合特定任务进一步提升网络性能；3) 当有多个reid网络，如何进一步提升整体性能2. 相关工作在车辆reid领域...
2021-02-19 18:03:21
482
原创 AICIty-ReID 2020 Multi-Domain Learning and Identity Mining for Vehicle Re-Identification
论文：https://arxiv.org/abs/2004.10547代码：https://github.com/heshuting555/AICITY2020_DMT_VehicleReID该文章是CVPR 2020 Vehicle ReID赛道的第三名方案。1. 简介基线模型选择：使用person ReID的开源模型: strong baseline with bag of tricks (BoT-BS)，该方案在车辆ReID的开源集Veri-776达到了79.9% mAP， 本文.
2021-02-08 17:59:25
701
原创 AICIty-ReID 2020 VOC-ReID: Vehicle Re-identification based on Vehicle-Orientation-Camera
链接：https://arxiv.org/pdf/2004.09164.pdf代码：https://github.com/Xiangyu-CAS/AICity2020-VOC-ReID该文章是CVPR 2020 Vehicle ReID赛道的第二名方案，下面从数据预处理、网络模块以及后处理三个方面简单的介绍下本文的思想：1. 数据预处理数据增强模块：作者通过观察训练集发现数据集中车体图背景区域占比较大，所以车体图是可以进一步裁剪的，在这里作者使用模型推理得到的车体图heatmap作基准朝
2021-02-04 22:31:29
559
原创 ffmpeg+NVIDIA GPU环境搭建
参考官方文档：https://developer.nvidia.com/blog/nvidia-ffmpeg-transcoding-guide/https://docs.nvidia.com/video-technologies/video-codec-sdk/ffmpeg-with-nvidia-gpu/index.htmlFFMPEG支持使用NVIDIA GPUs进行下列硬件加速：H.264 HEVC 硬编码 H.264, HEVC, VP9, VP8, MPEG2, MPEG4..
2021-01-19 10:16:31
892
原创 X265参数选项
x265是一个用于编码符合高效率视频编码（HEVC/H.265）标准的视频的开源自由软件及函数库.下面介绍X.265核心模块的参数。一、二、三、四、五、六、七、时序/运动搜索选项--max-merge--me--temporal-mvp--subme--merange--weightp， --no-weightp 开启P帧的权重预测。允许超前的权重分析，会影响slice选择，允许主编码器（允许P帧参考样本有一个权重函数）中进行权重分析用于运动补..
2021-01-04 18:02:18
1381
原创 视频编码第一节：H.265/HEVC原理——入门
写在开头： 最近工作原因接触了视频编码方面的技术，觉得有必要对经典的H.265/HEVC视频编码技术了解学习，开这个版块的博客目的一方面作为学习笔记，另一方面希望能多和大家一起沟通交流，有任何不足/不对的地方，还请大家多多指教。 这个系列首先介绍H.265/HEVC视频编码主要框架，之后介绍大框架下几个关键的模块以及关键的知识点。1,H.265/HEVC视频编码框架从根本上来说，H.265/HEVC视频编码标准的编码框架相比之前的H.264等并没有革命性的改...
2020-12-24 22:01:17
1403
原创 深度学习环境搭建——cuda ,cudnn
2，安装环境安装显卡驱动和cuda问题1：提示yum被锁上解决：rm -rf /var/run/yum.pid问题2：找不到 kernal headerFailed to run `/usr/sbin/dkms build -m nvidia -v 410.73 -k 3.10.0-862.el7.x86_64`: Error! echoYour kernel...
2020-12-24 21:48:14
272
原创 深度学习视频压缩1—DVC: An End-to-end Deep Video Compression Framework
本文是第一篇端到端使用神经网络来进行视频压缩的论文，github地址：https://github.com/GuoLusjtu/DVC论文地址：https://arxiv.org/pdf/1812.00101.pdf各个领域的第一篇，还是值得精读的～摘要 传统的视频压缩方法使用预测的编码结构，并对相应的运动信息和残差信息进行编码。本文，利用了传统视频压缩方案的经典架构和神经网络的非线性表示能力，提出了第一个端到端的视频压缩深度模型 并且同时对视频压缩的所有模块网络进行统...
2020-11-23 23:16:59
4112
原创 深度学习视频压缩2——OpenDVC: An Open Source Implementation of the DVC Video Compression Method
提到视频压缩就不得不说第一篇端到端的视频压缩方案：DVC: An End-to-end Deep Video Compression Frameworkgithub地址：https://github.com/GuoLusjtu/DVC论文地址：https://arxiv.org/pdf/1812.00101.pdf但是这个github里没有训练代码，只有前向推理代码，于是有大牛复现了下这篇文章，并作了些改动出了篇技术报告OpenDVC: An Open Source Implementati
2020-10-27 09:50:00
1902
2
原创 深度学习视频压缩3——M-LVC: Multiple Frames Prediction for Learned Video Compression
《M-LVC: Multiple Frames Prediction for Learned Video Compression》代码：https://github.com/JianpingLin/M-LVC_CVPR2020论文：https://arxiv.org/abs/2004.10290摘要视频压缩方法DVC在预测当前帧时主要参考帧只选择了前面的一帧，本文的方法考虑前序多帧作为参考帧。所以当有多帧作为参考帧时相比单帧作为参考帧就能有更精确的预测结果，并且有更少的残差冗余。此外，采用多
2020-10-19 09:34:53
2643
4
原创 深坑cudnn PoolFoward launch failed
网上关于这个错误的解决方案有：方案1，tf老版本需要升级，安装nightly版本方案2，tf是个贪心的框架，需要修改对GPU的配置，比如该链接https://ask.csdn.net/questions/714365方案3，画重点，一样的现象是不同的问题根源。具体情况需要具体分析： 最近由于项目需要使用tf-gpu 12.0版本，依赖cuda9.0，但是环境里已经有cuda10，于是安装了两个版本（cuda9和cuda10并存），安装cuda9后理所当然的下载了cuda9对...
2020-10-15 17:13:18
1479
1
原创 语义分割——PSPNet
《Pyramid Scene Parsing Network》大名鼎鼎的PSPnet, 2016年ILSVRC'16 MIT Scene Parsing Challenge冠军。原文请戳https://arxiv.org/abs/1612.01105基于像素级别的预测任务比如场景解析或者语义分割，最先使用卷积层替换分类任务中的全连接层得到了较好的效果(Fully Convolutiona...
2019-10-24 09:23:30
591
原创 语义分割——FCN
《Fully Convolutional Networks for Semantic Segmentation》FCN架构：FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样， 使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。最后逐个像素计算softm...
2019-10-24 09:06:28
765
原创 蒸馏法——人脸识别
1，Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification1）初始化策略：1.1）使用softmax损失先进行预训练优化，2) 对于非分类任务的蒸馏法损失函数如下所示：其中第一项是特定任务的损失函数，第三项是特定任务的蒸馏损失项，第二项...
2019-10-24 08:58:09
1439
原创 蒸馏法第三节——蒸馏法&检测任务
【1】G. Chen, W. Choi, X. Yu, T. Han, and M. Chandraker. Learning efficient object detection models with knowledge distillation. In Advances in Neural Information Processing Systems,pages 742–751, 2017...
2019-07-12 08:37:33
701
原创 蒸馏法第二节——蒸馏法&分类任务
【1】A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta,and Y. Bengio. Fitnets: Hints for thin deep nets. arXiv preprint arXiv:1412.6550, 2014 ——分类任务创新点：不仅仅考虑了教师模型的输出层，还同时考虑神经网络的中间隐层，并且在中间层中加入了一...
2019-07-12 08:07:09
735
原创 蒸馏法第一节——从头说起 Distilling the knowledge in a neural network
论文：G. Hinton, O. Vinyals, and J. Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015. hinton大神2015年发表的蒸馏法，可以说掀起了一阵风潮啊～～本人很喜欢hinton大神的文章，当年SDAE看完也是这...
2019-05-28 17:46:52
574
原创 蒸馏法文章选读——Correlation Congruence for Knowledge Distillation
7, Correlation Congruence for Knowledge Distillationhttps://arxiv.org/abs/1904.018021)，创新点：原始的蒸馏法只是用学生网络的某个向量去拟合教师网络的该向量，无论是kl散度还是欧式距离，只是向量之间的映射；但是由于教师网络和学生网络本来的差异性，所以不应该仅仅学习教师网络和学生网络单个样本向量间差异，还应该...
2019-05-06 17:34:07
2306
原创 BN——Batch Norm原理Batch Normalization,Accelerating Deep Network Training
参考论文“Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift“1，深度网络训练在实际中是复杂的，在训练期间，随着前面层参数的变化，每一层输入分布也会随之发生变化（不是真实的输入分布）。——>内部协方差偏移这使得训练会变得更慢，所以需要...
2019-04-30 11:33:52
568
原创 深度学习问题检查——训练出现nan, loss不降
一、训练出现nan的原因https://blog.csdn.net/ch07013224/article/details/803243731，检查数据。数据的label有无错误。 制作lst修改过标签2，检查参数。保存的网络层和损失层所有的参数3，检查是否有分母为0，或者log里为负数或者0，softmax里的exp是否太大，根号是否有负数1.如果在迭代的100轮以内...
2019-04-30 11:20:12
3268
原创 Jupyter入门
由于之前使用deepdive和snorkel，用到了jupyter，所以这里笔记记录下。https://www.cnblogs.com/nxld/p/6566380.htmlJupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。1，在命令行执行jupyter notebook，打开下面蓝色的链接...
2019-04-30 09:09:56
233
原创 SDAE训练流程和代码实现(Matlab)——咬文嚼字系列
SDAE（stacked denoised autoencoder ，堆栈去噪自编码器）是vincent大神提出的无监督的神经网络模型，论文：Stacked Denoising Autoencoders: Learning Useful Representations ina Deep Network with a Local Denoising Criterion，原文作者从不同角度解释...
2018-06-28 14:48:29
8909
23
原创 Lenet5设计理解——咬文嚼字系列
最近在看lecun大神的这篇经典文章：“Gradient-Based Learning Appliedto Document Recognition”，文章较老，但是对于lenet5的一些基础概念讲解浅显易懂，本文主要对lenet5的架构和设计讲一些我的粗浅理解，对一些问题写一些我的看法，同时我也提出了一些自己的疑惑，才疏学浅希望能和各位一起讨论。这里再说一点我最近看博客的想法：对任何...
2018-03-30 16:05:12
4496
4
SDAE - 副本.zip
2019-06-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人