- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 深度学习：多任务学习-几篇综述简介
文章目录1. An Overview of Multi-Task Learning in Deep Neural Networks2. MULTI-TASK LEARNING WITH DEEP NEURAL NETWORKS: A SURVEY1. An Overview of Multi-Task Learning in Deep Neural Networks这篇文章完整翻译了一下，见https://blog.csdn.net/qq_38290475/article/details/1142834
2021-03-05 16:23:52
1270
翻译 综述翻译：多任务学习-An Overview of Multi-Task Learning in Deep Neural Networks
多任务学习已经在机器学习的很多领域取得成功，包括自然语言处理、语音识别、计算机视觉和药物发现。本文旨在给出多任务学习的概述，尤其是在深度神经网络方面的多任务学习。本文介绍了深度学习中两种最常用的多任务学习方法，给出了这方面的概述，并讨论了最新进展。特别是，它通过阐明多任务学习的工作原理并提供选择适当辅助任务的指南来帮助机器学习从业者应用多任务学习。
2021-03-02 17:07:44
2128
原创 Python信号处理：cvxpy工具包求解稀疏约束优化问题
摘要：MATLAB中的CVX工具包十分强大，信号处理中的各种波束形成问题、压缩感知问题都可以转化为凸优化的标准格式，然后通过工具箱直接求解。Python中的cvxpy也是由CVX团队开发的，但用起来好像没CVX那么强大(主要是复数的问题)，这里简单介绍了cvxpy工具包的使用，并将其用于求解稀疏约束的优化问题。不会对原理进行介绍，上来就是调包。
2020-06-28 10:00:16
5932
6
原创 Python信号处理：波束形成及目标方位估计，CBF、MVDR
摘要：一直以来都是用MATLAB做信号处理，得到预处理的特征后再用Python进一步应用神经网络之类的方法。这里利用Python实现了常规波束形成(CBF)、MVDR波束形成以及波束扫描方位估计。本文实现的都是窄带波束形成，一种简单的宽带波束形成方法时直接将不同频率的窄带输出相加，比较容易扩展。
2020-06-28 09:56:55
9932
5
原创 Python信号处理：自相关函数(对标MATLAB中的autocorr)
摘要：Python中，更确切地说是numpy、scipy、statsmodels这些库中都有计算相关的方法。但numpy和scipy中的correlate方法的定义和MATLAB中的不同，导致计算结果不太一样。看上去MATLAB和statsmodels里都是用的标准的统计中的定义——皮尔森相关系数，而numpy和scipy中使用的是非正式的信号处理中的定义，需要均值为0，且计算结果需要归一化，才会得到差不多的答案。
2020-06-28 09:45:44
13890
3
原创 Python信号处理：快速傅里叶变换(FFT)，短时傅里叶变换(STFT)，窗函数，以及滤波
摘要：一直以来都是用MATLAB做信号处理，得到预处理的特征后再用Python进一步应用神经网络之类的方法。这里将MATLAB中的FFT、STFT、加窗以及带通滤波通过Python接口实现，防止以后MATLAB用不了了，一定程度上也提高了效率，不用两个软件换来换去。
2020-06-28 09:38:47
15110
原创 安装gym时遇到问题
直接pip安装gym后，使用LunarLander出现如下报错：module ‘gym.envs.box2d’ has no attribute ‘LunarLander’发现需要安装box2d和box2d-kengz，然后就遇到了很多的问题。error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Vis...
2020-03-29 13:48:31
1325
1
原创 深度学习：深度压缩感知-从ISTA到LISTA及其pytorch实现方法
摘要：传统的压缩感知方法在重构时的速度通常比较慢。通过将深度学习和压缩感知结合，可以大大提高重构速度。Learned Iterative Shrinkage and Thresholding Algorithm (LISTA)应该是用深度学习方法求解压缩感知最早的方法，本文简单总结一下LISTA，并给出ISTA和LISTA的具体实现，分别使用Python和Pytorch，并对仿真的稀疏信号进行重构。
2020-03-05 21:17:43
15931
96
原创 深度学习：多标签学习-论文阅读(CNN-RNN、Rethinking Structure)
摘要：多标签分类问题中，要想提高预测性能，需要充分利用好标签之间的相互依赖。文献【1】指出可以利用RNN的中间状态来表示标签之间的关系，提出CNN-RNN framework来学习标签之间的依赖关系以及样本-标签之间的关系，文献【2】进一步开发RNN的记忆能力，提出Rethinking Structure学习标签之间的关系，同时使用一种标签敏感的代价函数进行训练。本文对两篇文献的主要思想进行总结。
2020-03-04 09:18:40
3110
2
原创 深度学习：深度复数网络(Deep Complex Networks)-从论文到pytorch实现
实数网络在图像领域取得极大成功，但在音频中，信号特征大多数是复数，如频谱等。简单分离实部虚部，或者考虑幅度和相位角都丢失了复数原本的关系。论文按照复数计算的定义，设计了深度复数网络，能对复数的输入数据进行卷积、激活、批规范化等操作。在音频信号的处理中，该网络应该有极大的优势。这里对论文提出的几种复数操作进行介绍，并给出简单的pytorch实现方法。
2020-03-03 14:04:49
19292
53
原创 以压缩感知问题为例介绍利用神经网络的Learning to learn方法
利用近端梯度下降算法，给出求解压缩感知问题的迭代软阈值和迭代硬阈值算法，并将迭代硬阈值算法通过Learning to learn方法进行改进，利用深度神经网络的模型进行学习.
2020-02-27 10:29:45
1078
3
原创 机器学习：多标签学习及skmultilearn库
多标签(multi-label)学习方法解决的是一个实例同时具有多个标签的学习问题。本文总结几个经典的多标签学习方法及度量指标，并基于sklearn的给出具体实现过程。
2020-02-23 19:54:24
6055
4
原创 Matlab使用：使用GPU加速计算
Matlab程序的运行效率，很大程度上决定着科研工作的效率。在Matlab中，将多重循环变为矩阵运算无疑是效率最高的方法。如果机器有**NVIDIA**的显卡，那么可以通过GPU进一步提高程序的运行效率。
2020-02-21 22:50:55
5346
原创 深度学习：卷积神经网络-类激活图可视化
摘要：本文介绍一种卷积网络的可视化方法，类激活图可视化。使用预训练的VGG16模型，对一张网上随便找的动物图片进行分析，并将生成的热力图与原图像结合观察网络模型的分类依据。使用Keras框架。
2020-01-27 15:20:29
3940
2
原创 深度学习：生成对抗网络-论文阅读(GAN，CGAN，DCGAN和pix2pix的总结)
从本质上来说，生成对抗网络（GAN）是一种特殊的损失函数。
2020-01-17 16:15:57
2436
原创 深度学习：正则化-多任务学习
摘要：首先简单介绍多任务学习的方法，然后结合【1】给出权重自适应变化代价函数的原理与论文源码进行实现。使用Keras框架。
2019-12-22 20:56:28
1573
原创 深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现
摘要：文献【1】中除了权重衰减还利用了余弦退火(Cosine Annealing)以及Warm Restart，本文介绍这两种方法的原理及numpy和Keras的实现方法，其中Keras实现中继承回调函数Callbacks。
2019-12-15 15:00:54
15303
5
原创 深度学习：正则化-权重衰减-(2). AdamW实现
摘要：第一部分中解释了权重衰减及其现有框架实现的不合理处，这部分从源码出发，在不影响原始Adam优化器使用的情况下添加解耦权重衰减。使用Tensorflow框架。
2019-11-16 20:26:50
3244
2
原创 深度学习：正则化-权重衰减-(1). 原理及实现
摘要：介绍权重衰减的基本原理，及其和$L_2$正则化的不同，并分别给出$L_2$正则化和权重衰减的Tensorflow实现方式。使用两者能够等效的随机梯度下降作为例子说明两者的不同。在使用一些自适应优化算法时最好使用解耦的权重衰减而不是$L_2$正则化。
2019-11-08 12:54:30
1970
原创 numpy中的数组和矩阵乘法
numpy中的数组和矩阵乘法。直接乘：数组为对应元素乘，矩阵为矩阵乘法；multiply：都是对应元素相乘；dot：都是矩阵乘法
2019-03-21 12:37:49
943
原创 超参数优化以及实践方法论
超参数优化以及实践方法论(待续)主要参考：《Deep Learning》《neural network and deep learning》(ng)《neural networks and deep learning》(by Michael Nielsen)《Neural Networks Tricks of the Trade》根据不同的参考文献给出不同的调优思路和有关技巧。...
2019-03-10 22:14:30
400
原创 深度学习：神经网络-BP算法原理及利用python从零实现
摘要：给出反向传播算法的具体推导，并通过一个例子对反向传播的计算流程进行介绍。最后利用python从零实现一个神经网络。代码仅作为公式的理解，不具备重复使用能力。
2019-03-03 15:01:32
3222
3
原创 深度学习：代价函数-分类，回归，多任务学习，多标签学习
摘要：持续更新，罗列部分常用的代价函数，以及论文中性能优越的代价函数，方便遇到不同问题时代价函数的选择。第一部分介绍最常见的几个代价函数，第二部分介绍论文中看到的不错的代价函数。
2018-11-25 15:38:53
1488
原创 Matlab使用：多核并行计算
Matlab使用：多核并行计算Matlab程序的运行效率，很大程度上决定着科研工作的效率。如果能把循环转变为矩阵运算无疑是最高效的，但实际使用的过程中经常碰到不得不循环的情况。如果循环次数很多，运行速度就会大大减慢，此时使用并行计算可以很好的提高效率。 这里给出一个并行计算的例子，同时提醒几点注意事项。%% 启动并行计算core_number=2; %想要...
2018-11-25 15:17:19
38001
原创 离线安装keras的主要步骤
离线安装keras办公室电脑无法上网，总结以下离线安装keras的过程. 目录安装Anaconda；安装Tensorflow；安装keras. 1. 安装Anaconda直接从官网进行下载 https://www.anaconda.com/download/2. 安装Tensorflow由于不能上网，所有需要的包都要提前下载. a...
2018-08-12 13:37:50
8152
原创 近端梯度下降算法(Proximal Gradient Algorithm)
摘要：介绍梯度下降算法，以及在$f(x)$的梯度$\bigtriangledown f(x)$满足L-Lipschitz条件下的梯度下降算法的意义，并由此展开的非光滑约束下的近端梯度下降算法，求解$\min_x f^s(x)+f^n(x)$问题.
2018-07-15 13:13:51
20262
深度学习：深度压缩感知-从ISTA到LISTA.ipynb
2020-07-21
LMS自适应波束形成算法
2017-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人