- 博客(76)
- 资源 (23)
- 收藏
- 关注
RSS订阅原创 Joint Time-Frequency and Time Domain Learning for Speech Enhancement
对于单通道语音增强，基于时域的方法和基于时频域的方法各有优劣，本文提出了一种跨域框架，TFT-Net，该模型以时频谱作为输入，以时域波形信号作为输出。该方法利用了我们所掌握的关于频谱的知识，避免了T-F域方法存在的缺点。在TFT-Net中，我们设计了一个双路注意力块（DAB），以充分利用沿时间和频率轴的相关性。本文进一步发现，独立于样本的DAB(SDAB)在提高与语音质量和复杂性之间实现了良好的权衡。消融实验的结果表明，跨域设计和SDAB块对模型性能的提升帮助很大。典型的时频域方法如图1（a）所示，网络的
2022-06-12 15:25:10
1650
1
原创 DPT-FSNET: DUAL-PATH TRANSFORMER BASED FULL-BAND AND SUB-BAND FUSION NETWORK FOR SPEECH ENHANCEMENT
子带模型对谱图的局部模式建模方面取得了较好的结果。已有部分工作将子带信息和全带信息进行融合，以提升模型的性能。本文提出了一种基于transformer的双分支全带、子带融合网络（DPT-FSNet），用于频域的语音增强。模型的intra和inter部分分别对子带信息和全带信息进行建模。本文提出的方法所使用的特征比时域的双分支网络所使用的的特征更易解释。本文在Voice Bank+ DEMAND和Interspeech2020 Deep Noise Suppression数据集上进行了实验对比，实现了SOTA
2022-06-04 15:29:08
4097
原创 Teacher-Student Learning For Low-latency Online Speech Enhancement Using Wave-U-Net
文章目录ICASSP 20210. 摘要1. 简介2. Wave-U-Net for Speech Enhancement3. Proposed Online Low-latency Model3.1 Online Wave-U-Net3.2 Teacher-Student Learning for Knowledge Transfer4. 实验阶段4.1 Datasets4.2 Networks architectures and training settings4.3 实验结果ICASSP 202
2022-04-19 15:15:07
1723
原创 Neural Noise Embedding for End to End Speech Enhancement with Conditional Layer Normalization
文章目录ICASSP20210. 摘要1. 简介2. 模型方法2.1 Conditional Layer Normalization2.2 网络架构2.3 损失函数3. 实验3.1 实验步骤3.2 噪声嵌入向量的可视化3.3 实验结果ICASSP20210. 摘要为了应对各种复杂的噪声场景，本文引入了一种新的增强架构，它将深度自动编码器与神经噪声嵌入相结合。 在这项研究中，引入了一种新的归一化方法，称为条件层归一化 (CLN)，以改进基于深度学习的语音增强方法对unseen environments
2022-04-16 20:53:40
2939
1
原创 Dynamic noise embedding: Noise aware training and adaptation for speech enhancement
文章目录0. 摘要1. 简介2. Proposed method2.1 Estimating confident noise frames2.2 Dynamic Noise Embedding3. Speech Enhancement Module4. Voice Activity Detection Module5. 实验步骤6. 结果分析6.1 DNE在SE模型中的有效性6.2 Finding optimal threshold for the DNE6.3 Expansion to other neu
2022-04-15 09:32:12
242
原创 Noise aware learning for speech enhancement
文章目录1. Noise prior knowledge learning for speech enhancement via gated convolutional generative adversarial network1.1 摘要1.2 语音增强生成对抗网络SEGAN1.3 本文提出的方法1.4 实验分析2. A noise prediction and time-domain subtraction approach to deep neural network based speech en
2022-04-14 16:49:31
234
原创 VARIATIONAL AUTOENCODER FOR SPEECH ENHANCEMENT WITH A NOISE-AWARE ENCODER
文章目录0. 摘要1. Introduction0. 摘要当前有许多噪声适应技术用于对语音增强的深度学习模型进行微调，从而适应噪声环境不匹配的问题。然而，对新环境的适应可能导致对之前学习环境的灾难性遗忘。本文提出了一种基于正则化的增量学习语音增强策略(regularization-based incremental learning SE, SERIL)，在不使用额外存储的情况下补充了现有的噪声适应策略。通过正则化约束，参数被更新到新的噪声环境，同时保留了先前噪声环境的知识。1. Introduct
2022-04-12 20:35:19
2540
2
原创 DUAL-PATH RNN: EFFICIENT LONG SEQUENCE MODELING FOR TIME-DOMAIN SINGLE-CHANNEL SPEECH SEPARATIO
文章目录1. 简介2. 模型架构2.1 分段2.2 块处理2.3 重叠相加3. 实验部分1. 简介DPRNN提出的依据：因此如果出现超长的语音序列，使用传统的RNN模型将无法高效的处理。而一维卷积的感受野小于音频序列长度，因此无法进行utterance-level的语音分离。DPRNN 是一种双路径递归神经网络，在深度模型上优化RNN，使其可以对极长的语音序列进行建模。其将较长的音频片段分成较小的块（chunk），迭代应用块内和块间操作。当前时域的语音分离方法主要分为两个部分：自适应前端和直接回归
2022-04-04 16:49:52
2930
原创 Divide and Conquer: A Deep CASA Approach toTalker-Independent Monaural Speaker Separation
0. Abstract本文从深度学习和计算听觉场景分析(CASA)的角度解决与说话者无关的单通道语音分离问题。具体来说，本文将多说话人分离任务分解为同时分组（Simultaneous grouping）和顺序分组(sequential grouping)阶段。首先在每个时间帧中执行同时分组，其通过使用排列不变训练的神经网络分离不同说话者的频谱。在第二阶段，上一步得到的帧级分离频谱通过聚类网络顺序分组到不同的说话人。所提出的深度CASA方法依次优化了帧级分离和说话人跟踪，并在这两个目标上取得了很好的结果。.
2022-03-10 15:09:44
3443
原创 Wavesplit: End-to-End Speech Separation by Speaker Clustering
0. Abstract本文提出了一种端到端声源分离系统，Wavesplit。从混合语音中，模型推断每个声源的表示，然后根据每个声源的特征表示进一步估计声源，该模型经过训练，可以从原始波形中联合执行这两项任务。Wavesplit通过聚类推断一组声源的特征表示，其解决了声源分离的基本排列问题。在语音分离任务中，本文工作对长语音序列具有更加稳健的分离性能。本文模型在2人/3人纯净语音(WSJ0-2/3mix)，以及带噪语音、混响语音数据集都获得STOA性能。1. Introduction设计的模型能够保持.
2022-03-08 17:04:36
3332
1
原创 AST：Audio Spectrogram Transformer
文章目录0. Abstract1. Introduction2. Audio spectrogram transformer2.1 Model architecture2.2 ImageNet Pretraining3. Experiments3.1 AudioSet Experiments3.1.1 Dataset and Training Details3.1.2 AudioSet Results3.1.3 Ablation Study0. Abstract该文发表于Interspeech2021
2022-01-04 15:22:59
5303
1
原创 Interactive Speech and Noise Modeling for Speech Enhancement
文章目录0. 摘要1. Introduction2. Related work2.1 Deep learning-based speech enhancement2.2 Noise-aware speech enhancement2.3 Two-Branch neural network2.4 Self-Attention model3. Proposed Method3.1 Overview3.2 Encoder and Decoder3.3 RA Block3.4 Interaction Module
2022-01-03 15:33:57
2400
原创 DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement
文章目录0. 摘要1. Introduction2. DCCRN+2.1 The new design2.2 Subband Processing2.3 Complex TF-LSTM Block2.4 Convolution Pathway2.5 SNR Estimator2.6 Post-Processing2.7 Loss Functio：3. Experiments3.1 Datasets3.2 Training setup and baselines3.3 Experimental results
2021-12-29 16:05:42
2829
原创 DCCRN:Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
文章目录0. 摘要1. Intorduction1.1 Related work1.2 Contributions2. The DCCRN Model2.1 Convolution recurrent network architecture2.2 Encoder and decoder with complex network2.3 Training target2.4 Loss function3. Experments3.1 Datasets3.2 Training setup and baselin
2021-12-28 17:05:43
2222
原创 Transformer and Self-Attention(Pytorch实现)
文章目录1. Attention2. Self-Attention3. Multi-Head Attention4. Transformer4.1 Encoder4.2 Decoder5. Transformer6. 补充，masked_self_attentioncode by Tae Hwan Jung(Jeff Jung) @graykode, Derek Miller @dmmiller6121. AttentionAttention函数的本质可以描述为：将查询(query)和一组键值(key-
2021-11-22 15:40:14
2702
原创 FLOPS, FLOPs and MACs
FLOPS: Floating Point Operations Per Second, 每秒浮点运算次数，是一个衡量硬件速度的指标FLOPs: Floating Point Operations, 浮点运算次数，用来衡量模型计算复杂度，常用来做神经网络模型速度的间接衡量标准MACs: Multiply–Accumulate Operations, 乘加累积操作数，常常被人们与FLOPs概念混淆实际上1MACs包含一个乘法操作与一个加法操作，大约包含2FLOPs。通常MACs与FLOPs存在一个2倍的关
2021-11-16 22:04:00
1483
原创 Latex排版：字母上方加上角标 加横线 加波浪线等
使用Latex进行论文排版或者Markdown编辑笔记时，需要在符号上方加一些符号，如下操作：加上角标输入\hat{} 或者 \widehat{}\hat{A_i}和 \widehat{A_i}Ai^和Ai^\hat{A_i}和 \widehat{A_i}Ai^和Ai加横线输入\overline{}\overline{A_i}Ai‾\overline{A_i}Ai加波浪线输入\tilde{}和 \widetilde{}\tilde{A_i}和 \wideti
2021-11-15 15:15:29
17152
原创 知识图谱笔记（1）——知识图谱基础
文章目录1. 什么是知识图谱2. 知识图谱的计算3. 知识图谱的存储3.1 RDF存储3.2 图数据库存储3.3 RDF与图数据存储的区别1. 什么是知识图谱知识图谱（Knowledge Graph）是由谷歌公司2012年提出来的新名词，其初衷是优化搜索殷勤返回的结果，增强用户搜索质量及体验。实际上，知识图谱并不是一个全新的概念，早在 2006 年就有文献提出了语义网（Semantic Network）的概念，呼吁推广、完善使用本体模型来形式化表达数据中的隐含语义，RDF（resource descr
2020-07-02 19:58:31
1310
原创 公式换行
目前用到的公式换行情况主要有2种，分别为表格内的公式换行和常规的公式换行，现总结如下。1. 表格内公式换行1 先将下面的语句放在latex正文的导言区:\newcommand{\tabincell}[2]{\begin{tabular}{@{}#1@{}}#2\end{tabular}}2 在tabular内的格子内使用 \tabincell{c}{} 插入相应内容, 就可以在表格中自动换行。\documentclass[a4paper,12pt]{article}\begin{doc
2020-06-17 10:43:36
1615
转载 python colormap(颜色映射)
转载：https://blog.csdn.net/Mr_Cat123/article/details/78638491[python] view plain copyimport numpy as np import matplotlib.pyplot as plt # Have colormaps separated into categories: # http://ma...
2020-04-09 21:43:28
7948
原创 pytorch框架学习（19）——GPU使用
文章目录1. CPU 与 GPU2. GPU in Pytorch1. CPU 与 GPU2. GPU in Pytorchto函数：转换数据类型/设备tensor.to(*args, **kwargs)module.to(*args, **kwargs)区别：张量不执行inplace，模型执行inplace使用示例如下：torch.cuda常用方法：to...
2020-03-06 10:46:14
237
原创 pytorch框架学习（18）——finetune
文章目录1. Transfer Learning & Model Finetune2. Pytorch中的Finetune1. Transfer Learning & Model FinetuneTransfer Learning：机器学习分支，研究源域（source domain）的知识如何应用到目标域（target domain）Model Finetune：模型...
2020-03-02 12:29:12
279
原创 pytorch框架学习（17）——模型的保存与加载
文章目录1. 序列化与反序列化2. 模型保存与加载的两种方式3. 模型断点续训练1. 序列化与反序列化序列化：将内存中的每一个对象保存到硬盘当中，以二进制序列的形式存储下来反序列化：将硬盘中存储的二进制数据反序列化的放到内存当中2. 模型保存与加载的两种方式pytorch当中的序列化与反序列化函数：torch.save主要参数：obj：对象f：输出路径t...
2020-03-02 11:16:03
365
原创 Pytorch框架学习（16）—— Normalization
文章目录1. Why Normalization2. Batch Normalization3. Layer Normalization4. Instance Normalization5. Group Normalization1. Why Normalization因为在深度学习当中存在ICS（Internal Covariate shift）问题：数据尺度/分布异常，导致训练困难从公...
2020-02-27 18:28:37
566
原创 pytorch框架学习（15）——正则化
文章目录1. 正则化与偏差-方差分解2. pytorch中的L2正则项——weight decay1. 正则化与偏差-方差分解Regularization：减小方差的策略（防止过拟合）误差可分解为：偏差，方差与噪声之和。即误差 = 偏差 + 方差 + 噪声偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力方差：度量了同样大小的训练集的变动所...
2020-02-24 12:07:07
211
原创 pytorch框架学习（13）——可视化工具TensorBoard
文章目录1. TensorBoard简介1. TensorBoard简介TensorBoard：TensorFlow中强大的可视化工具支持标量、图像、文本、音频、视频和Embedding等多种数据可视化运行机制tensorboard --logdir=./runs作业熟悉TensorBoard的运行机制，安装TensorBoard，并绘制曲线 y = 2*ximport ...
2020-02-20 12:24:10
333
原创 pytorch框架学习（12）——学习率调整策略
文章目录1. pytorch的六种学习率调整策略2. 学习率调整小结1. pytorch的六种学习率调整策略class _LRScheduler主要属性：optimizer：关联的优化器last_epoch：记录epoch数base_lrs：记录初试学习率主要方法：step（）：更新下一个epoch的学习率get_lr()：虚函数，计算下一个epoch的学习率...
2020-02-17 18:15:56
469
原创 Pytorch框架学习（11）——优化器
文章目录1. 什么是优化器2. optimizer的属性3. optimizer的方法1. 什么是优化器pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签基本属性defaults：优化器超参数state：参数的缓存，如momentum的缓存param_groups：管理的参数组（list）_step_count：记录更新次数，学习率调整中使用...
2020-02-15 18:35:31
245
原创 Pytorch框架学习（10）——损失函数
文章目录1. 损失函数概念2. 交叉熵损失函数3. NLL/BCE/BCEWITHLogits Loss1. 损失函数概念损失函数：衡量模型输出与真实标签的差异损失函数（Loss Function）：Loss=f(y^,y)Loss = f(\hat{y}, y)Loss=f(y^,y)代价函数（Cost Function）：Loss=1N∑iNf(yi^,yi)Loss = \...
2020-02-13 21:34:59
387
原创 Pytorch框架学习第七次作业——损失函数
Lossfunction依旧属于网络层的概念，即仍旧是Module的子类，为了对lossfunction有一个更清晰的概念，需要大家采用步进(Step into)的调试方法从loss_functoin = nn.CrossEntropyLoss() 语句进入函数，观察从nn.CrossEntropyLoss()到class Module(object)一共经历了哪些类，记录其中所有进入的类及...
2020-02-10 22:32:55
208
原创 Pytorch框架学习（9）——权值初始化
文章目录1. 梯度消失与梯度爆炸2. Xavier方法与Kaiming方法2.1 Xavier初始化2.2 Kaiming初始化3. 常用初始化方法1. 梯度消失与梯度爆炸不恰当的权值初始化可能会引起梯度消失或者梯度爆炸。我们从一个例子中来理解梯度消失与梯度爆炸。，下图给出一个两层网络，我们来计算一下W2W_2W2的梯度。从计算过程中可以看到，当H1H_1H1趋近于0时，会导致W2...
2020-02-10 21:14:32
257
原创 pytorch框架学习第六次作业——nn网络层
1. 深入理解二维卷积，采用手算的方式实现以下卷积操作，然后用代码验证。1）采用2个尺寸为33的卷积核对3通道的55图像进行卷积，padding=0， stride=1，dilation=0其中 input shape = （3， 5， 5），数据如下kernel size = 3*3， 第一个卷积核所有权值均为1， 第二个卷积核所有权值均为2，计算输出的feature map...
2020-02-06 23:09:09
252
原创 pytorch框架学习（8）——nn网络层
文章目录1. 卷积层1.2 1d/2d/3d卷积1.3 卷积-nn.Conv2d()1.4 转置卷积-ConvTranspose2. 池化层——Pooling Layer3. 线性层——Linear Layer4. 激活函数层——Activation Layer1. 卷积层1.2 1d/2d/3d卷积卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加卷积核：又称为滤波器，...
2020-02-06 17:15:27
438
原创 Selenium库使用
文章目录1. 模拟浏览器ChromeDriver的下载与安装2. Selenium库的安装与使用2.1 Selenium库的安装2.2 Selenium库的使用Selenium库是一个自动化测试工具，能够驱动浏览器模拟人的操作，如鼠标单击、键盘输入等。通过Selenium库能够比较容易地获取网页的源代码，还可以进行网络内容的批量自动下载，比较重要的一点是，可以快速获取动态渲染的网页源代码。1....
2020-02-04 21:07:34
456
1
原创 pytorch框架学习第五次作业——模型创建步骤与nn.Module
1. 采用步进(Step into)的调试方法从创建网络模型开始（net = LeNet(classes=2)）进入到每一个被调用函数，观察net的_modules字段何时被构建并且赋值，记录其中所有进入的类与函数第一步：net = LeNet(classes=2)第二步：LeNet类，init()，super(LeNet, self).init()第三步: Module类, init()...
2020-02-03 15:57:08
346
原创 pytorch框架学习（7）——模型创建与nn.Module
文章目录1. 网络模型创建步骤2. nn.Module3. 模型容器Containers4. AlexNet网络构建1. 网络模型创建步骤机器学习模型训练主要分为以下5个步骤，今天主要学习其中的模型部分模型创建步骤模型构建两要素：构建子模块，拼接子模块构建子模块在__init__()函数中实现拼接子模块在forward()函数中实现2. nn.Modulenn.tor...
2020-02-03 15:56:31
438
原创 python plt输出eps图片打开后显示空白
# plt调用gcf函数取得当前绘制的figure并调用savefig函数eps_fig = plt.gcf() # 'get current figure'eps_fig.savefig('foo.eps', format='eps', dpi=1000)plt.show()
2020-01-30 11:07:34
2937
原创 Pytorch框架学习第四次作业——transforms
1. 将介绍的transforms方法一一地，单独地实现对图片的变换，并且通过plt.savefig将图片保存下来（1）中心裁剪（2）随机裁剪transforms.RandomCrop(200, padding=16)（3）随机大小、长宽比裁剪图片transforms.RandomResizedCrop(size=200, scale=(0.1, 0.9))（4）FiveCr...
2020-01-29 15:53:59
411
原创 Pytorch框架学习（6）——transforms与normalize
图像预处理Transforms与normalize文章目录图像预处理Transforms与normalize1. transforms运行机制2. 数据标准化——transforms.normalize1. transforms运行机制torchvision工具包中包含三个主要模块，今天主要学习transformstorchvision.transforms:常用的数据预处理方法，提升...
2020-01-28 18:29:35
9793
原创 pytorch第四次作业-DataLoder与数据预处理
1. 采用步进(Step into)的调试方法从 for i, data in enumerate(train_loader) 这一行代码开始，进入到每一个被调用函数，直到进入RMBDataset类中的__getitem__函数，记录从 for循环到RMBDataset的__getitem__所设计的类与函数？第一步：for i, data in enumerate(train_loader...
2020-01-21 17:19:35
893
python+tensorflow+keras 基于Inception-v3模型迁移学习处理clatech256分类
2018-01-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人