currycode

原创 学习资源总结(长期更新)

1-python与深度学习相关框架 1.教程莫烦python :https://morvanzhou.github.io/ 斯坦福2017季CS224n深度学习自然语言处理课程:https://www.bilibili.com/video/av13383754?from=search&seid=428356439778153850 斯坦福2017季CS231n深度视觉识...

原创 语音相关期刊,会议,工具箱&&语音研究员(2018年)岗位要求

CCF排名中专注于语音的会议似乎没有rank-A的,相关会议和期刊多集中在B和C两个等级(吐槽一下CCF瞎排名hh)1.计算机图形学与多媒体   1.1 B类期刊TOMCCAP      主页  点评和IF  "三区期刊,投稿周期约三个月" TMM                 主页  点评和IF  "6-8个月最终接受" Speech Com   主页  点评和IF ...

原创 [每周知识碎片] 3

conda配置源conda config --show channelsconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pk...

原创 [实验室环境配置] kaldi安装

下载kaldi 包git clone https://github.com/kaldi-asr/kaldi.git检查并自动安装依赖库cd tools./extras/check_dependencies.sh # all OK 说明成功make # 这个过程需要消耗一点时间，会下载openfst等工具# 之所以要在tools文件夹下make的原因：https://github....

原创 [每周知识碎片] 2

使用DistributedDataParallel ，在Ctrl C 退出后留下许多僵尸进程，kill之后显卡掉了，类似情况1, 2解决方法：使用ps aux|grep python查看python进程，然后按照顺序执行kill -9 PIDpytorch GPU显存优化策略https://www.jiqizhixin.com/articles/2018-10-17-...

原创 [每周碎片知识] 1

nn对参数的初始化方式非常敏感，我用randn初始化时，怎么都不收敛（即便是只有一条数据的训练集），后来用xavier_uniform_之后结果大大改善。for name, params in xlnet.named_parameters(): if params.dim() >1: torch.nn.init.xavier_uniform_(params) ...

原创 [pytorch] freeze parameters in sub model

https://discuss.pytorch.org/t/how-the-pytorch-freeze-network-in-some-layers-only-the-rest-of-the-training/7088

原创 [pytorch] 运行一段时间后 GPU OOM

pytorch的dataloader会将数据传到GPU上，这个过程GPU的mem占用会逐渐增加，为了避免GPUmen被无用的数据占用，可以在每个step后用del删除一些变量，也可以使用torch.cuda.empty_cache()释放显存：del targets, input_k, input_masktorch.cuda.empty_cache()这时能观察到GPU的显存一直在动...

原创 [git] 删除repo中的文件夹，增加repo中的文件夹, 移动repo中的文件夹

在网页版的github中只能单独删除一个文件，所以对文件夹的删除必须在本地使用git命令。首先设置git：git config --global user.name "xxxxxxx"git config --global user.email "xxxxxxx"# 查看是否设置成功git config --list然后将远程分支克隆到本地：git clone -b py...

原创 [实验室环境搭建] 使用visual studio进行linux c++开发中遇到的问题

按照这篇blog的教程，在远程连接linux server时碰到：Connectivity Failure.Please make sure host name and port number are correct.这时候主机和server是能够相互ping通的，但是使用vs就是无法连接上服务器。后来发现是ubuntu只默认安装了openssh-client，但是没有装op...

原创 [深度学习] loss=inf

原因一：data underflow原因: 在使用log函数时出现 data underflow解决方法：增加一个bias# originalg_wh = (matched[:, 2:] - matched[:, :2]) / priors[:, 2:]g_wh = torch.log(g_wh) / variances[1]# currenteps = 1e-5g_wh...

原创 [pytorch] 名词理解

in - place operationhttps://discuss.pytorch.org/t/what-is-in-place-operation/16244https://zhuanlan.zhihu.com/p/38475183An in-place operation is an operation that changes directly the content of...

原创 [pytorch] 每次训练的结果都不同（无法复现）

原因： 没有设置seed，torch的一些操作有随机性。解决：https://github.com/pytorch/pytorch/issues/7068 torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using ...

转载 [linux] rz sz命令传文件

一般来说，linux服务器大多是通过ssh客户端来进行远程的登陆和管理的，使用ssh登陆linux主机以后，如何能够快速的和本地机器进行文件的交互呢，也就是上传和下载文件到服务器和本地； 与ssh有关的两个命令可以提供很方便的操作： sz：将选定的文件发送（send）到本地机器 rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到服务器(receive)rz，sz是便...

转载 [linux] 查找和关闭僵尸进程

用ps和grep命令寻找僵尸进程ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]'命令注解：-A 参数列出所有进程-o 自定义输出字段 我们设定显示字段为 stat（状态）, ppid（进程父id）, pid(进程id)，cmd（命令）这四个参数因为状态为 z或者Z的进程为僵尸进程，所以我们使用grep抓取stat状态为zZ进程，运行结果参...

原创 [linux] nohup + &后台挂载程序

nohup ./xxx.sh > xxx.out 2>&1 &

原创 [linux] 查看进程PID以及进程详细信息

首先通过top查看进程PID：top无法查看到进程的详细信息，比如进程运行时所在的目录，以及执行程序的绝对路径等。这时，我们需要通过以下的方法来查看进程的详细信息：Linux在启动一个进程时，系统会在/proc下创建一个以PID命名的文件夹，在该文件夹下会有我们的进程的信息，其中包括一个名为exe的文件即记录了绝对路径，通过ll或ls–l命令即可查看。ll/proc/PI...

原创 [pycharm] 配置Python interpreter

原创 [pycharm] 行号栏太宽

行号栏太宽会挤占屏幕，进入setting设置取消gutter icons：新的行号栏：

原创 [linux] 输出重定向与后台运行

python train.py > train.log 2>&1 &其中> train.log表示标准输出重定向到文件train.log中且是覆盖重写，如果想要追加方式写入，则是>> train.log2>&1 表示 将标准错误输出重定向到标准输出（0、1和2分别表示标准输入、标准输出和标准错误信息输出）最后一个&...

原创 [django] 启动django工程

run.sh:# 将app文件夹下的网页模板收集到固定文件夹中python manage.py collectstatic # 开启server，将终端输出重定向到log文件中，后台挂载该python进程python manage.py runserver 219.223.172.28:8003 > log &# 查看端口lsof -i:8003使用nohup...

原创 [linux] linux分屏与gpu实时查询

分屏指令：tmux这个指令有好多介绍了，就不详细赘述 Ctrl+b 激活控制台；此时以下按键生效 系统操作 ? 列出所有快捷键；按q返回 d 脱离当前会话；这样可以暂时返回Shell界面，输入tmux attach能够重新进入之前的会话 ...

原创 [debug]THCudaCheck FAIL file=/pytorch/aten/src/THC/THCGeneral.cpp line=405 error=11 : invalid argume

解决 THCudaCheck FAIL file=/pytorch/aten/src/THC/THCGeneral.cpp line=405 error=11 : invalid argument完整错误：WARNING:root:Setting up a new session...Training...THCudaCheck FAIL file=/pytorch/aten/src...

原创 [深度学习] 什么是marginalization

论文中经常看到这样的描述：Since we marginalize over all possible alignments z corresponding谷歌翻译显示这个词的意思是“边缘化”，那么在数学中，边缘化到底代表什么操作呢？首先，边缘化是概率论中的一个概念，它要求对一个变量的可能值求和，以确定另一个变量的边缘贡献。这个定义可能听起来有点抽象，让我们用一个例子来说明这一...

转载 [vim] 配置终端下的vim

https://www.jianshu.com/p/f0513d18742ahttps://www.jianshu.com/p/c690a3462224?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

原创 [git] git更新远程代码到本地仓库

查看远程仓库：(pytorch) [ddy17@mjrc-server12 Speech-Transformer-plus-2DAttention]$ git remote -vorigin https://github.com/stephen-song/Speech-Transformer-plus-2DAttention.git (fetch)origin https://githu...

原创 [git] 使用git克隆指定分支的代码

使用Git下载指定分支命令为：git clone -b分支名 仓库地址例如：git clone -b 2D-Attention https://github.com/stephen-song/Speech-Transformer-plus-2DAttention.git将下载分支名为2D-Attention的分支仓库。如果直接：git clone https://g...

转载 [pytorch] 在pytorch中实现与TensorFlow类似的same方式padding

转载自https://oldpan.me/archives/pytorch-same-padding-tflike前言TensorFlow中在使用卷积层函数的时候有一个参数padding可以选择same或者vaild，具体可以看之前的这篇文章：https://oldpan.me/archives/tf-keras-padding-vaild-same.而在pytorch中，现在的版本...

原创 [语音处理] .flac文件转.wav文件

在常用的英语语音识别数据库librispeech中，原始语音的格式是.flac，一般来说先要转换成.wav才能继续进行后处理。转换工具可以使用sox （http://sox.sourceforge.net/）：sox $flac_path -t wav $wav_path命令很简单，但是缺点是一次只能转换一条语音，所以需要利用脚本完成对librispeech中上万条语音进行自动转换。...

转载 [linux] bash 脚本实现批量化作业与并行处理

在Linux下运行作业时, 经常会遇到以下情形: 有大量作业需要运行, 完成每个作业所需要的时间也不是很长. 如果我们以串行方式来运行这些作业, 可能要耗费较长的时间; 若采用并行方式运行则可以大大节约运行时间. 再者, 目前的计算机绝大部分都是多核架构, 要想充分发挥它们的计算能力也需要并行化. 总结网上看到的资料, 利用Bash脚本, 可以采用下面几种方法实现批量作业的并行化. 注意, 下面论...

翻译 [tensorflow] go语言+tensorflow

原文：https://pgaleone.eu/tensorflow/go/2017/05/29/understanding-tensorflow-using-go/Tensorflow is not a Machine Learning specific library, instead, is a general purpose computation library that repr...

原创 [tensorflow] 多维矩阵的乘法

矩阵乘法本质上只能是两个二维的matrix进行叉乘，那么两个三维甚至四维的矩阵相乘是怎么做到的呢？比如：import tensorflow as tfa = tf.constant(1,2,3,4)b = tf.constant(1,2,4,6)c = tf.matmul(a,b)# c.shape == (1,2,3,6)查看matmul的源码：@tf_export(...

原创 [tensorflow] 对一维卷积池化和二维卷积池化的新感悟

首先上观点：一维卷积的卷积核是二维的，二维卷积的卷积核是三维的 一维池化的池化核是一维的，二维池化的池化核是二维的为什么卷积的时候卷积核维度多了一维呢？因为有通道（channel）的存在。比如对于语音处理中常用的特征MFCC，一般来说网络的输入是[timestep, num_mfcc],对其使用一维卷积，则有：import numpy as npimport tensorflow ...

翻译 [web] k8s 攻略

原文地址：https://medium.freecodecamp.org/learn-kubernetes-in-under-3-hours-a-detailed-guide-to-orchestrating-containers-114ff420e882github地址：https://github.com/rinormaloku/k8s-mastery翻译地址：http://www....

转载 [github] 使用github进行团队开发

https://www.cnblogs.com/schaepher/p/4933873.htmlhttp://www.cnblogs.com/schaepher/p/4970291.htmlhttps://blog.csdn.net/dengdengda/article/details/50903176

原创 [tensorflow] 模型的恢复

使用tensorflow进行模型的保存很简单，生成一个saver实例然后saver.save()即可，在恢复时有两个问题很棘手：怎么得到graph 怎么得到placeholder以创建feed_dictx得到graph：1.如果你有model的定义文件，可以像训练时一样重新创建一个图，然后saver.restore()获得图中的参数权重：# 设置超参hp = hparam...

原创 [tensorflow] batch normalization在training和inference中的正确使用方法

BN在如今的CNN结果中已经普遍应用，在tensorflow中可以通过tf.layers.batch_normalization()这个op来使用BN。该op隐藏了对BN的mean var alpha beta参数的显示申明，因此在训练和部署测试中需要特征注意正确使用BN的姿势。正确使用BN训练注意把tf.layers.batch_normalization(x, training=is_...

原创 [tensorflow] summary op 用法总结

0. 前言官方教程（需要翻墙，都有中文版了）： TensorBoard：可视化学习 TensorBoard：图的直观展示 TensorBoard：直方图信息中心 TensorFlow Summary 相关API（需要翻墙) Github: tensorflow/tensorboard1. 综述tf.summary相关API的功能就是，将定期将部分指定tensor的值保存...

转载 [深度学习] loss不下降的解决方法

链接：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一...

转载 [深度学习] 欠拟合问题以及解决方案

原文：https://blog.ailemon.me/2018/04/09/deep-learning-the-ways-to-solve-underfitting/我最近做深度学习在连续中文语音识别方向的应用的时候，根据一些论文和网上一些公开代码和模型结构，设计了一个神经网络的模型。但是在训练的时候，就首先遇到了很让人头疼的欠拟合问题。神经网络欠拟合的特征是，训练了很长时间，但是在训练集...