- 博客(12)
- 收藏
- 关注
RSS订阅原创 Deepspeed Chat项目理解
ChatGPT的广泛使用促进大模型火起来了，深度学习人工智能开启了2.0时代，deepspeed chat是微软开源的大模型训练工具，它充分利用了deepspeed的高效训练的特点，能够自动化的进行多种大模型训练。言归正传，在博客中我将对我的实验的流程和运行方式做个记录，便于自己后续的查看，也给其他初学者一点参考。项目：Deepspeed chat链接， 资源库：hugging face前述项目就是Deepspeed chat的官方项目，可以在按照其readme所述的流程进行操作，整体的操作流程搬运到下
2023-06-09 20:00:00
1149
原创 pytorch tensorboardx在本地查看服务器的运行结果
参考1参考2本文主要在结合上两篇参考的基础上进行实验，在远程服务器上，使用tensorboardx保存的路径为./runs/Apr03_21-16-06_lthpc因此在远程服务器上输入：tensorboard --logdir=./runs/Apr03_21-16-06_lthpc --host=127.0.0.1，出现如图的显示：然后在本地shell上输入：ssh -L 6006:12...
2020-04-04 11:54:11
1765
原创 python向量中去除重复值的方法
在做配准实验，不可能出现一对多的情况，因此要去掉重复值，先记录下来，不知道有什么用：找重复值：m = np.where(np.bincount(array)>1)[0]把重复值复制：q = np.tile(m.shape(m.shape[0], -1), array.shape[0])原始矩阵减去重复矩阵：TorF = array-q;loc = np.nonzero(TorF ==...
2019-12-09 20:36:45
2487
原创 通过四元数进行投影反投影变换
最近在学习通过深度学习提取和追踪关键点，对投影反投影变化的过程整理如下：输入:前一帧关键点：p位置信息：t1, t2旋转角度：q1, q2设置：focal = 500Pi=[focal0img.size[0]0focalimg.size[1]001]Pi = \left[\begin{matrix} focal& 0 & img.size[0]\\ 0 &a...
2019-12-02 15:25:56
973
原创 python读取文件相关（os, glob）
一. os为python读取文件的重要库函数os.listdir(path): 生成文件的列表，list：包含当前路径下的目录和文件os.walk(path): 返回的是一个三元组(root,dirs,files), 常用方式：for root, dirnames, filenames in os.walk(path):其中root是当前路径， dirnames得到的是当前路径下的目录名的...
2019-08-17 17:53:58
298
原创 提取视频训练集光流
我最近在处理视频数据集的光流图（UCF-101），因为之前TSN的获取方式过于复杂，我不得不探索新的获取方式，首先先给出tsn的获取光流图的方式：tsn，经过很长时间的调试，我都没解决所有的bug，我不得不考虑其他的方法获取光流图。参考链接1：获取光流图使用该链接的代码，提取出光流图,但是在opencv4.0+的版本上，需要使用cv2.optflow.DualTVL1OpticalFlow_c...
2019-08-17 11:33:27
2989
24
原创 pycuda的安装和错误调试
计算机各配置版本信息:cuda:9.0cudnn:7.4.2python:3.5pycuda安装:pip install pycuda==2017.1.1安装后运行报错:FileNotFoundError: [Errno 2] No such file or directory: ‘nvcc’修改compiler.py文件中的compile_plain()函数如下得以解决，如下:d...
2019-08-15 22:14:32
3093
1
原创 谷歌colab的配置
我们可以使用google colab进行深度学习的训练，配置过程如下：1. 注册谷歌网盘账号（https://drive.google.com）2. https://colab.research.google.com/打开colab（类似于jupyter notebook）3. 通过https://www.jianshu.com/p/ce2e63d1c...
2019-07-28 18:53:04
1151
原创 Pytorch读取模型文件及视频的维度膨胀
在深度学习中，我们载入预训练模型时，经常要查看预训练模型的内容，以便更好使用，我以pytorch为例总结一下简单的操作模型文件的读取：pretrained_dict = torch.load(path) 读取下来的pretrained_dict是一个字典获取模型保存的键值对for k, v in pretrained_dict.items():这里的k一般是层名，v是...
2019-07-28 18:46:19
630
2
原创 Cuda+cudnn+anaconda+python+tensorflow+pytorch的安装（ubuntu16.04）
通过在tesla和rtx2080ti型号的gpu安装配置环境，总结各个帖上的经验，也踩过一些坑，找到一个比较稳定的版本组合：Cuda: 9.0Cudnn:7.4.2Python 3.5Tensorflow1.9.0下面是各软件安装步骤：I．cuda：首先下载cuda9.0的安装包，这里我是用的是ubuntu16.04版本，也比较稳定，下载链接：https://developer.nv...
2019-07-22 10:50:13
729
原创 深度神经网络综述
神经网络的发展最早的神经网络的思想起源于1943年的MCP人工神经元模型，当时是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法），1969年，美国数学家及人工智能先驱Minsky在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类第一次打破非线性诅咒的当属现代DL大...
2019-07-20 21:09:57
2407
原创 图像分割将label和得到的mask画入原图
最近参加天池的比赛，写了几行代码将mask和label画入原图，便于观察那些数据得到的效果不太好，详细的代码如下：import osimport cv2import numpy as npimport paramsdef show(img, mask, mode=‘B’):“”":param img:图像矩阵，shape：（H，W，3）:param mask: 标签矩阵，shape...
2019-07-10 16:14:49
7986
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人