- 博客(40)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pytorch 自定义forward loss运算cpu占用高 在gpu上加速
直接在gpu上定义tensor而减少cpu到gpu的copy!!!为了实现复杂的网络结构和损失函数，自定义forward和loss的计算，发现cpu占用很高，挂了几个训练就占满了所有cpu。把运算都用放到gpu上运算，发现还是cpu占用高，并且有更慢的趋势。用性能分析工具分析发现是 cpu占用时间率高。为了验证是使用了导致的，编写了程序，对比和直接定义，发现时gpu利用率接近100%，而gpu利用率还不到20%。直接在gpu上定义变量...
2022-07-11 11:47:31
1250
1
原创 tensorflow和pytorch指数衰减学习率
参数：公式：decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)公式：lr = lr * gamma**epoch可以看到两者实现有不同，但pytorch实现tensorflow的模式可以利用gamma^decay_steps进行转换
2022-07-09 12:04:19
350
原创 保存dataloader状态 恢复中断训练
对于pytorch恢复一个epoch中的中断的训练时，通常dataloader都会从头加载，对于大型数据集不友好，loss又重新下降了这时候可以自定义sampler调用dataloader时传入自定义sampler，指定恢复的step就可以啦！ref也可以用笨方法，空跑到指定的step：...
2022-07-09 11:37:19
421
原创 PX4自定义pkg包roslaunch
创建pkg首先在Ros工程目录src下，创建新的功能包refcatkin_create_pkg <pkg_name>编译自己写的源文件在pkg文件夹下创建src文件夹，把cpp文件放进去，在工作空间（catin_ws）下编译catkin_make #编译所有包source ~/catkin_ws/devel/setup.bash #刷新一下setup.bash环境运行rosrun <pkg_name> function提示没有rosrun则sudo apt
2022-04-11 17:35:51
257
原创 vmware下ubuntu18.04 安装ROS Melodic+gazebo9+PX4并roslaunch运行+QGroundConrtol控制
官方推荐ubuntu18.04的对应ROS和gazebo版本为ROS Melodic 和 gazebo9官方指导：ROS安装：http://wiki.ros.org/Installation/Ubuntugazebo安装：http://gazebosim.org/tutorials?tut=ros_installing&cat=connect_ros#InstallGazeboPX4安装：https://docs.px4.io/master/en/dev_setup/dev_env_linu
2022-04-08 20:57:18
2396
1
原创 c++/python header/args
C++opencv#include <opencv2/core/utility.hpp>int main(int argc, char *argv[]){ const String keys = "{help h | | print this message }" "{video v
2022-03-14 15:49:36
4490
原创 #include ＜windows.h＞ 报error C2872: “ACCESS_MASK”: 不明确的符号
错误原因opencv的using namespace cv和windows.h中ACCESS_MASK定义冲突。解决方法法一：（网传方法）把using namespace cv删掉，并用cv::替换所需类型，但很麻烦法二：把using namespace cv放到#include <windows.h>后面，亲测可行参考链接https://stackoverflow.com/questions/39348845/c2870-ambiguous-symbol-error...
2022-03-11 22:31:23
3956
原创 opencv出现无法解析的外部符号问题
Point2f 出现未知重写符号、变量不是成员的类等问题原因：未包含#include <opencv2/core/core.hpp>using namespace cv；无法解析的外部符号问题原因：头文件重复包含参考
2021-12-31 15:26:17
2127
原创 HPatches源码分解/源码阅读笔记
读取数据hpatches.pydef get_patch(seq,t,idx): """Gets a patch from a sequence with type=t and id=idx""" return getattr(seq, t)[idx]tps = ['ref','e1','e2','e3','e4','e5','h1','h2','h3','h4','h5', 't1','t2','t3','t4','t5']t in tpsseq=hpatch_sequence
2021-12-31 10:00:49
207
原创 Numpy,Tensor(Pytorch) 使用对照
矩阵NumpyTensora.size\矩阵元素数量a.shapea.shape形状大小属性操作NumpyTensornp.expand_dims(a, axis=1)a.unsqueeze(1)升维np.squeeze(a)a.squeeze()降维np.concatenate((a,b),axis=1)torch.cat((a,b),dim=1)拼接np. tile(a,2)torch.repeat(2
2021-12-31 09:59:45
124
原创 c++/python 输出写入、读取txt文件
C++#include <iostream>#include <fstream>using namespace std;string fname="..\\..\\..\\xxx.txt";ofstream pout(fname,ios_base::trunc);pout<<outputnum<<" "<<endl;pout.close();pythonwith open('data.txt','w') as f: #设置
2021-12-31 09:52:04
733
原创 bypy出现Can‘t detect the system encoding, assume it‘s ‘UTF-8‘
首先安装locale apt-get install locale输入locale可以看到系统当前编码：输入locale -a可以查看系统可用编码（不在list里的编码改了也没用）：vim ~/.bashrc
2021-08-12 10:24:04
482
原创 远程连接桌面到ubuntu登录闪退
问题：远程连接到Ubuntu的时候登录闪退，密码正确，且之前在本地登录过没有问题，ssh登录没有问题原因：就是因为之前在本地登录了没有登出，只是锁屏了，导致远程桌面登不上。猜测是因为远程连接算作本地登录？解决方法：1.去本地再登出2.懒得动的话，用ps -aux|grep 用户名 查看自己本地登录的终端名字如图，tty3是本地的终端，pts/9是自己远程的ssh连接。把tty3用pkill -kill -t tty3杀掉就可以了...
2021-07-19 15:09:38
4233
4
原创 linux下杀死结束进程时，python进行中断处理后再退出
在深度学习训练的时候总会遇到模型的一个epoch还没训练完，就遇到需要暂时停止或者被要求中断的情况，比如被要求挪个显卡或者要改个参数之类的，这时候就需要程序进行中断处理后再退出。当然服务器突然断电或重启是没法救的了。python有个模块signal，signal包负责在Python程序内部处理信号，典型的操作包括预设信号处理函数，暂 停并等待信号，以及定时发出SIGALRM等。要注意，signal包主要是针对UNIX平台(比如Linux, MAC OS)，而Windows内核中由于对信号机制的支持不充分，
2021-06-11 21:50:31
345
转载 import cv2后ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.22‘ not found
卸载了opencv3.3重新用conda装了opencv3.4之后发现import cv2出现了ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.22‘ not found的错误解决办法：参考文章
2021-03-03 22:00:45
478
1
原创 slurm sbatch 多任务运行 --ntask
-ntasks或-n任务在SLURM中做什么？我在用是slurm，使用一些计算集群-NTASK公司或-n. 我显然已经读过相关文档了http://slurm.schedmd.com/sbatch.html:sbatch不启动任务，它请求分配资源并提交批处理脚本。此选项建议Slurm控制器在分配中运行的作业步骤将启动最多 个任务，并提供足够的资源。默认值是 每个节点一个任务，但是请注意–cpus per task选项将 更改此默认值。我不明白的是：在分配内运行将启动最大数量的任务，并提供足够的资源。
2021-01-18 11:47:27
9631
2
原创 Andrew Ng 《Deep Learning》 Notes
Improving Deep Neural Networks初始化一般的数据集，训练：开发集=7：3；训练：开发：测试=6：2：2大数据集：几万，99：1，开发/测试：1万就够了扩大网络+正则化：减小偏差不增大方差增加数据：减小方差不增大偏差正则化L2一般用L2多于L1通常使用开发集或hold-out交叉验证，来选择正则化参数λ正则化大→w趋于0，则①某些隐藏单元接近0，网络变为更简单的网络；②z=wa+b，z变得很小，tanh激活函数接近线性，网络只能拟合线性函数，不能拟合复杂的
2020-12-31 18:10:26
127
原创 EfficientNet 部分源码解读
模型链接：https://github.com/tensorflow/tpu/blob/master/models/official/efficientnet/efficientnet_model.pyHead分类头build： #激活函数 self._relu_fn = (self._block_args.activation_fn or global_params.relu_fn or tf.nn.swish) # Head part. #卷积层
2020-12-18 10:29:20
1400
1
原创 PIL opencv 坐标系
PIL：opencv：opencv的cv2.warpAffine(image,M,(1080,1080))，M为仿射矩阵（2，3）第一行为横向，第二行为竖向
2020-12-10 16:08:34
456
1
原创 OHEM源码部分
在线难例挖掘OHEM论文Training Region-based Object Detectors with Online Hard Example Mining源码链接https://github.com/abhi2610/ohem基于Fast R-CNN，框架基于CaffeOHEM训练样本生成的部分在/ohem/blob/master/lib/roi_data_layer/minibatch.py里的 get_ohem_minibatch函数def get_ohem_minibatch(lo
2020-11-30 16:22:32
175
1
原创 ENVI 5.3 添加地理坐标信息Map Info
根据有地理坐标的图像给无地理坐标的图像添加一个Map Info，把两张图放到同一个地理坐标下。起因我尝试过有地理坐标和无地理坐标的图似乎无法配准，无地理坐标需要至少三个tie points，而手动添加时无地理坐标和有地理坐标的图在同一个View下相距太远，而图又太大了。有地理坐标的图采用WGS84的UTM投影，两幅图默认的距离超出了分度带，添加的点坐标都不对（x显示都是1）。解决方法原先参考这个博ENVI给tif影像添加地理坐标，发现5.3不长这个样子，5.3的流程如下：右键无地理坐标的图找到V
2020-11-17 11:14:58
8585
9
原创 matlab、opencv、pytorch实现仿射变换
matlabtform = affine2d(tform');dst=imwarp(img,tform);figure;imshow(dst);%会自动移到中心opencv需要自己平移Mat Mt= (Mat_<float>(2, 3) << 1,0,0,0,1,0);warpAffine(srcimg, img, Mt,Size(N, M));//输出大小N*Mpytorch和直觉相反，仿射变换矩阵应为A的逆。需要缩放平移才能显示完全class Affi
2020-08-28 23:38:55
506
原创 DL相关库(PIL,numpy,pandas,cv)
Numpy创建import numpy as np a = np.array([1,2,3],dtype = None, copy = True, order = None, subok = False, ndmin = 0)numpy.asarray(a, dtype = None, order = None)#可以是，列表, 列表的元组, 元组, 元组的元组, 元组的列表，多维数组...
2020-05-11 10:55:33
300
原创 virtualenv建立python3虚拟环境
virtualenv env报错，最后一行是OSError: Command /home/cy/ML/env/bin/python2 - setuptools pkg_resources pip wheel failed with error code 2往前翻了下还有个错HTTPError: 404 Client Error: Not Found for url: https://pypi.t...
2020-05-01 23:45:09
357
原创 Python3学习笔记
参考教程：菜鸟教程基本语法；分隔同行两句代码数据类型类型是属于对象的，变量无类型，不需要提前创建查询类型:type()不会认为子类是一种父类类型。isinstance()会认为子类是一种父类类型。不可变Number（数字）、String（字符串）、Tuple（元组）可变List（列表）、Dictionary（字典）、Set（集合）数组数组从0开始，[0:5]表示从第一个到...
2020-05-01 15:17:25
505
原创 深度学习目标检测笔记
目标检测两阶段R-CNN生成候选区域selective search：分割成矩形框→合并→不同大小的候选区域缩放到相同大小 得到定长向量CNN提取特征预训练不带框微调（fine-tuning)带框标注（可选）对区域分类分类：线性SVM、softmax边框较准：线性回归。输入特征（？特点：在特征提取时间最长，扩展类别时间没有上升SPP-net空间金字塔池化不需要每个...
2020-04-28 18:13:07
172
原创 虚拟机ubuntu中共享文件夹看不到
我的虚拟机Ubuntu18.04+win10共享文件夹在mnt/hgfs下看不见，输入vmware-hgfsclient能看到设置的共享文件夹，但是ls看不见。重装过VMtools也不行，最后在这篇blog里解决了ubuntu中共享文件夹看不到.我解决的关键是要获得超级用户权限，su了之后就能看到了...
2020-04-23 12:35:28
3889
vlfeat中sift特征点检测和匹配
2020-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人