- 博客(181)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 PyCharm更新package结构，解决unresolved Reference问题
Pycharm在更新某个包文件后，interpreter不会自动更新skeleton，导致import刚安装的package的时候会出现“unresolved Reference”错误。解决方案:在File-setting-python interpreter中进行操作：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AbDDlo8h-1593293646356)(https://intellij-support.jetbrains.com/hc/user_images/a
2020-06-28 05:34:31
1269
原创 RuntimeError: invalid argument 5: k not in range for dimension at...
问题根源这种情况往往出现在使用pytorch训练模型过程中，调用topk方法的时候。问题根源是，传入的参数超过了该dimension的限制。例如tmp的shape是[4,128,1],而调用了tmp.topk(129,dim=1),显然129>128是不合理的。另一种可能是，dataloader在load数据的时候，最后一个batch只剩了一个1个数据，而由于某些squeeze的操作导致传回的结果d的shape不是[1,128,1],而是[1,128]或者[128]。这种情况下，出现了和上面相同
2020-05-24 03:16:17
3952
3
原创 Graph的度(degree),帮助理解GCN
度 / 自由度的理解度（degree）/ 自由度，也叫valency（直译化合价），是指Graph(图)中一个节点，有多少条边连接其上。图的度是其所有节点的度中最大值。对于“度”的理解，结合自由度，和化合价这个英文原词来理解，本意应该是衡量一个节点与外界连通性的度量。例如在计算二阶导数时一元函数（一维函数）其公式如下，直观上可以理解为：其二阶导数等于其在所有自由度上微扰之后获得的增益。一维函数其自由度可以理解为2，分别是+1方向和-1方向.f′′(x)=∂2f(x)∂x2=f′(x
2020-05-23 07:16:27
3958
原创 Nvidia风扇速度自动调节工具推荐
Nvidia风扇速度自动调节工具推荐众所周知，nvidia自家的GPU设定工具nvidia-settings的风扇转速调节功能实在难用。如果使用转速自动调节模式，GPU风扇的转速跟不上散热需求变化。往往GPU温度已经70~80度了，风扇转速还是停留在40%左右的速度，温度降不下来。如果使用手动转速调节模式，首先要通过改变一堆coolbits打开手动调节功能（可搜索调节nvidia gpu风...
2020-05-04 04:20:13
9442
1
原创 多GPU运行PyTorch报错dimension specified as 0 but tensor has no dimensions
错误信息dimension specified as 0 but tensor has no dimensions问题原因CrossEntropyLoss的输入必须为tensor，不能为scalar（标量），即输入的数据维度不能为None.解决办法使用view方法改变维度为1，如target = target.view(-1),这样假如原来target是1,使用后变为[1],维度从N...
2020-02-25 03:29:48
2580
原创 Shapely.Polygon.intersection报错:TopologyException: Input geom 1 is invalid: Ring Self-intersection...
报错信息使用shapely中的Polygon类构建的多边形计算intersection的时候遇到如下报错：TopologyException: Input geom 1 is invalid: Ring Self-intersection at or near point...错误原因给出的Polygon中包含了一个所谓的self intersection，根据报错和网上信息怀疑是因为多...
2020-02-25 03:29:06
11968
1
原创 PyTorc添加网络图结构add_graph报错：RuntimeError: Cannot insert a Tensor that requires grad as a constant.
错误说明在使用PyTorch自带的TensorBoard的add_graph方法将网络图结构添加到监测信息中时，遇到如下报错：RuntimeError: Cannot insert a Tensor that requires grad as a constant. Consider making it a parameter or input, or detaching the gradie...
2020-02-01 02:17:18
6729
3
原创 Unable to determine the device handle for GPU. GPU is lost. Reboot the system to recover this GPU.
服务器上服务器上GPU频繁lost的情况，报错信息如下：Unable to determine the device handle for GPU. GPU is lost. Reboot the system to recover this GPU.主要原因可能有：驱动问题解决办法：更新驱动；gpu过热导致，这种情况解决方法有这几种：将gpu风扇转速改为手动控制，调高转速...
2020-01-08 02:13:06
20125
原创 pytorch中model eval和torch no grad()的区别
model.eval()和with torch.no_grad()的区别在PyTorch中进行validation时，会使用model.eval()切换到测试模式，在该模式下，主要用于通知dropout层和batchnorm层在train和val模式间切换在train模式下，dropout网络层会按照设定的参数p设置保留激活单元的概率（保留概率=p); batchnorm层会继续计算数据......
2020-01-08 02:06:11
24871
10
原创 TensorFlow的静态图机制和Tensorboard中手动添加监控数据(scalar/simple_value...)的方法
说明本文将介绍如何向tensorboard中添加sclar的方法，但会先尽量简要介绍一下tensorflow的静态图机制，查看添加方法可以直接去这一部分TensorFlow的静态计算图机制关于并非众所周知的静态计算图，唯一能说的是，这肯定是TensorFlow不太容易上手的原因之一。与PyTorch的动态计算图的简洁直观不同，TensorFlow的静态图将计算图的定义与运行分开进行，导致读和...
2019-11-15 06:03:03
947
原创 Python使用os.path.join只保留最后一个变量的原因
在使用Python的os.path.join('a_path','bbb','/ccc')来合并路径时，合并的结果如果只保留了最后的’/ccc’，是因为最后的一个变量名包含了斜杠，函数会将其识别成绝对路径，因此就会忽略前面所以的其他路径。...
2019-06-07 05:56:48
689
原创 Nvidia GPU风扇和电源显示ERR! 解决办法
问题最近在Ubuntu上使用Nvidia GPU训练模型的时候，如果机器锁屏一段时间再打开的时候鼠标非常卡顿，或者说显示界面非常卡顿，使用nvidia-smi查看发现，训练模型的GPU没有问题，但是连接显示屏的GPU的风扇和电源报错：解决方案自动风扇控制在nvidia论坛有人给出了解决方案，即问题的根源可能是风扇转速不足使GPU过热导致的。首先开启GPU的persistent mode...
2019-04-11 03:15:29
18956
2
原创 docker警告：Your kernel does not support cgroup swap limit capabilities
问题运行docker时如果使用命令``出现如下警告：WARNING: Your kernel does not support swap limit capabilities. Limitation discarded.解决方案这是在ubuntu或其他基于Debian的系统上才会出现的问题，原因是系统默认未开启swap限制。(开启后会使系统内存占用多1%,性能下降约10%,即使没有运行d...
2019-04-10 05:06:18
21462
3
原创 Docker中运行PyTorch错误 RuntimeError: DataLoader worker (pid 123456) is killed by signal: Aborted.
问题在Docker中运行PyTorch程序时，如果报错：RuntimeError: DataLoader worker (pid 123456) is killed by signal: Aborted.最可能的原因是，Docker的共享内存不足，解决办法是，要么改成更小的batchsize，要么退出docker后，重新运行docker并指定更大的共享内存。同时这个原因可以从docker的...
2019-04-10 04:36:48
17539
1
原创 swap（交换内存）和shm（共享内存）的区别
关于swap和shm的区别在使用docker的过程中，发现docker中有很多关于内存的命令，例如：-m="10g",docker的运行内存，按照官方文档描述，应该是对应于实际机器的物理内存，因此在设置的时候，肯定是要比本机物理内存小的；单位可以是b/k/m/g-memory-swap="11g"，内存+交换内存，即物理内存+交换内存的总大小，要大于等于上面设置的-m的大小，设置格式同上...
2019-04-10 04:31:00
6821
翻译 ubuntu无法取消粘滞边缘(sticky edge)解决办法
Ubuntu中使用双屏显示时，两屏之间的边缘默认是开启“粘滞边缘”的，即鼠标滑动慢的情况下，会卡在屏幕中间无法“穿越到”另一个屏幕。如果关闭“setting-display-sticky edge”仍然无法取消“粘滞边缘”功能的话，需要通过安装插件实现：sudo apt-get install compizconfig-settings-manager安装完成后，命令行中输入ccms启动刚刚...
2019-04-03 05:43:38
1616
原创 Python3 错误UnicodeEncodeError: 'ascii' codec can't encode characters in ordinal
问题之前在使用Python2的时候，经常会遇到编码相关的错误，异常头疼。主要是因为Python2字符串设计上有一些固有的缺陷：使用 ASCII 码作为默认编码方式，对中文处理很不友好。把字符串的牵强地分为 unicode 和 str 两种类型，误导开发者与Python2不同，Python3默认使用utf-8编码方式，并且Python3的字符主要由两种：str/byte。因此正常情况...
2019-03-20 09:41:34
11626
1
原创 常用损失函数
常用损失函数损失函数（loss function或cost function）是关于模型输出（predict）与标签（ground-truth）的函数，主要用于衡量在训练集（或验证集、测试集）上的效果。1.均方误差损失函数 (MSE loss function)损失函数定义如下：L=(y−label)22L = \frac{(y-label)^2}{2}L=2(y−label)2很少...
2019-03-14 04:48:14
624
原创 损失函数中的logits
PyTorch（tensorflow类似）的损失函数中，有一个（类）损失函数名字中带了with_logits. 而这里的logits指的是,该损失函数已经内部自带了计算logit的操作，无需在传入给这个loss函数之前手动使用sigmoid/softmax将之前网络的输入映射到[0,1]之间.logit函数其形式如下：L(p)=p1−pL(p)=\frac{p}{1-p}L(p)=1−pp...
2019-03-11 10:07:32
4817
原创 '使用PIL crop图像的错误：AttributeError: ''_idat'' object has no attribute ''fileno'' '
在使用PIL的Image类的crop方法切割图像时如果报如下错误:AttributeError: '_idat' object has no attribute 'fileno'During handling of the above exception, another exception occurred:File "/home/username/anaconda3/lib/pyth...
2019-02-26 02:03:38
7046
2
原创 docker中安装java运行环境JRE
在docker中或者在Ubuntu命令行中安装java运行环境类似，一般有两种方法：通过在java官网下载jdk安装包安装；通过apt安装jre；如果只需要java运行环境的话，方法2已经足够：（在运行docker后，直接再命令行中运行命令即可）sudo apt-get updatesudo apt-get install default-jre如果需要java开发环境的话，则...
2019-02-07 08:04:09
3762
原创 docker运行pytorch报错: RuntimeError: Rerunning with num_workers=0 may give better error trace.
使用docker运行Pytorch的时候如果报如下错误：RuntimeError: DataLoader worker (pid 493) is killed by signal: Bus error. Details are lost due to multiprocessing. Rerunning with num_workers=0 may give better error trace...
2018-12-21 05:49:10
3277
1
原创 Ubuntu安装医学图像处理库openslide-python和pyvips
使用python处理svs格式的图像需要特定库的支持,常见的可以选择openslide.Ubuntu上安装openslide可以参考此处,使用pip install openslide-python==1.1.1其中,使用什么版本安装可以参考Openslide官网链接.但是安装后如果直接在Python中import openslide可能会报以下错误：OSError: libopens...
2018-12-19 06:10:40
5076
1
原创 似然（likelihood）和概率（probability）的区别与联系
虽然经常在paper和教程中看到“似然（likelihood）”的概念，但是一直都没有仔细研究似然与概率的区别，今天查了一些资料，有些收获，在此总结一下。似然与概率的区别简单来讲，似然与概率分别是针对不同内容的估计和近似。概率(密度)表达给定θ\thetaθ下样本随机向量X=x\textbf{X} = {x}X=x的可能性，而似然表达了给定样本X=x\textbf{X} = {x}X=x下参数...
2018-12-18 05:22:16
102168
16
原创 arXiv和CoRR的区别与关系
之前搜paper就总能看到CoRR的身影，甚至有很多引用也出自该网站。当时只是草草看了一眼，CoRR代表的是：Computer Research Repository，即计算机研究领域的论文库。但是一直有个问题萦绕心头，没有解决：这个网站和arXiv的区别与关系是啥？今天看paper时又看到了CoRR，遂稍加仔细看了一下网站内容，在CoRR网站最下方有一行字明确指出了其定位和arXiv的关系：...
2018-12-03 13:33:58
65374
10
原创 Mac上使用pip安装jupyter
在 EI captain 版本以及以上系统的 Mac 上使用pip安装 python 相关的包的时候, 由于sip机制(System Integrity Protection)的不允许命令行写入内容到系统目录, 因此一个比较”优雅”的解决方案就是针对当前用户安装包 pip install jupyter --user your_user_name安装完成后, 直接在命令行里输入jupyter no
2017-10-15 22:41:29
3442
1
原创 Atom的配置与插件
在Atom中使用cmd+,来打开settings在Atom中使用GitHubAtom中集成了VSC, git和GitHub. 使用自带的GitHub管理功能可以在Atom中直接修改代码,pull和push代码.点击Packages-GitHub-Toggle Github会在右侧弹出Github的控制面板, 通过登录GitHub账号获取Token后, Atom的GitHub插件就与你的Gibhub账
2017-10-15 22:40:27
1880
原创 TensorFlow使用中的错误
找不到模型文件 / 用于初始化的预训练文件 perhaps your file is in a different file format and you need to use a different restore operator?解决方法类似这里, 即设置的目录不是checkpoint文件所在目录, 还需要把Checkpoint的前缀(prefix)作为目录名的一部分.例如名为myMo
2017-09-13 15:34:26
5990
7
翻译 [caffe]python3编译caffe错误:cannot find -lboost_python3
参考github上的相关issue针对Python3编译caffe时make all的时候出现了如下错误cannot find -lboost_python3首先去/usr/lib/x86_64-linux-gnu目录下查看是否有python3版本的libboost，如果有类似libboost_python35.so但是没有libboost_python3.so则需要手动建立连接。 方法为：su
2017-09-08 15:29:45
11350
原创 Atom备份/同步神器
介绍Sync-settings可以通过使用Github的Gist建立一个atom的package的描述文件packages.json来在不同设备之间同步Atom的设置和插件.安装两种方法: 1. 命令行中运行apm install sync-settings 2. 直接在Atom中按cmd+, 打开设置中的安装,输入安装包名Sync-settings安装.设置 参考官方链接打开 Sync S
2017-09-06 15:52:26
2213
原创 git中的 .gitignore 的忽略规则
git中的 .gitignore 的忽略规则git项目中的.gitignore文件的作用是: 忽略项目中的某些文件/文件夹，不把某些本地仓库的文件/文件夹提交到远程的版本库中 通过git init建立的项目或者git clone下来的项目一般都会有这个文件; 其他情况下需自己手工建立此文件匹配规则为:每行保存一个匹配规则, 同时使用#作为注释标识 *.a # 忽略所有 .
2017-09-05 10:58:49
525
原创 git中的 .gitignore 的忽略规则
git项目中的.gitignore文件的作用是:忽略项目中的某些文件/文件夹，不把某些本地仓库的文件/文件夹提交到远程的版本库中通过git init建立的项目或者git clone下来的项目一般都会有这个文件; 其他情况下需自己手工建立此文件匹配规则为:每行保存一个匹配规则, 同时使用#作为注释标识*.a # 忽略所有 .a 结尾的文件!lib.a #
2017-09-05 10:49:11
574
原创 [Python]cannot import name IntEnum
如果已经安装了enum包还报错，则需要再安装下面的包sudo pip install enum34
2017-08-30 17:24:50
5240
原创 报错*** Error in `python': free(): invalid pointer
在使用PyTorch或者Tensorflow或者caffe的时候，如果出现如下报错*** Error in `python': free(): invalid pointer: 0x00000000020663b0 ***很可能是缺少libtcmalloc-minimal4库，首先安装sudo apt-get install libtcmalloc-minimal4然后打开~/.bashrc文件su
2017-08-30 16:46:36
13529
2
原创 ubuntu16.04+cuda8+opencv3下caffe-make all时报错x86_64-linux-gnu/libglog.so: undefined reference
错误类似下面这样: /usr/lib/gcc/x86_64-linux-gnu/5/../../../x86_64-linux-gnu/libglog.so: undefined reference 很有可能时安装完opencv后没有添加opencv的动态链接: 在opencv安装完(make -j && make install -j)后需要执行: sudo /bin/bash
2017-08-11 20:32:30
3182
原创 Ubuntu16.05+CUDA8下编译OpenCV错误 [...cuda_compile_generated_gpu_mat.cu.o] Error 1
错误的log大概如下 make2: * [modules/core/CMakeFiles/cuda_compile.dir/src/cuda/./cuda_compile_generated_gpu_mat.cu.o] Error 1 make1: [modules/core/CMakeFiles/opencv_core.dir/all] Error 2类似情况网上比较多,例如这里
2017-08-11 18:24:06
7517
3
原创 windows上xgboost 安装及问题
安装说明windows上安装xgboost就是一坑= =，首先，官网取消了VS编译的教程和支持，推荐MinGW编译。所以网上很多用VS编译的都有问题，官网推荐的那个教程编译也出错了。所以还是推荐用mingw编译，这样出错也好找相关问题。MinGW下载地址，当然下载开头的那个 Download mingw-w64-install.exe (170.0 kB) 在本地下载安装也是很方便的MinGW安
2016-10-06 11:28:17
6385
7
原创 【效率】各种实用插件
sublime text2均通过package control安装 1、goto document,安装后可以直接在php函数上点击后按F1跳转到官网帮助文档 2、SVN，可以在安装SVN的电脑上直接使用alt+c来commit文件 3、 view-in-browser， 在html文件中 按 ctrl+shift+b 即可由浏览器打开 4、SublimeREPL 可以用于运行和调试一些需要
2015-12-16 22:52:08
657
1
原创 Python下MySQL数据库操作
Python 简单的MySQL数据库操作参考链接1、首先需要下载安装MySQL-python模块2、数据库的操作流程 Python的DB-API，为大多数的数据库实现了接口，使用它连接各数据库后，就可以用相同的方式操作各数据库。Python DB-API使用流程： 引入 API 模块获取与数据库的连接执行SQL语句和存储过程关闭数据库连接测试代码：# -*- encoding: utf-
2015-12-16 17:14:05
698
1
flatland皮肤-sublime text皮肤
2015-03-29
Qt Creator的主题修改文件
2014-09-14
Qt Creator配色方案
2014-09-14
番茄助手2023版本 可用于6.0到2012
2014-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人