- 博客(172)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 神经网络后面的层被freeze住，会影响前面的层的梯度吗？
神经网络后面的层被freeze住，会影响前面的层的梯度吗？答案是不会。假设一个最简单的神经网络，它只有一个输入x，一个隐藏层神经元h，和一个输出层神经元y，均方差损失Lhw1⋅xyw2⋅hL21y−t2以下分w2是否被freeze住，即w2.requires_grad是否为True来讨论。
2024-03-29 11:39:36
789
原创 pytorch loss函数整理
这时候如果用BCE Loss，图片里的每个像素都要去进行二分类，而绝大部分的像素都是负样本，所以会存在正负样本不平衡的问题。在许多实现中，将预测值 logits 和目标 targets 在计算Dice Loss的过程中除以一个缩放因子（如 1000 或 10000），通常是为了数值稳定性。在二分类问题中，每个样本的标签只有两种可能的状态，通常表示为 0（负类）和 1（正类）。Dice系数是一种用于评估两个集合的相似性的度量函数，取值范围在0到1之间，取值越大表示越相似。起作用，第二部分为 0。
2024-03-03 13:39:10
955
1
原创 defaultdict, Counter, json包中的load, dump是否都保持插入顺序
自python3.7以来，python的dict都会保留插入顺序，那么相关的defaultdict, Counter，以及使用`json.load`、`json.dump`也一定能保持顺序吗？
2023-08-28 00:39:49
282
原创 macbook将新壁纸添加到官网壁纸中
在Mac OS 12.0.1版本中，所有的官方壁纸都存储在/System/Library/Desktop Pictures路径中的，但该文件夹在正常进入系统的情况下是无法进行读写的，哪怕使用sudo也不行。如果想添加新壁纸到官方壁纸中的话，可以创建一个新目录/Library/Desktop Pictures，然后将新壁纸添加到这个新目录中，即可在设置->桌面与屏幕保护程序->Apple->桌面图片中找到新壁纸了。...
2021-11-10 19:44:51
668
原创 C++刷题时应该返回对象还是返回对象的指针？
本文仅针对C++写算法题时，遇到要返回对象的情况时，应该返回对象还是返回对象的指针做出探讨。众所周知，C++的变量和java、python不同，C++的变量并不是天然的指针，所以对象类型的变量之间的赋值远比java、python耗时，例如下列代码：//cppvector<int> a(10000);vector<int> b = a; // 拷贝构造，a和b两个vector有各自的独立空间，需要消耗时间和空间//pythona = [0 for _ in rang
2021-09-21 05:35:50
546
原创 c++ map遍历过程中删除元素的坑
结论：不同的环境下表现是不一样的。#include <bits/stdc++.h>using namespace std;int main(){ map<int,int> mp; mp[1] = 1; mp[2] = 2; mp[3] = 3; auto it = mp.find(1); mp.erase(it); cout << it->second << endl; //Mac homebrew安装的g++ 11.2.0 :
2021-09-19 04:37:33
453
原创 865. 具有所有最深节点的最小子树
与“1123. 最深叶节点的最近公共祖先”题相同。求最深叶节点的lca就是求具有所有最深节点的最小子树。思路1：一遍dfs求最大深度，再来一遍dfs求这些深度最大的点的lcaclass Solution {public: int getDepth(TreeNode* root) { if (root) { int left = getDepth(root->left); int right = ge
2021-08-29 17:20:14
114
原创 python multiprocessing NameError: name is not defined
使用python multiprocessing库使用全局变量时，出现错误NameError: name is not defined原来在调用pool = multiprocessing.Pool()之后，再设置的全局变量就失去作用，所以要在这行代码之前将要使用的全局变量设置好。参考：https://stackoverflow.com/questions/39095530/multiprocessing-does-not-see-global-variables...
2021-02-03 00:25:51
2706
原创 Mac Shell配置
从 macOS Catalina 版开始，mac的默认shell变成了zsh。由于平时常用环境是bash，想对zsh进行一些配置使得它更像bash。编辑zsh描述文件：vi ~/.zshrcunsetopt prompt_sp prompt_cr # 解决zsh不完全行会多%号的问题，两者缺一不可，只有前者会导致部分行被舍弃zle_highlight+=(paste:none) # 取消复制高亮PS1="jt:%~$ " # 设置前缀如果将默认shell换成了bash，则会在启动终端的时候收到一
2020-12-24 01:25:18
763
1
原创 linux shopt反选删除文件
在linux下反选文件删除的命令为rm -rf !(xxx)，但有可能报错：-bash: !: event not found解决办法：shopt -s extglob用这条指令开启模式匹配功能。 参考：https://www.cnblogs.com/wjoyxt/p/10408423.html
2020-12-21 02:29:26
401
原创 vscode自定义主题
比较喜欢Monokai字体，但是其中有一些内容不太喜欢，想微调下Monokai。Mac# 先进入vscode管理主题的地方cd /Applications/Visual\ Studio\ Code.app/Contents/Resources/app/extensions# 复制你想微调的主题cp -rf theme-monokai theme-monokai-jtcd theme-monokai-jt# 修改主题包的信息open package.json # 或者用vim来改# na
2020-11-03 03:22:22
1968
原创 RuntimeError: DataLoader worker (pid) is killed by signal: Killed.
炼丹时遇到错误：RuntimeError: DataLoader worker (pid) is killed by signal: Killed.原因是机器内存不够。可通过减少dataloader的num_worker或增加虚拟内存解决。
2020-08-08 17:39:13
19363
6
原创 RuntimeError: Address already in use
同时跑两个pytorch DDP程序时，会出现下列错误：Traceback (most recent call last): File "train_tasks.py", line 471, in <module> main() File "train_tasks.py", line 211, in main torch.distributed.init_process_group(backend="nccl") File ".../anaconda3/envs/v
2020-08-03 21:52:50
11717
1
原创 python现象记录
即使经过序列化和反序列化，指针的效应任然存在：a = [[1,1], [1,1]]a = a + aa[0][0] = 999print(a)import _pickle as cpicklewith open("./test.pkl", 'wb') as f: cpickle.dump(a, f)with open("./test.pkl", 'rb') as f: temp = cpickle.load(f)temp[0][0] = 123print(temp)tem
2020-07-17 21:42:11
154
原创 无sudo权限解决ImportError: /lib64/libstdc++.so.6: version
当系统内gcc和动态链接库版本过低时，常常会见到下面的两条错误：ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not foundImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found无sudo权限解决办法：（1）设置LD_LIBRARY_PATH为蕴含高版本动态链接库的目录，例如：export LD_LIBRARY_PATH=/mnt/j
2020-07-16 22:04:10
2357
3
原创 使用conda安装gcc
!! WARNING !! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! Your compiler (g++ 4.8.5) may be ABI-incompatible with PyTorch! Please use a compiler that is ABI-compatible with GCC 4.9...
2020-07-13 01:16:42
22217
12
原创 pytorch，cuda，cudatoolkit，driver版本详解
pytorch，cuda，driver三者关系如下：pytorch与cudapytorch和cuda并不是一一对应的关系，一个pytorch版本可以有多个cuda版本与之对应。例如1.5.1版本的pytorch，既可以使用9.2版本的cuda，也可以使用10.2版本的cuda。事实上，你在安装pytorch时无需考虑自己需要安装什么版本的cudatoolkit，例如你想安装1.5.1版本的pytorch，直接conda install pytorch=1.5.1 -c pytorch即可，conda会
2020-07-04 00:54:07
20437
5
原创 Mac上QQ电话录音
在Mac上使用QQ电话时，需要同时记录下双方的声音。最后找到了loopback这个软件。QQ for Mac上的通话机制有两点需要注意：一旦通话开始，再在设置里手动更改声音的输入设备是无效的如果使用的是内置麦克风（或者外置麦克风），一旦QQ电话开始，其他任何软件都无法捕捉。很好猜测QQ这么设计的想法，比如假设两台Mac在打QQ电话，两台都是使用Mac自带的麦克风和扬声器。那么打电话时，两台...
2020-05-08 10:42:32
2096
原创 在模型进行inference的时候爆显存
使用相同的参数进行模型的训练和inference。但居然在inference时出现：RuntimeError: CUDA out of memory后来发现可能是由于改变了inference出来的特征之后的计算过程，导致使用了更多的显存来计算梯度。原来计算出特征之后直接去算loss，而在inference时计算出特征之后是一些其他的操作。之前以为model.eval()就可以停止计算梯度，...
2020-04-06 21:56:38
1431
1
原创 Exception: libsodium not found
遇到如下错误：Exception: libsodium not found在命令行输入：sudo yum install libsodium.x86_64问题即可解决。
2020-04-05 00:28:30
2467
原创 win10禁用笔记本自带键盘和触控板
禁用键盘以管理员身份运行cmd，输入：sc config i8042prt start= disabled如果提示执行成功，重启即可。不成功的话只能去找其他方法，例如换一个错误的驱动程序等。如果要恢复键盘，以管理员身份运行cmd，输入：sc config i8042prt start= auto然后重启即可。禁用触控板打开设备管理器，找到鼠标和其他指针设备，根据常识猜测出可能是...
2020-03-16 21:41:03
2408
2
原创 *** Received signal 11 *** subprocess.CalledProcessError Segmentation fault
跑pytorch DDP时遇到下列错误：*** Received signal 11 ****** BEGIN MANGLED STACK TRACE ***/home/sanshuai.lj/software/anaconda3/envs/vilbert/lib/python3.6/site-packages/tensorflow/python/../libtensorflow_frame...
2020-03-08 14:12:43
2903
6
原创 linux配置文件读取顺序
login方式登录login登录方式有：ssh等。读取顺序为：/etc/profile -> (~/.bash_profile, ~/.bash_login, ~/.profile)non-login方式登录non-login登录方式有：screen命令，bash命令，su切换用户，从图形界面打开teminal等。读取顺序为：Ubuntu：/etc/bash.bashrc -&...
2020-03-07 15:24:31
637
原创 ssh/scp/rsync探索小记
目录ssh配免密码SCP通过跳板机传输ssh配免密码首先通过ssh-keygen生成ssh所用的公钥和私钥：ssh-keygen三次回车然后通过ssh-copy-id来把本地主机的公钥复制到远程主机的authorized_keys里：ssh-copy-id user@server当然，也可以手动操作实现ssh-copy-id：scp ~/.ssh/id_rsa.pub use...
2020-03-03 23:39:03
324
1
原创 vi常见用法
功能命令Visual模式v行Visual模式ctrl v块Visual模式shift v所有行注释:%s/^/#/g指定行注释:10,20s/^/#/g取消高亮:noh删除整行dd在下方添加一行o...
2020-03-03 18:38:02
163
原创 修改/etc/sudoers的注意事项
千万不能把/etc/sudoers的写权限赋给other用户组，即不能使用：sudo chmod 777 /etc/sudoers否则使用sudo时会出现：sudo: /etc/sudoers is world writablesudo: no valid sudoers sources found, quittingsudo: unable to initialize policy ...
2020-03-02 18:56:51
5833
原创 TypeError: _queue_reduction(): incompatible function arguments.
使用pytorch的DDP分布式训练的时候遇到错误：TypeError: _queue_reduction(): incompatible function arguments. The following argument types are supported: 1. (process_group: torch.distributed.ProcessGroup, grads_batc...
2020-02-18 05:23:03
5800
4
原创 配置sudo免密码
Mac OSshell内输入sudo vi /etc/sudoers，找到root ALL = (ALL) ALL，在下方添加：%admin ALL=(ALL) NOPASSWD: ALLEsc后输入wq!强制覆盖Ubuntushell内输入sudo vi /etc/sudoers，找到root ALL=(ALL) ALL，在下方添加：你的用户名 ALL=(ALL) NOPASSWD...
2020-02-15 17:03:40
942
原创 服务器开启jupyterlab
安装jupyterlab：pip install jupyterlab生成配置文件，并记下输出的配置文件地址，一般是在~/.jupyter/jupyter_notebook_config.py：jupyter lab --generate-config打开python解释器，输入：from notebook.auth import passwdpasswd()此时会让你设置密码...
2020-02-03 14:32:17
1508
5
原创 ImportError: libSM.so.6: cannot open shared object file: No such file or directory
当运行python代码时，经常会遇到这个问题：ImportError: xxxxx.so.x: cannot open shared object file: No such file or directory出现这个error是因为缺少共享文件库，解决办法如下：(1) 谷歌和百度基本能解决90%的ImportError(2) 使用apt-file来查找需要安装的依赖包apt-file...
2020-02-03 03:00:13
561
原创 Ubuntu配置locale
安装软件时出现下列警告，说明locale没有正确设置。perl: warning: Setting locale failed.perl: warning: Please check that your locale settings: LANGUAGE = (unset), LC_ALL = (unset), LC_CTYPE = "UTF-8", LANG = (unset) ...
2020-02-03 02:47:29
873
原创 使用conda安装的cudatoolkit安装NVIDIA apex
需要在一台无sudo权限的机器上编译安装NVIDIA的apex扩展，然而系统的cuda版本是9.0。查看系统cuda千万不能用nvidia-smi来看，nvidia-smi提供的是Driver Cuda的版本，并非我们运行时所用的cuda。可以用下列最可靠的指令来看系统cuda版本。nvcc -V或者（如果你没配环境变量的话）/usr/local/cuda/bin/nvcc -V编译...
2020-01-07 22:43:42
16742
原创 Win10右键菜单新建.md文件
换了新电脑后，安装完typora，按照旧电脑成功添加新建md文件的做法重做一遍，参考这个帖子：Windows Registry Editor Version 5.00[HKEY_CLASSES_ROOT\.md\ShellNew]"NullFile"="""FileName"="template.md"将这段文本保存为.reg文件后运行，但在新电脑上却无法成功让右键菜单多出新建md选项...
2020-01-03 00:15:07
1587
7
原创 ValueError: Object arrays cannot be loaded when allow_pickle=False
方法一pip install numpy=1.16.2方法二在np.load参数列表上加上allow_pickle=True
2019-11-20 16:41:15
25228
14
原创 conda和pip配置命令大杂烩
echo "${你的Anaconda安装目录}/anaconda3/etc/profile.d/conda.sh" >> ~/.bashrc
2019-10-22 23:56:32
278
#include <bits/stdc++.h>有关的一些问题
2017-10-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人