- 博客(134)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【已解决】github上传大文件：this exceeds GitHub‘s file size limit of 100.00 MB
下载并安装 Git 命令行扩展。很显然，提示是因为在上传文件到git仓库时，某个文件（权重）大于100M，所以上传失败。其实git官方已经给了解决方案：https://git-lfs.github.com。选择你希望git lfs管理的文件或者文件类型。
2023-05-06 17:00:31
955
1
原创 修改launch.json文件解决Visual Studio Code不能读取相对路径的问题
问题：vscode在直接运行时可以正常运行，在debug模式下会报相对路径找不到的错误。
2023-04-13 10:59:38
1011
1
原创 如何在Pytorch中载入部分权重
很多时候，比如我们不想训练模型，想用预训练模型来进行测试，或者加载预训练模型来训练。但是预训练模型中网络权重已经训练好了，是一个整体。比如resnet网络默认输出的类别是1000类，但是我们现在的数据是5类，那怎么才能用上这个预训练模型呢？
2023-03-31 16:18:47
501
原创 MAC vscode 编译多个文件失败（已解决）
Undefined symbols for architecture x86_64: "swap_test(int, int)", referenced from: _main in main-323346.old: symbol(s) not found for architecture x86_64clang: error: linker command failed with exit code 1 (use -v to see invocation)
2022-09-01 15:11:54
1847
3
原创 python-python中插入shell命令
title: python-python中插入shell命令date: 2022-05-15 13:10:34tags: pythonsubprocess示例代码import subprocesscmd = 'cat a.py; cat b.py'subprocess.call(cmd, shell=True)# subprocess.call(cmd, shell=False)# outprint('hello.py')print('b.py'subprocess shell=.
2022-05-15 14:48:21
688
1
原创 vscode小技巧
title: vscode小技巧date: 2022-04-12 16:07:53tags: vscodevscode小技巧一、vscode设置python运行时的相对路径问题：右键运行时vscode默认为工程目录，这样相对路径都是错的。解决方法：在终端cd到该文件所在的路径。这样每换一个目录就用cd一次。在setting.json加入安装koroFileHeader插件右下角settings->settings->搜索fileheader->User->se.
2022-04-22 18:00:02
1682
原创 pythonArgparse简要用法总结
title: pythonArgparse简要用法总结date: 2022-04-17 19:34:33tags: pythonargparse简要用法总结基本框架下面使用argparse从命令行获取用户信息，让后打印。假设python文件名为argparse_learning.py基本框架#file-name:argparse_learningimport argparsedef parse_args(): parse = argparse.ArgumentParse(d.
2022-04-22 17:58:28
96
原创 python-tqdm
title: python-tqdmdate: 2022-04-20 11:52:54tags: pythonpython-tqdm用法tqdm是一个快速，可扩展的Python进度条，可以在python长循环中添加一个进度提示信息，避免假死或者不知道进度。用法：tqdm(iterator)示例：from tqdm import tqdmimport timefor i in tqdm(range(10)): print(i) time.sleep(1)结果展示：.
2022-04-22 17:54:35
742
原创 docker-Dockerfile通用模板
title: docker-Dockerfile通用模板date: 2022-04-22 09:38:19tags: dockerdocker-Dockerfile通用模板写在前面作为工程人员，每次都需要进行环境隔离。常见的环境隔离有conda管理环境，另一种就是docker。docker有个很好的特点就是，移植性很好,不会因为环境变量等原因出错。image常用指令拉取所需镜像docker pull下面的例子将从 Docker Hub 仓库下载一个 Ubuntu 12.04 操作系统的镜.
2022-04-22 17:52:33
3987
原创 linux-管理包的方式
title: linux-管理包的方式date: 2022-04-22 11:01:45tags: linuxlinux-管理包的方式linux 系统分类主要是两类RedHat系列：Redhat、Centos、Fedora等Debain系列：Debian、Ubuntu等安装包的方式RedHat系列常见的安装格式rpm包，安装rpm包的命令是 rpm -args包管理工具yum支持tar包#installyum install packname#uninstall.
2022-04-22 17:51:44
823
原创 python带星号的函数参数
title: python带星号的函数参数date: 2022-04-17 17:23:54tags: pythonpython带星号的函数参数带默认值得函数传参带默认值的参数不传参时的调用函数定义def defaultValueArgs(common, defaultStr = "default", defaultNum = 0): print("Common args", common) print("Default String", defaultStr) pr.
2022-04-17 19:27:49
1361
原创 python多线程
title: python多线程date: 2022-04-17 15:42:21tags: pythonpython多线程threading多线程的概念进程的相信大家都听说过，而线程可以理解为比进程更小一级的概念，一个进程内至少有一个线程,如果有多个线程，那么他们就共享进程的资源，共同完成进程的任务。使用多线程一般有两个不同的目的：一是把程序细分成几个功能相对独立的模块，防止其中一个功能模块阻塞导致整个程序假死（GUI程序是典型）另一个就是提高运行效率，比如多个核同时跑，或者单核里面，某.
2022-04-17 16:12:38
2849
原创 python中的多进程Multiprocessing
title: python中的多进程Multiprocessingdate: 2022-04-17 15:05:39tags: pythonpython中的多进程Multiprocessing当一个主程序都是顺序执行的时候，其中主程序有个别步骤需要IO或者cpu耗时较大，则主进程堵塞，影响整体效率，可以考虑多进程Multiprocessingpython 内置了多进程模块MultiprocessingMultiprocessing模块提供了一个Process类，下面演示其用法。Usage.
2022-04-17 15:25:01
932
原创 mac-终端显示全路径-配色
title: mac_终端显示全路径_配色date: 2022-04-17 10:46:00tags: macmac_终端显示全路径_配色效果：卸载前面：终端路径有两个问题，一是显示不是全路径，每次都要pwd显示路径很麻烦；二是路径和前面的用户名主机名颜色相同没有区分开，看着费劲。step1 查看mac默认使用的是哪个shell(base) paul:~/Documents echo $SHELL/bin/zshstep2 更改配置文件vim /etc/zshrc# 复制下面.
2022-04-17 12:28:38
711
原创 我要理解的CPU、核心，进程、线程，串行、并发、并行
注意看修饰词。1、计算机硬件基本组成一个计算机（冯·诺依曼结构）【主要】硬件组成：主板：是“交通枢纽”，各个部件工作的所在平台，它负责将各个部件紧密连接在一起，各部件通过主板进行数据传输CPU：中央处理器（Central Processing Unit），决定电脑的性能等级。主要有3大组成部分运算器：算术逻辑运算单元（ALU，Arithmetic Logic Unit），负责执行所有的数学和逻辑工作控制器：控制单元（CU，Control Unit），控制计算机的所有其他部件，如输入输出设备以及存
2022-04-10 09:25:54
1366
原创 读取图片错误
OSError: image file is truncated (0 bytes not processed)解决方式from PIL import ImageFileImageFile.LOAD_TRUNCATED_IMAGES = True
2022-02-13 12:37:19
407
原创 Git 总结
Git 总结github默认分支由master变更为main#master 重命名为maingit branch -m master main#同步至远端git push -u origin main#删除旧的master分支git push --delete origin master修改本地git init 默认分支git config --gloabal init.defaultBranch mainGit 提交分支一、开发分支(dev)上的代码达到上线标准后，合并到ma
2021-11-15 14:46:46
247
原创 2021-07-12-argparse简要用法总结
argparse简要用法总结基本框架下面使用argparse从命令行获取用户信息，让后打印。假设python文件名为argparse_learning.py基本框架#file-name:argparse_learningimport argparsedef parse_args(): parse = argparse.ArgumentParse(description="test") parse.add_argment("--name", default="Great")
2021-07-12 16:28:13
133
原创 mac小技巧
mac小技巧finder显示路径defaults write com.apple.finder _FXShowPosixPathInTitle -bool YESiTerm2 在vim下滚屏iterm2默认没有双指滑动vi文件内容的功能,可以通过配置实现，在iterm2的preferences -> Advanced -> Mouse-> 中配置，配置上下滑动触摸板时，向终端发送的字符，分别设定为\j和 \k ，然后就可以双指上下滑动了，不过在编辑模式时，上下滑动会输入大量
2021-05-12 11:28:22
89
原创 VSCode配置Python教程（MAC版）
VSCode配置Python教程（MAC版）下载vscode mac版vscode官网安装插件在extensions里搜索python，code runner进行安装，这样就有Python环境同时可以运行。配置解释器在右下角setting中搜setting.json,复制要运行的解释器路径。如果是要放conda路径，在终端输入which python这样就完成了。...
2021-05-11 14:25:34
14460
8
原创 Faiss快速入门
目的：收集一批一级分类中的badcase，添加到训练集中，提高精度方法：利用筛选出的难例的分类特征，构建一个特征索引库，先将训练数据过一遍索引Faiss is a library for efficient similarity search and clustering of dense vectors.https://github.com/facebookresearch/faiss/wikifaiss快速入门数据准备faiss可以处理固定维度d的向量集合，这样的集合这里用二维数组表示。 一
2021-03-16 16:34:08
585
原创 2021/02/27 -- [分布式训练]单机多卡
pytorch 单机多卡训练DistributedDataParallel(DDP): All-Reduce模式， 本意是用来分布式训练的，但是也可以用于单机多卡现在官方建议DDP, DP的较少。本来是设计为多几多卡，但是单机多卡也能用。用法如下。1.初始化使用nccl后端。torch.distributed.init_process_group(backend="nccl")2. 模型并行化mode = torch.nn.parallel.DistributedDataPar
2021-02-27 22:23:45
517
原创 2021/02/27--*args, **kwargs
Python中的*args、**kwargs一、调用时候传不定参数。1. 正常调用def func(a, b, c): print(a, b, c)func(1, 2, 3)output: 1, 2, 32. **调用d = {"b": 5, "c": 7}func(1, **d)output: 1, 5, 73. *调用e = (1, 5, 7)func(*e)二、定义时传入不定参数1. **kwargsdef func(a, **k
2021-02-27 22:03:12
87
原创 office365 与 visio 2016共存安装教程
install office 365step1 :进入microsoft官网step2 : downloadoffice365注册完成之后，登陆完成之后，开始dowload office365到这里你就完成了office 365的安装install visio2016step1:部署工具下载下载一个.exe解压之后的文件夹：step 2:修改文件内容将configuration-office365-x64.xml中的内容进行修改：...
2021-02-27 18:23:49
8986
5
原创 2021/01/03工作小节
linux 命令总结nohup命令功能简介:nohup sh *.sh >log01 &tail -f log01 # 滚动查看log01里面的内容tail -100 log01 #查看log01内的最后100条nohup命令是永久执行，忽略挂起信号。&是指在后台运行。使用nohup命令时，如果制定了输出文件，输出信息则会附加到输出文件中，通过没有，则默认附加到当前目录下的nohup.out文件中。vim 查找替换命令：%s/待查找/待替换/ #替换：/待查找
2021-01-03 21:17:24
131
原创 2020/12/28 工作小结
一、保存整个模型1.保存整个模型torch.save(model, path)2.加载model = torch.load(path)model.eval()注意，这里的path是指带后缀名的的路径，如path = ‘…/model.pth’二、只保存参数（推荐）保存参数torch.save(model.state_dict(), path)加载model = Model()model.load_state_dict(torch.load(path))model.ev
2020-12-28 10:00:02
92
原创 2020/12/17 工作小结
Pytorch里面的num_works设置只有主进程参与也就是numworkers0的时候，只有在每次gpu处理完数据后进程才会转向去采样新的batch，但在num_workers1的时候会有一个子进程代替主进程进行新的batch的采样，这样的话如果gpu的处理时间比一个batch采样的时间还要长，那么也不存在时延GPU计算完成后想要拿到下一个批次的数据时发现CPU还没准备好数据。要等待很久才能开始下一次计算，从而影响到GPU使用率。最好的情况是紫线这种：GPU计算的过程中CPU已经准备好数据了.
2020-12-20 20:06:07
75
2
原创 2020/12/13 工作小结
hello word1.关于多模态框架的安装出现的问题需要注意到：正常按照官方文档安装即可。q1: libstdc++.so.6: version `GLIBCXX_3.4.22’ not found缺少包安装即可sudo add-apt-repository ppa:ubuntu-toolchain-r/testsudo apt-get updatesudo apt-get upgradeq2: E: Sub-process /usr/bin/dpkg returned an error
2020-12-13 18:01:40
95
原创 2020/12/07工作小结
1.Q: 关于模型没问题，损失正常下降，降到一定就收敛了，但是精度达不到预期且损失过大。A: 1. 查数据分布，很可能是样本不均衡带来的问题。2. 有可能模型欠拟合，可以考虑换更大的模型。2. Q: 关于听同事讲解论文DeVLBert: Learning Deconfounded Visio-Linguistic Representations得到的启发Figure 1: An illustration of the transition from traditional association-
2020-12-07 22:51:22
452
原创 C++面试基础
目录1、C和C++的区别2、C++中指针和引用的区别3、结构体struct和共同体union（联合）的区别4、#define和const的区别5、重载overload，覆盖override，重写overwrite，这三者之间的区别6、new、delete、malloc、free之间的关系7、delete和delete[]的区别8、STL库用过吗？常见的STL容器有哪些？算法用过几个？9、const知道吗？解释一下其作用10、虚函数是怎么实现的11、堆和栈的区别12、关键字static的作用13、STL中ma
2020-11-29 19:24:25
501
原创 c++核心编程
四区：代码区：存放二进制置零全局区：存放全局变量和静态变量以及常量栈区：存放局部变量以及参量，由编译器自动释放堆区：由程序员释放，或者操作系统收回程序运行前： 代码区：共享，可读 全局区栈区：不要返回局部变量的地址堆区：堆区由程序员开辟和释放，堆区用new关键字进行开辟内存。new 数据类型...
2020-06-26 09:50:32
138
Mask_RCNN_oct.zip
2020-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人