tongjingqi_的博客

原创 解决deepspeed框架的bug：不保存调度器状态，模型训练重启时学习率从头开始

解决deepspeed框架不保存调度器状态的bug

原创 在多机多卡训练时，保存的文件无法读取，报错文件已经损坏

解决多进程同时读写一个文件导致文件毁损

原创 解决python扩展在连接远程服务器时无法使用： 此扩展在此工作区中被禁用，因为其被定义为在远程扩展主机中运行。请在 ‘SSH: xxxxx‘ 中安装扩展以进行启用

解决python扩展在连接远程服务器时无法使用： 此扩展在此工作区中被禁用，因为其被定义为在远程扩展主机中运行。请在 'SSH: xxxxx' 中安装扩展以进行启用

原创 vscode无法连接远程服务器的可能原因：远程服务器磁盘爆了

vscode无法登录远程服务器，可能是磁盘爆了

原创 解决使用CLIP模型时TypeError: Cannot handle this data type: (1, 1, 224, 224), |u1

已发送电子邮件. 我希望你给我一个可以运行的代码，而不是伪代码，我图像的路径是image_path = “images/photo-1.jpg”，而文本你可以随机找几个句子。by the way，出错的代码是GPT4给我的(改了10几次还是出错，看来训练数据有问题)，而没出错的代码是newbing给我的，一次做对。以下注释掉的部分是出错的代码，而没被注释的代码是不出错的代码，最大的区别是没出错的代码没有进行图像预处理。请注意，您需要安装Transformers库和Pillow库才能运行此代码。

原创 VScode对python程序debug时出现ImportError等报错

结论：是vscode debug的配置文件有问题，或者vscode使用的python解释器不是我们虚拟环境中正在使用的解释器，导致python找不到import的文件。

原创 Linux相同cp命令执行结果不一样，以及解决歧义的方法

Linux cp命令具有歧义性，即相同命令可能产生不同结果。本文列举了体现歧义性的实际例子，并给出了避免歧义的方法

原创 图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性

系统讲解CUDA、CUDA toolkit、CUDA Driver、CUDA runtime、CUDNN、NVCC、Pytorch安装CUDA之间关系和版本兼容性

原创 使用pscp命令从windows本地传文件夹到Linux服务器时报错FATAL ERROR: Network error: Connection refused

原因是其他博客的端口号默认是22，所以可以隐藏，而连接服务器时端口号不是22，所以必须得加上服务器的端口号。

原创 通过拖拽文件上传github最终有文件缺失的原因

文件夹太大了导致里面的文件上传不全

原创 关于torch.to(device)是否赋值的坑

深度学习使用GPU时需要把变量和模型都放到GPU上，经常会用到to(device)的操作，本文讲解一些常见用法。

原创 举例解释大数定律、中心极限定理及其在机器学习中的应用

面试曾经被问到：什么是大数定律，什么是中心极限定理，大数定律在机器学习中有什么应用？大数定律在实际应用中有什么缺陷？

原创 第24次CSP认证序列查询新解题解（非常详细）

http://118.190.20.162/view.page?gpid=T137思路很简单，细节调整很麻烦。一看数据量，1s肯定复杂度是1e5，要么遍历g(i)，要么遍历f(i)，让一个去适应另一个。首先看遍历g(i)，让f(i)去适应的情况。如果遍历g(i)，给定一个g(i)的值，会对应一个i的区间，我们要算出区间的首尾的i，记为posl，posr。g(posl)==g(posr)，而我们要算出f(posl)和f(posr)，此处需要二分查找一下，因此不方便。显然f(posl)<f(po

原创 权重衰退实验（李沐动手学）

import torchfrom torch import nnfrom d2l import torch as d2limport matplotlib.pyplot as pltn_train, n_test, num_inputs, batch_size = 20, 100, 200, 5true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05train_data = d2l.synthetic_data(true_w, true_

原创 Softmax回归从零开始实现（李沐动手学）

依然是pycharm环境，图像显示部分和jupyter不一样import torchimport matplotlib.pyplot as pltfrom IPython import displayfrom d2l import torch as d2ld2l.use_svg_display()#!!!!# help(d2l.use_svg_display())batch_size=256train_iter,test_iter=d2l.load_data_fashion_mnist(ba

原创 softmax回归损失函数求偏导部分的通俗推导

原创 线性回归的从零开始实现代码（李沐动手学）

只贴pycharm代码，和jupyter代码有部分出入，讲解部分上b站看跟李沐学AI，线性回归部分import matplotlib.pyplot as pltimport osimport randomimport torchfrom d2l import torch as d2ldef synthetic_data(w,b,num_examples): X=torch.normal(0,1,(num_examples,len(w))) y=torch.matmul(X,w)

原创 关于卸载流氓软件的通用办法

从浏览器下载软件时，如果不是从官网下载很容易被捆绑流氓软件。首先可以用一些专业卸载软件如geek按照安装时间排序，找到流氓软件并进行卸载。但是一部分流氓软件擅于伪装成系统程序，即使专业的卸载软件geek等都无法检测出其位置。同时流氓软件的特点就是不经允许的自动安装，运行、弹窗口，这时我们利用这些特性对流氓软件实现精准打击。在流氓软件弹窗或者运行期间，可以按ctrl+alt+delete打开任务管理器看哪些软件和弹出的窗口所指示的一致，这时右击该任务，选“打开文件所在位置”此时直接把整个文件夹放入

原创 关于pytorch不区分行向量与列向量的实验

听李沐老师讲深度学习时候解释pytorch不区分行向量和列向量，只相当于是一维数组，为了理解透彻，做了一些实验r=torch.tensor([1,2,3],dtype=torch.float32)print(r,r.T)说明确实行和列向量没有区分再看看在矩阵与向量乘法中向量的角色r=torch.tensor([1,2,3],dtype=torch.float32)print(r,r.T)m=torch.ones(3,3)print(torch.mv(m,r))print(torch.m

原创 第12届蓝桥杯省赛A组C++回路计数（统计哈密尔顿回路个数，状压dp，记忆化搜索，超详解）

答案：881012367360题意：给一个无向图，求哈密顿回路数分析：暴力思路就是数搜索路径，时间复杂度是O(n^n)级别的，超过15就跑不动了。所以需要优化。因为是计数问题，不是优化问题，带剪枝的回溯法也不适用。于是想到了记忆化搜索（类dp），看到21能想到状压dp，正好2的21次int能存下，先尝试使用 dp [2 ^ 21]一维数组，转换成2进制后1代表访问过，0代表没访问过，可以表示所有点是否被访问的状态，dp[state]存有多少种方式可以形成状态state。然后发现状态转移方程无法表示，.

原创 keras.Conv2D中输出尺寸和原通道数无关原因

做CNN图像分类时遇到的问题 x = Conv2D(16, (5,5), strides=(2,2))(x)调用summary函数后显示网络结构如下我们可以看到，输入的是2562564的图像数据（解释：256是图片的长宽，原本是三通道，为了方便分类我自己加了一个经过mask图像处理后的第四通道）经过步长为2，滤波器尺寸为（5，5）的卷积后，长宽变成126*126，但是为什么输出的通道数等于滤波器（卷积核）的个数，而与通道数量无关呢，注意，滤波器是尺寸中不含通道数？通过查阅资料，找到了一篇博客

原创 Python list赋值，浅拷贝，深拷贝

先说结论：赋值后，二者是同一引用的两个名字浅拷贝后，二者引用不同，但是内部对象引用相同深拷贝后，二者内部引用的可变数据类型引用不同，但是相同的不可变数据类型引用依然相同浅拷贝可以用copy函数，也可以用切片data = [1,2,3, [1,2,3,[1,2,3]]]cdata = data[::]#浅拷贝data2=data#赋值print(id(data) == id(data2))#地址相同print(id(data) == id(cdata))#地址不同print("equa

原创 简述Python处理中文字符（utf-8/ gbk/ unicode）

起源：gbk最先出现，用于编码中文字符，无法编码任意国家字符Unicode为万国码，它每种语言中的每个字符设定了统一并且唯一的二进制编码，却没有规定这个二进制编码如何存储，而utf-8是Unicode的实现方式之一。个人理解Unicode码整体有一个特性，就是数值小的字符使用频率相对较高，而utf-8在编码时数值小的字符用的byte少，从而提高存储效率Unicode字符集既可以用utf-8编码方式编成计算机能够识别的二进制数值，也可以用utf-16，utf-32等方式编码。Python2默认是ASC

原创 Python函数闭包与nonlocal关键字

直接从实例出发：假如我们想设计一个求各种水果买多少斤在折扣后多少钱的函数，我们可以这样def out(price):#单价 discount=0.9#折扣 def inn(weight):#重量 return discount*price*weight return innapple=out(10)print(apple(5))orange=out(15)print(orange(20))这是一个函数嵌套定义，out函数里定义了inn，并且out返回

原创 Python函数传参方法分类汇总

python传入参数的类型分为：值传递和引用传递，其区别在于前者拷贝了与实参值相同的副本在函数内操作，因此对函数外原值没有影响，后者则地址和原来参数相同，函数内更改后函数外的值随之更改传不可变对象，如数值，字符串，元组，为值传递传可变对象，如列表，集合，字典，为引用传递下面的传参方法讨论针对这两种对象大部分教程把传参方式分为4种：必备参数（位置参数）关键字参数默认参数不定长参数（动态参数、非固定传参）https://www.runoob.com/python/python-function

原创 第20次CSP认证 第四题 星际旅行(计算几何 分类讨论超详解)

官网链接：http://118.190.20.162/view.page?gpid=T110题意：题面很简练，就是计算不经过一个圆，求任意两点间最短曲线距离。思路：分为两种情况，存在与圆周重合的轨迹，不存在与圆周重合的轨迹。我们可以这样思考，如果存在与圆周重合的轨迹，那么两点的连线一定会进入圆的内部，问题就转化为判断一个线段是否穿过圆。这时我们自然会想到，求圆心和线段所在直线的距离，如果距离大于半径，那一定不会和穿过圆。不过注意，这个是不会穿过圆的充分条件，不是必要条件！！！我们要找到充要条件，才能

原创 第22次CSP认证 第4题 校门外的树（3种方法，非常详细）（类dp+数学）

链接：官网：http://118.190.20.162/view.page?gpid=T125Acwing：https://www.acwing.com/problem/content/description/3417/题意：顺序给出数轴上N给不相等的点，记为序列a，首先将大区间[a[0],a[N-1]]划分成若干个子区间[li,ri)，然后在子区间上面选取若干个点，要求这些点和区间端点构成等差数列。端点不能作为选取的点。问选取点的集合数量有多少。分析：首先这是一个有限制的选择问题，我们见到的选

原创 第23次CSP认证 第4题 收集卡牌（记忆化搜索，状压）

链接：http://118.190.20.162/view.page?gpid=T132思路：先写一个暴力搜索，然后把中间结点的状态存起来，就是记忆化搜索，状态要存搜索到的层数和选择的卡牌数，0代表不选，1代表选，可以把16个卡牌是否选的状态压缩到2的16次方的一个int数中。注意：1.题目有一个坑点，题目里的精度是骗人的，输出精度要达到1e-10才行，1e-5的精度会WA2.dp数组第一维度保存层数，极端情况是是16张牌，一张牌概率0.9985，其他牌概率0.0001，k最大=5，所以树的深度最

原创 2021 ICPC新疆省赛 I - chino with mates ( 二分)向下取整与向上取整的坑

题目链接：https://codeforces.com/group/yz4qgUJSxI/contest/103115/problem/I一道简单的二分查找题Chino held a blind date event, there are n male guests and m femaleguests attending.The personality characteristic value of each person can be representedby an integer, the

转载 C++数字图像处理（不用opencv）

转载：https://www.lavenderdh.cn/2020/11/09/%E6%95%B0%E5%AD%97%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%EF%BC%9ABMP%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%EF%BC%88%E6%8E%A7%E5%88%B6%E5%8F%B0%E7%A8%8B%E5%BA%8F%EF%BC%89/本文作者： Lavender @lavender本文链接： https://www.lavend

原创 解决pytorch明明已经安装好了但是import时报错ModuleNotFoundError: No module named ‘torch‘

建项目路径有问题

原创 1131 Subway Map (30 分)PAT(DFS与哈希存图)

https://pintia.cn/problem-sets/994805342720868352/problems/994805347523346432题意：给你一个地铁图，让你输出一条经过站点最少的路线，站点相同输出换乘最少的路线。难点：搜索时如果站点与当前保存最小值相同，需要计算换乘次数。换乘输出时，首先要输出所有的中转站点，而不是所有的站点，所以需要判断是否更换线路，其次两次换乘间经过的地铁线路也要输出。因此，如何保存地铁线路的信息就成为了一个难点。思路：邻接表存图，同时借鉴了柳神想法用哈希

原创 PAT甲级1151 LCA in a Binary Tree (30 分)

https://pintia.cn/problem-sets/994805342720868352/problems/1038430130011897856网上大多是柳神版本的不建树方法，而且有人说建树会超时，我就挑战了一下建树的做法，而且也没有超时。思路：建树，暴力两次往上找，找到公共的就是答案。注意：因为本题树结点键是int范围内的数，所以我们先用map离散化到1-N的区间内，因此struct node{int f,level;}tree[maxn+10];键就可以用数组的下标表示。

原创 2021牛客多校10 F Train Wreck（搜索，优先队列）

https://ac.nowcoder.com/acm/contest/11261/F题意：给一组入栈出栈操作，给出入栈出栈操作元素（可重复），求入栈序列，使得栈内任意时刻状态都不相同。思路：入栈和出栈等价于树的先根遍历，则题转化为求一颗任意从根出发的树枝都不相同的树。可以先先根遍历，深搜建树，然后广搜填充元素，元素从多往少填才能保证树枝尽可能不相同。最后按照建树顺序输出元素即可。#include<bits/stdc++.h>using namespace std;typedef

原创 PAT乙级1088 三人行 (20 分)测试点4

https://pintia.cn/problem-sets/994805260223102976/problems/1038429286185074688又脑补题意了。。。甲乙都是整数不代表丙是整数啊，所以得用double存丙的值。。改了以后测试点4就过了#include <bits/stdc++.h>using namespace std;void compare(double x,double y,int flag){ if(x>y){ cout

原创 1074宇宙无敌加法器 (20 分)

https://pintia.cn/problem-sets/994805260223102976/problems/994805263297527808该题不难，不难输出前导0，但是最后一个测试点，如果结果是0，直接输出0，wa了一发。提醒我们要注意特殊样例。#include <bits/stdc++.h>using namespace std;int ans[100];vector<int>S,a,b;void solve(string s,vector<i

原创 PAT乙级1055 集体照 (25 分)

https://pintia.cn/problem-sets/994805260223102976/problems/994805272021680128题意：从高往低排序，高度相同按字典序升序排序，然后逆序安排位置，从前往后安排，前K-1排安排N/K人，第K排安排N-N/K*(K-1)行我当时就是题意理解错了，在字典序那块，我以为是先从低到高,字典序升序排前K-1行，然后在每一行中，从高到低字典序顺序排，导致3，4点过不去#include <bits/stdc++.h>using

原创 PAT乙级1068 万绿丛中一点红 （坑坑坑）

https://pintia.cn/problem-sets/994805260223102976/problems/994805265579229184题意解读：找出有独一无二颜色的那个像素点，并且该点的颜色与其周围 8 个相邻像素的颜色差充分大。说明要找的点满足条件：1.颜色值和其他所有像素点不一样2.颜色值与相邻8个颜色差的绝对值都大于阈值（在边角处是相邻5个、3个，这里容易理解错题意，以为只有相邻8个时候才算，但是题目强调的地方在于不是相邻四个）在一行中按照 (x, y): color

原创 PAT乙级1052 卖个萌 (20 分)

https://pintia.cn/problem-sets/994805260223102976/problems/9948052738839511041052 卖个萌 (20 分)分析：一眼看去是水题，实际上是大坑题。用户选择有负数，cin空格会卡你。中文字符烦死人，转义字符要注意。眼高手低要不得，全部AC才可以。#include <iostream>#include<bits/stdc++.h>using namespace std;vector<strin

原创 2021牛客暑期多校训练营4 C-LCS

链接：https://ac.nowcoder.com/acm/contest/11255/C来源：牛客网题目描述Let LCS(s_1,s_2)LCS(s1​ ,s2​ ) denote the length of the longest common subsequence (not necessary continuity) of string s_1s1​ and string s_2s2​ .Now give you four integers a,b,c,na,b,