- 博客(34)
- 收藏
- 关注
RSS订阅原创 torch.nn.functional.pad(input, pad, mode=‘constant‘, value=None)记录
torch.nn.functional.pand
2022-07-06 10:51:07
500
1
原创 Reshape与Permute的踩坑记录
最近做简单的网络训练，需要自写DataLoader，涉及到了图像数据的预处理，主要集中在getItem()函数里面。上代码：由于用到了BCEWithLogitsLoss，这个损失函数要求label与pred的维度保持一致，即label也需要有channel这一维度，所以涉及到了reshape与permute两个函数这里不用to_tensor,不需要归一化，因此需要手动处理维度先用reshape，再astensorimage = cv2.imread(image_path)label = cv2.
2022-04-01 15:36:41
1742
原创 记录Dice Loss的几种pytorch实现方式
复杂版本：import torchfrom torch import Tensordef dice_coeff(input: Tensor, target: Tensor, reduce_batch_first: bool = False, epsilon=1e-6): # Average of Dice coefficient for all batches, or for a single mask assert input.size() == target.size()
2022-03-30 14:26:40
10197
1
原创 记录ubuntu Anaconda离线安装pytorch
前提：安装cuda，cudnn，anacondaconda install pytorch==1.9.0 torchvision==0.10.0 torchaudio==0.9.0 cudatoolkit=10.2 -c pytorch出了清华源，其他几个都是官方地址，很慢，因此选择离线下载，手动安装安装没有用解压，setup之类的，直接conda intall，前提是进入conda activate你想安装的虚拟环境里面后续，使用python测试，发现无法引入。import torch
2022-03-17 16:30:02
3299
原创 PIL转tensor 以及 Torch.new()方法使用记录 to_Tensor（）和as_Tensor()的区别
from PIL import Imageimport matplotlib.pyplot as pltimg_b = Image.new("RGB",(32,32))plt.imshow(img_b)plt.show()PIL转tensor方法：先转numpy，再用torch.from_numpy（）；img_b_tensor = torch.from_numpy(np.asarray(img_b))img_b_tensor.size()Out[36]: torch.Size([
2022-03-15 16:26:30
5791
原创 torchvision.transforms.functional中的pad函数的使用
from torchvision.transforms import functional as Fimage = F.pad(image, (pad_left, pad_top, pad_right, pad_bottom), fill=self.pad_value)该函数四个参数：def pad(img: Tensor, padding: List[int], fill: int = 0, padding_mode: str = “constant”) -> Tensor:img：输入图
2022-03-07 16:01:40
1794
1
原创 Opencv contourArea函数记录直线轮廓面积
Opencv contourArea函数记录直线轮廓面积计算contour面积时候的一些问题记录，python语言实现计算contour面积时候的一些问题记录，python语言实现Opencv中findContours后，得到的contour可以使用contourArea函数计算其轮廓面积值得注意的是，根据contourArea中的计算思路（貌似是向量乘法实现的：参考https://blog.csdn.net/m0_37914500/article/details/78615284）根据此思路，直线
2022-02-25 09:59:53
4077
原创 GridSearchCV与RandomizedSearchCV学习记录
GridSearchCV的名字其实可以拆分为两部分，GridSearch和CV，即网格搜索和交叉验证。这两个名字都非常好理解。网格搜索，搜索的是参数，即在指定的参数范围内，按步长依次调整参数，利用调整的参数训练学习器，从所有的参数中找到在验证集上精度最高的参数，这其实是一个训练和比较的过程。GridSearchCV可以保证在指定的参数范围内找到精度最高的参数，但是这也是网格搜索的缺陷所在，他要求遍历所有可能参数的组合，在面对大数据集和多参数的情况下，非常耗时。RandomizedSearchCV使
2020-08-07 11:21:07
426
原创 XGBoost与LightGBM学习笔记
xgboost原理推导：文档参考一视频参考一视频参考二看了推导可以知道，xgb用了泰勒展开二阶导简化目标函数，但是实际在求目标函数级小值时，仍使用了通用公式，一阶导数。官网文档：XGBLGBMxgboost的特征重要性函数：feature_importances_：feature_importances_四种参数选怎，gain为xgboost默认选项（注意：lightGBM模型为weight）:‘weight’: the number of times a feature is used
2020-06-10 22:40:01
817
原创 onehot的transform方法输出矩阵为numpy的稀疏矩阵
xgb_enc_1 = OneHotEncoder()xgb_enc_2 = OneHotEncoder()xgb_enc_1.fit(model_1.apply(train_gb))xgb_enc_2.fit(model_2.apply(train_gb))#transform输出据真为稀疏矩阵，train_lr为numpy的稠密矩阵temp_1 = xgb_enc_1.transf...
2020-04-10 17:38:45
916
原创 HOG的opencv实现学习笔记，以及图像特征提取笔记-自用
HOG的opencv实现学习笔记，以及图像特征提取笔记-自用# Specify the parameters for our HOG descriptor# Cell Size in pixels (width, height). Must be smaller than the size of the detection window# and must be chosen so tha...
2020-04-08 20:16:42
260
原创 python打乱数据
Pandas自带sample()函数：df.sample(frac=1).reset_index(drop=True)其中由于打乱后的数据，index会乱掉，需要重置index在重置index后，旧的index默认会成为数据中的一列，因此设置参数drop=True，表示删掉旧的index用sklearn.utils里面的方法from sklearn.utils import shuff...
2020-02-19 21:21:55
1000
原创 python列表的复制
python列表使用时：a=[1,2,3,4]b=aa.remove(1)bOut[36]: [2, 3, 4]b.append(10)aOut[38]: [2, 3, 4, 10]这种赋值方法，a的改变和b的改变，都会影响对方使用.copy()函数，可以解决这个问题a=[1,2,3,4]b=a.copy()a.remove(1)bOut[39]: [1,...
2020-02-19 17:51:50
126
原创 对于离散特征的各种编码记录
Label Encoding：假如颜色就是一个特征，该特征的取值有三种：红、黄、蓝，对于标签编码，就是令 红=1，黄=2，蓝=3，即给不同类别以标签但这并不是我们的让机器学习的本意，只是想让机器区分它们，并无大小比较之意。所以这时标签编码是不够的，需要进一步转换from sklearn.preprocessing import LabelEncoderle = LabelEncoder(...
2020-02-18 22:51:46
783
原创 机器学习中的离散特征和连续特征
首先了解机器学习中的特征类别：连续型特征和离散型特征连续性特征：例子：[4654.1313, 11, 0, 4564654, …]对于连续特征，在拿到数据后，需要进行两步常规操作：归一化，将数据缩放到线性放缩到[-1,1]间；标准化，将数据放缩到均值为0，方差为1。注：基于参数的模型或基于距离的模型，都是要进行特征的归一化。基于树的方法是不需要进行特征的归一化，例如随机森林，ba...
2020-02-18 19:48:44
4710
原创 'mbcs' codec can't encode characters in position 0--1: invalid character 问题
使用pandas读取数据的时候会出现错误：‘mbcs’ codec can’t encode characters in position 0–1: invalid character原因：路径问题,将字符串作为路径直接使用，需要转义出错代码：pd.read_csv('duringopereation\patients\patients_csv\23483949.csv', encodin...
2020-01-08 16:22:43
10554
原创 正则表达式提取字符串中的数字
import rere.findall(r'\d+', '88asdfasdfasd')Out[55]: ['88']re.findall(r'\d+', ' hfghf 88asdfasdfasd')Out[56]: ['88']re.findall(r'\d+', ' hfghf.... 88asdfasdfasd')Out[57]: ['88']re.finda...
2020-01-07 22:25:16
1232
原创 np.where的两种用法
np.where(condition):返回满足条件的下标。这里的坐标以tuple的形式给出，通常原数组有多少维，输出的tuple中就包含几个数组，分别对应符合条件元素的各维坐标。>>>a = np.array([2,4,6,8,10])>>>np.where(a > 5) # 返回索引(array([2, 3, 4]),...
2020-01-05 20:46:37
857
原创 DataFrame的reset_index和reindex区别
reset_index（）函数作用是重新设置索引，不加drop=True的话，原始的index会作为新的列保存在DataFrame中reindex()函数作为也是重新设置索引，但不用使用drop=Truetwo_new = two_new.reset_index(drop=True)two_new = two_new.reset_index()two = two.reindex()...
2020-01-03 09:50:27
1140
1
转载 LightGBM---转载自https://www.biaodianfu.com/lightgbm.html
转载自：https://www.biaodianfu.com/lightgbm.html好文章，自学用，防止丢失，转载传送门 LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似...
2019-12-03 15:10:19
861
转载 RF, GBDT和Xgboost构造新特征+LR 融合实践--转载
关于Xgboost的知识点很多，本篇博客介绍如何利用Xgboost构造新特征，且在此基础上，介绍与LR模型融合的相关知识点。目录一、原理二、实践2.1 如何获得样本落在哪个叶子节点2.2 举例2.2.1 训练集准备2.2.2 RF+LR2.2.3 GBDT+LR2.2.4 Xgbo...
2019-12-03 14:32:48
345
转载 CART树（分类回归树）
传送门 决策树算法原理(ID3，C4.5)CART回归树 决策树的剪枝 在决策树算法原理(ID3，C4.5)中，提到C4.5的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归。对这些问题，CART(Classification And Regression Tree)做了改进，可以处理分类，也可以处理回归。...
2019-11-24 12:35:24
806
原创 Sklearn中的F1值计算
通过函数 sklearn.metrics.f1_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None)计算：y_ture:一维数组或标签，表示正确的标签y_pred:分类器返回的估计标签average:多分类需要此标签，如果设为None，将返回各个类的分数，否者对数据进行平均...
2019-11-22 15:26:10
4569
原创 FPR.TPR-敏感度 特异性
注意在二分类问题中sklearn.metrics.confusion_matrix(truelabels, predictlabels)得到的混淆矩阵：第0行第0列的数表示y_true中值为0，y_pred中值也为0的个数第0行第1列的数表示y_true中值为0，y_pred中值为1的个数因此对于医学中的灵敏度和特异度，0为阴性，1为阳性，敏感性：在金标准判断有病（阳性）人群中，检测出阳性...
2019-11-19 22:15:36
2033
原创 置信区间计算
直接使用python scipy的stats.t.interval()函数import pandas as pd import numpy as npimport tushare as tsimport matplotlib.pyplot as pltimport seaborn as snsfrom scipy import stats计算置信区间首先要有一组数组数据，...
2019-11-19 21:26:52
2473
1
原创 多分类TPR, FPR, ROC计算与画图
sklearn.metrics.roc_curve（）首先，需要使用sklearn.metrics.roc_curve()函数sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)参数：y_true : 数组，shape = [样本数]在范...
2019-11-19 17:41:25
13422
3
原创 sklearn计算auc的坑----model.predict()和 model.predict_proba()的区别
sklearn中计算auc的两个函数：auc() 和 roc_auc_score()from sklearn.metrics import roc_curve, auc, roc_auc_score使用auc()注意： model.predict()得到的预测是预测类别结果，如果是二分类，就是0和1model = LogisticRegression(class_weight='...
2019-11-19 14:16:39
13697
4
转载 数据预处理--上采样（过采样）与下采样（降采样）
Imblearn package study1. 准备知识1.1 Compressed Sparse Rows(CSR) 压缩稀疏的行2. 过采样(Over-sampling)2.1 实用性的例子2.1.1 朴素随机过采样2.1.2 从随机过采样到SMOTE与ADASYN2.1.3 SMOTE的变体2.1.4 数学公式3. 下采样(Under-sampling)3....
2019-11-18 17:27:23
11972
转载 矩阵特征值分解与svd分解学习笔记
目录：矩阵分解1.1 矩阵分解作用1.2 矩阵分解的方法1.3 推荐学习的经典矩阵分解算法SVD具体介绍2.1 特征值、特征向量、特征值分解2.2 SVD分解2.3 SVD分解的应用矩阵分解1.1 矩阵分解作用矩阵填充(通过矩阵分解来填充原有矩阵，例如协同过滤的ALS算法就是填充原有矩阵)清理异常值与离群点降维、压缩个性化推荐间接的特征组合(计算特征间相似...
2019-11-07 16:21:17
1447
原创 pytorch detach() item() cpu() numpy()理解
在深度学习训练后，需要计算每个epoch得到的模型的训练效果的时候，一般会用到detach() item() cpu() numpy()等函数。例如import torch.optim as optimimport torch.utils.dataimport torch.backends.cudnn as cudnnfrom torch.autograd import Variable...
2019-11-04 11:16:46
27256
原创 Pytorch Detach学习笔记
detach：官方文档介绍：返回一个新的 从当前图中分离的 Variable。返回的 Variable 永远不会需要梯度如果 被 detach 的Variable volatile=True， 那么 detach 出来的 volatile 也为 True还有一个注意事项，即：返回的 Variable 和 被 detach 的Variable 指向同一个 tensorimport to...
2019-11-04 10:51:57
240
原创 Ubuntu16.04 安装cuda9.0+cudnn7.05 + Anaconda 3.0 + pytorch gpu
Ubuntu16.04 安装cuda9.0+cudnn7.05 + Anaconda 3.0 + pytorch gpu@TOCCuda+Cudnn我的配置是Ubuntu16.04，双路1080ti显卡。1.禁用nouveauubuntu 16.04默认安装了第三方开源的驱动程序nouveau，安装nvidia显卡驱动首先需要禁用nouveau，不然会碰到冲突的问题，导致无法安装nvidi...
2019-07-14 17:14:43
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人