Arxan_hjw-CSDN博客

原创 import torch出现错误，与numpy相关

在import torch时，出现如下报错ImportError: numpy.core.multiarray failed to import解决办法：1.win环境下通过命令：conda activate env_name 进入虚拟环境2.操作如下步骤，得到现环境中numpy的位置：3.将numpy文件夹删除，重新安装，问题解决。...

2021-12-07 14:05:45 618

将一个矩阵对角线元素变为1import numpy as npa = [[1,0,1], [0,1,1], [0,0,1]]b = [[1,0,1], [0,1,1], [0,0,1]]c = np.array(a)d = np.array(b)e = c + de = np.array(e)print(e)row, col = np.diag_indices_from(e)e[row, col] = 1print(e)...

2021-11-04 10:44:54 710

原创 Transformer里layer-normlization与残差连接

1.当我们使用梯度下降法做优化时，随着网络深度的增加，数据的分布会不断发生变化,为了保证数据特征分布的稳定性，我们加入Layer Normalization，这样可以加速模型的收敛速度Normalization有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为1的数据。我们在把数据送入激活函数之前进行normalization(归一化)，因为我们不希望输入数据落在激活函数的饱和区，发生梯度消失的问题，使得我们的模型训练变得困难BN的主要思想是: 在每一层的每一批数据(一个batc

2021-10-25 09:11:57 2306

原创 pytorch忽略user warning

import warningswarnings.filterwarnings("ignore", category=UserWarning)

2021-07-03 15:17:22 5060

原创 pytorch实现多个矩阵拼接

问题描述在处理数据的时候遇到一个for循环中生成多个【max_lenmax_len】的二维矩阵，现需要将这些矩阵在第一维上进行堆叠，形成一个新的【batchmax_len*max_len】三维矩阵实现过程a = torch.ones(3, 3) # 假设生成的矩阵形状为3*3c = [] # 定义一个空列表用于存储矩阵for i in range(3): a = a c.append(a.unsqueeze(0))# 使用cat方法可之间实现该操作c = torch.cat

2021-06-21 13:59:12 2580

原创 pytorch对矩阵进行填充

1.问题说明在处理数据的过程中，一个batch中数据邻接矩阵维度不同，例如，batch=2（表示一个批次两个句子），对应邻接矩阵维度分别为22，44.此时无法在一个batch中进行处理。2.解决方案选择最大长度句子为矩阵形状，对小于该长度的矩阵进行填充。使用torch.nn.torch.nn.ZeroPad2d(padding=(0, 2, 0, 2))如下：a = torch.ones(2, 2)pad = torch.nn.ZeroPad2d(padding=(0, 2, 0, 2))aa

2021-06-19 13:17:17 1782

原创解决PyTorch程序占用较高CPU

在使用服务器运行PyTorch程序时，使用TOP命令查看CPU状态，发现CPU占用率竟然达到2000%，已经影响到其他人正常使用服务器。解决办法：在main程序中加以下命令：torch.set_num_threads(1)设置最多使用1个CPU核。问题解决~...

2021-06-11 13:55:35 2441 3

转载 2021-06-09

深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析置顶是否龙磊磊真的一无所有 ...

2021-06-09 09:04:56 321

原创 window系统下查看GPU利用率

1.运行CMD键入：cd C:\Program Files\NVIDIA Corporation\NVSMI2.输入dir查看当前文件夹下目录若存在nvidia-smi.exe则正常3.输入 nvidia-smi.exe查看GPU利用率

2021-06-02 10:39:55 671

原创 TensorboardX可视化

介绍Tensorboard 是 TensorFlow 的一个附加工具，可以记录训练过程的数字、图像等内容，以方便研究人员观察神经网络训练过程。安装最简单的方法，直接使用pip进行安装pip install tensorboardX注意对应版本需求即可。使用方法（代码）创建一个 SummaryWriter 的示例：from tensorboardX import SummaryWriterwriter = SummaryWriter(logdir=os.path.join(args.

2021-06-01 14:24:06 635

原创 python爬虫学习笔记

python爬虫——Requests库Requests库的七个主要方法：requests.request():构造一个请求，支撑以下各方法的基础方法。requests.get():获取HTML网页的主要方法，对应于HTTP的GET...

2021-05-24 16:22:31 88

原创 Pytorch中的梯度累加

在实验时，由于GPU显存限制，遇到batch_size不能再增大的情况。为解决该问题，使用梯度累加方法：不进行梯度累加的方法如下：for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target = torch.from_numpy(np.array(target)).float().cuda(non_blockin

2021-05-24 08:52:39 1532 3

原创 Pytorch再一个优化器中为不同的参数设置不同的学习率

由于使用到BERT与训练模型，需要对BERT进行一定微调，需要较小学习率。而模型正常的学习率相对较大，如果使用同学习率，可能效果较差，所以为BERT单独设置一个学习率，方法如下：bert_params = []other_params = []for name, para in model.named_parameters(): # 对于需要更新的参数： if para.requires_grad: # BERT部分所有参数都存在于bert_encoder中（针对不同模型，可以p

2021-05-20 20:00:24 1332

原创 Pytorch中的TensorDataset与DataLoader的使用

TensorDatasetTensorDataset本质上与python zip方法类似，对数据进行打包整合。官方文档说明：**Dataset wrapping tensors.Each sample will be retrieved by indexing tensors along the first dimension.*Parameters:tensors (Tensor) – tensors that have the same size of the first dimension

2021-04-15 10:26:45 8544 1

原创 Pytorch设置随机种子

在使用PyTorch时，如果希望通过设置随机数种子，在gpu或cpu上固定每一次的训练结果，则需要在程序执行的开始处添加以下代码：def setup_seed(seed): torch.manual_seed(seed) # CPU torch.cuda.manual_seed_all(seed) # GPU np.random.seed(seed) # numpy random.seed(seed) # random and transforms torc

2021-03-19 13:46:27 439

原创总结Attention与Self-Attention之间的区别

简单总结在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Sour

2021-03-15 08:54:39 779

原创 leetcode解题笔记：20.有效的括号

方法1：使用栈如果长度为奇数，返回错误左括号代表入栈，右括号代表出栈出栈元素必须一一对应最终栈为空class Solution(object): def isValid(self, s): if len(s) % 2 == 1: return False d = {'(': ')', '{': '}', '[': ']'} stack = [] for char in s: if char in d: stack.append(char) else:

2021-01-27 23:01:02 100

原创 argparse.ArgumentParser()用法解析及随机种子使用方法

一、argparse是一个Python模块：命令行选项、参数和子命令解析器。主要步骤为以下三步：1.创建 ArgumentParser() 对象parser = argparse.ArgumentParser()2.添加参数parser.add_argument("--seed", help="display a square of a given number", type=int, default=5)3.解析参数args = parser.parse_args()二、固定随机种子

2020-12-28 09:54:37 631

原创 python将数据集按比例随机切分

# -*- coding: utf-8 -*-""" 将数据按比例切分"""from sklearn import model_selectionc = []j = 0#filename = r'E:\NER\CCKS2020\Data\ccks2020_2_task1_train\task1_train.txt'filename = open(r'task1_train.txt','r',encoding='utf-8')out_train = open(r'train.txt

2020-12-04 10:01:03 2145

原创 Linux服务器 tmux使用方法

step1:新建会话：tmux new -s （session_name）step2:正常运行程序step3:退出当前窗口：ctrl+b组合键输入后，再输入dstep4:重新进入会话：tmux attach -t （session_name）

2020-11-05 19:20:56 499

原创 python读取图片中的文字

通过一个脚本文件读取图片中的文字step1 下载需要的文件1.Tesseract的安装： https://digi.bib.uni-mannheim.de/tesseract/。选择合适的版本下载2.下载中文简体语言包： https://tesseract-ocr.github.io/tessdoc/Data-Files3.下载相应的依赖：pip install pytesseract , pip install pillow4.脚本程序# -*- coding: utf-8 -*-from

2020-10-20 15:04:04 874 1

原创将GPU的Tensor数据保存至本地查看

step1：将GPU转换为CPU由于不能对GPU上的tensor直接操作，所以需要先将其转化为CPU数据# GPU张量->CPUresult = result.cuda().data.cpu().numpy()step2：保存数据aaa = sequence_output.data.cpu().numpy()np.savetxt('result.txt',aaa)...

2020-10-13 10:11:29 1055

原创 python在做数据处理中的一些问题及方法总结

1.read(),readline()与readlines()的区别：read():read([size])方法从文件当前位置起读取size个字节，若无参数size，则表示读取至文件结束为止，它范围为字符串对象readline:一行一行的读取，每次读取一行。返回一个字符串对象readlines:一次性将所有行都读取出来，保存在一个列表（list）中。2.strip()方法和split()方法的使用strip():用于移除字符串头尾指定的字符，（默认为空格或换行符）或字符序列。使用方法：str.st

2020-10-09 13:44:14 146

qq_41657873的博客