自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(53)
  • 收藏
  • 关注

原创 PyTorch构建自然语言处理模型

pytorch、NLP

2024-04-09 15:12:40 791

原创 three如何解决多个透明模型渲染和相机视角移动

小结:以上是近期开发遇到的一个透明模型渲染的问题,希望这个小的记录能给大家做个参考,在以后的开发中 能够帮助解决透明模型的渲染问题。2、第二个视角:调整前遮挡不住植被。5、第二视角:调整后的效果。4、第一视角:调整后的效果。1、效果图:调整前的效果。

2024-03-29 09:55:45 169

原创 linux常用的命令

2、查询Gpu的使用情况。1、查询当前占用的进程。

2024-03-01 09:40:22 386

原创 conda的安装资源链接

1、

2024-01-10 09:27:26 620

原创 vue的学习

vue 中文网vue githubVue.js 是一套构建用户界面(UI)的渐进式JavaScript框架作用:进行DOM操作使用场景:对纯 DOM 元素进行底层操作,比如:文本框获得焦点vue 自定义指令用法实例两种指令:1 全局指令 2 局部指令// 第一个参数:指令名称// 第二个参数:配置对象,指定指令的钩子函数// bind中只能对元素自身进行DOM操作,而无法对父级元素操作// 只调用一次 指令第一次绑定到元素时调用。在这里可以进行一次性的初始化设置。// 参数详解。

2024-01-04 16:25:52 927

原创 Pytorch简介

DataLoader类提供了对数据集的并行加载,可以有效地加载大量数据,并提供了多种数据采样方式。dataset:加载的数据集(Dataset对象)batch_size:batch大小shuffle:是否每个epoch时都打乱数据num_workers:使用多进程加载的进程数,0表示不使用多进程以下是一个简单的使用示例:12345678910111213141516# 数据转换])# 下载并加载训练集# 下载并加载测试集。

2023-12-29 17:15:04 1284

原创 卷积核和学习和训练

如果我们已知原始的图像数据,和这个图像经过某个卷积核计算后,得到的新的数据,那么如何计算出这个卷积核中的具体参数呢?例如,已知输入图像是12*12的,经过某个3*3的卷积核,得到的输出数据是10*10的。那么如何求出,这个卷积核中的9个参数呢?可能有的同学知道,中间的这个卷积核,其实是一个,也就是中间是8,周围是-1的,3乘3数组。我们接下来要做的是,使用pytorch框架,通过梯度下降算法,基于输入和输出数据,训练出这个。

2023-12-29 15:40:37 483

原创 three的学习文档资源和手机端调试

下载方式1-----github上下载:https://github.com/Tencent/vConsole/releases/tag/v3.3.4。下载方式2----- https://download.csdn.net/download/miss_liangrm/11748848。index.html代码如下(引入vconsole.min.js代码可以直接在浏览器运行查看)引入vconsole.min.js文件。2、vcosole手机端调试。3、在HTML中使用调试插件。

2023-12-25 10:13:02 452

原创 three的学习

WebGL Terrain and Ocean Rendering

2023-12-16 16:55:18 363

原创 yolov5目标检测

train和val 指定训练集和测试集的图片所在文件夹路径nc 为训练的classes数量names 为标签名,需要和classes.txt顺序一一对应。

2023-12-11 10:46:23 1018

原创 LLM时代,数据为王,19个开源数据集下载网站汇总

链接:https://www.microsoft.com/en-us/research/tools/希望以上开源数据集网站清单,能对您训练大模型有所帮助,持续关注开源数据集,为持续大模型输送语料。链接:https://openi.pcl.ac.cn/explore/datasets。链接:https://www.heywhale.com/home/dataset。链接:https://tianchi.aliyun.com/dataset/链接:https://data.baai.ac.cn/data。

2023-12-08 18:14:22 2092

原创 Three的lod技术

【代码】Three的lod技术。

2023-12-05 18:54:01 582

原创 Three.js的THREE.LOD如何加载gltf模型

这样,就可以在Three.js中使用THREE.LOD加载gltf模型了。

2023-12-03 01:13:37 568

原创 pytorch模型训练中的代码调试

3、模型训练大致流程。

2023-12-03 00:34:03 369

转载 图解WebGL&Three.js工作原理

我们发现,能做的,Three.js基本上都帮我们做了。这段代码什么也没做,如果是绘制2d图形,没问题,但如果是绘制3d图形,即传入的顶点坐标是一个三维坐标,我们则需要转换成屏幕坐标。我们知道,Three.js帮我们完成了很多事情,但是它具体做了什么呢,他在整个流程中,扮演了什么角色呢?如上图,顶点着色器会先将坐标转换完毕,然后由GPU进行图元装配,有多少顶点,这段顶点着色器程序就运行了多少次。如上图,顶点着色器是有多少顶点,运行了多少次,而片元着色器则是,生成多少片元(像素),运行多少次。

2023-12-01 12:03:22 39

原创 open3d 显示人体面部区域

point_cloud 需要用中括号括住。1.使用cv2读取彩色图像和深度图像。3.只保留面部区域的点云。

2023-11-30 16:23:42 386

原创 如何使用Python的Open3D开源库进行三维数据处理

在本文中,我提供了一个关于如何使用Python的Open3D库(一个用于3D数据处理的开源库)来探索、处理和可视化3D模型的快速演练。使用Open3D可视化的3D模型(链接https://sketchfab.com/3d-models/tesla-model-s-plaid-9de8855fae324e6cbbb83c9b5288c961处可找到原始3D模型)如果您正在考虑处理特定任务的3D数据/模型,例如训练3D模型分类和/或分割AI模型,那么您会发现本演练是很有帮助的。

2023-11-30 15:27:59 2370

原创 open3d-点云及其操作

open3d提供了一个专门用于点云的数据结构。

2023-11-30 12:02:39 1373

原创 Open3D 点对点的ICP配准算法

提供用于计算点对点ICP目标函数的残差和雅可比矩阵的函数。计算重叠区域(内点对应关系/目标点数)。将其作为参数并运行点对点ICP以获得结果。计算所有内在对应关系的均方根误差。会更改点云,可视化部分调用。进行复制并保护原始点云。

2023-11-30 10:53:18 643

原创 PyTorch:模型加载方法详解

随着深度学习的快速发展,PyTorch作为一种流行的深度学习框架,其模型加载方法也备受关注。本文将介绍常用的PyTorch模型加载方法,并汇总不同方法的关键点,帮助读者更好地理解和应用。PyTorch模型加载方法汇总。一、PyTorch模型加载方法。

2023-11-28 18:07:57 988

原创 Pytorch Lightning 完全攻略

主页面三个核心组件:模型优化器Train/Val/Test步骤数据流伪代码:outs = []我们需要做的,就是像填空一样,填这些函数。首先,这个DataModule和之前写的Dataset完全不冲突。前者是后者的一个包装,并且这个包装可以被用于多个torch Dataset 中。在我看来,其最大的作用就是把各种train/val/test划分、DataLoader初始化之类的重复代码通过包装类的方式得以被简单的复用。

2023-11-28 17:58:03 799

原创 three.js中GlTF模型渲染优化

在 Three.js 中渲染 GlTF(GL Transmission Format)模型时,通常需要考虑模型优化和性能优化两个方面。模型优化主要依赖于模型的质量和大小,包括模型的拓扑结构、纹理质量和大小等;而性能优化则涉及到模型的加载和渲染,包括模型的内存占用、GPU计算复杂度、渲染帧率等。

2023-11-21 17:19:29 392 2

原创 常用的优化器

在模型训练中,优化器是用于更新和优化神经网络参数的一种方法。常见的优化器包括随机梯度下降(SGD)、具有动量的SGD、RMSprop、AdaDelta和Adam等。 SGD(Stochastic Gradient Descent)是一种基本的优化算法,其特点是在每次迭代时只使用一个样本来计算梯度,从而进行参数更新。 具有动量的SGD(SGD with Momentum)在每次迭代时,不仅考虑当前的梯度信息,还会考虑前一次迭代的梯度信息,以此来加速收敛过程。 RMSprop(Root

2023-11-16 09:46:30 68

原创 深度学习笔记——pytorch

or。

2023-10-30 17:10:44 91

原创 pytorch支持英伟达(NVIDIA)的那个后端

这段代码将输出当前PyTorch所支持的后端类型。例如,如果输出为'gloo',则表示当前PyTorch支持的后端为Gloo;如果输出为'mpi'或'nccl',则分别表示支持MPI或NCCL作为后端。

2023-10-29 16:54:51 50

原创 DataParallel并行运算的模型导入失败Error的解决方法——解除DataParallel封装

在之前的一篇博客中提到了Pytorch框架下,模型使用GPU多卡并行运算来解决显存不足的问题,即使用:但运行后意料之外地出现了如下的error:你也许会很纳闷,明new_model与model已经设置为相同结构了,为什么会报出结构不匹配的error。让我们仔细地观察一下:通过这里的信息我们可以基本分析出来报错的原因来自模型的字典的键(key)出现了不匹配。

2023-10-29 15:02:50 95

原创 【pytorch】简单例子演示 nn.DataParallel 单机多卡训练

如果损失函数是在模型外定义的(大多数情况),则这种方法会加重主卡(一般是 cuda:0 )的负担,因为模型的损失是由主卡来计算的,如果要减轻主卡的负担,可以将损失函数写在模型内部。首先,我们需要制作一个模型实例并检查我们是否有多个GPU。如果我们有多个GPU,我们可以使用。在这个演示中,我们的模型只是得到一个输入,执行一个线性运算,然后给出一个输出。我们在模型内部放置了一个打印语句来监控输入和输出张量的大小。制作一个假的(随机的)数据集。现在我们可以看到输入和输出张量的大小。将我们的模型放在GPU上。

2023-10-28 16:19:59 262

原创 pytorch:单机多卡(GPU)训练

根据以上设置,便可实现单机多卡的分布式训练,这里需要注意一点,也是我踩过的坑,就是Data.DataLoader的shuffle必须为false,否则报错。网址:yii666.com<网址:yii666.com。第一种只支持单机多卡,第二种支持单机多卡和多机多卡;性能上,第二种优于第一种,真正实现分布式训练。这里nproc_per_node的参数表示gpu数量。

2023-10-28 15:52:20 329

原创 Numpy 如何检查列表是多维还是一维的

在上面的代码中,我们同样使用Numpy库中的array函数创建了一个二维数组,然后使用.reshape方法将数组变形成3行2列的形式,使用.transpose方法将数组进行转置。如果.ndim的返回值大于1,那么这个列表就是多维的。在上面的代码中,我们同样使用Numpy库中的array函数创建了一个一维数组和一个二维数组,然后使用.shape属性来获取它们的形状。在上面的代码中,我们首先使用Numpy库中的array函数创建了一个一维数组和一个二维数组,然后使用.ndim属性来判断它们的维数。

2023-10-27 16:37:24 342

原创 PyTorch 分布式训练简明教程

神经网络训练加速的最简单方法是使用GPU,对弈神经网络中常规操作(矩阵乘法和加法)GPU运算速度要倍超于CPU。随着模型或数据集越来越大,一个GPU很快就会变得不足。例如,BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练,需要一种在不同GPU之间对模型和数据进行切分和调度的方法。PyTorch是非常流行的深度学习框架,它在主流框架中对于灵活性和易用性的平衡最好。

2023-10-25 16:37:26 40

原创 深度学习,计算机视觉相关30个顶级python库

下面是由Gregory Piatetsky绘制的图示,并按类型标表示了每个库,按星标和贡献者对其进行绘制,它的符号大小则是以该库在Github上的提交次数的对数表示。图1:用于深度学习、自然语言处理和计算机视觉的顶级Python库由星级和贡献者数量绘制;按提交的对数表示相对大小那么,废话少说,下面是就是由KDnuggets员工精心挑选出来,可用于深度学习、自然语言处理和计算机视觉的30个顶级Python库。

2023-10-25 16:30:10 135

原创 python 列表 张量 python 张量运算

tensor.masked_select(mask) 其中mask是一个与tensor大小相同的张量,且其所有元素为1或者0,该函数的作用是将mask张量中值为1的位置的数据挑选出来,将其余数据丢掉,返回值由挑选出来的元素组成的1维张量。这种方式要求被拼接的张量t1, t2必须大小形状相同,增加的维度的大小等于拼接的张量的个数。torch.randn:用于生成数据类型为浮点型且维度指定的随机Tensor,与NumPy的numpy.randn相似,随机生成的浮点数的取值满足均值为0,方差为1的正太分布。

2023-10-23 20:28:31 62

原创 MobaXterm配置与使用

可以看到,MobaXterm 是一款实力强大的全端软件,基本可以囊括 secureCRT、tftp、ssh 等软件,在一个统一的界面中集中了各种常规操作,是居家旅行的必备良品。众多Windows桌面所需的重要的远程网络工具,诸如SSH、X11、RDP、VNC、FTP、MOSH等,都可以在MobaXterm中开箱即用,为远程任务一体化操作提供极致体验,当使用SSH连接到远程服务器时,将自动弹出图形SFTP浏览器以直接编辑您的远程文件。但在Moba中右键粘贴功能默认不打开,我们可以手动打开。

2023-10-10 15:47:32 1030

原创 numpy的各种方法

38、np.random.choice(a, size=None, replace=False, p=数组a/np.sum(b)):从一维数组a中以概39、率p抽取元素,形成size形状新数组,replace表示是否可以重用元素,默认为False,p为40、抽取概率,本位置越高,抽取概率越高。47、np.average(axis=None,weights=None):加权平均,weights加权值,不设为等权重,例子[10, 5, 1],每列分别X10,X5,X1在/(10+5+1)

2023-10-10 15:01:40 152

原创 pytorch张量维度操作(拼接、维度扩展、压缩、转置、重复)

目录一、拼接张量二、扩大张量2、torch.()三、压缩张量四、重复张量五、缩小张量六、张量变形 z七、重设张量尺寸八、置换张量维度()

2023-10-09 19:09:08 2791

原创 如何将Python训练好的模型保存下来(可使用or继续训练

Python提供了许多机器学习框架,例如Scikit-learn、TensorFlow和PyTorch。这些框架是使用Python编写的,可以方便地训练模型。但是,模型训练是一项昂贵的任务,需要大量的计算资源和时间。一旦模型训练完成,将其保存以便以后使用是非常重要的。

2023-09-08 10:19:00 542

原创 pytorch安装资源(cuda&cudnn)

https://pytorch.org/get-started/previous-versions/

2023-09-01 16:06:04 37

原创 pytorch和TensorFlow 的学习安装,判断GPU是否可用

验证cuda是否可用以及版本号,发现和本地的版本不一致,会导致不可用,重新下拉镜像。#返回gpu名字,设备索引默认从0开始;#cuda是否可用;

2023-09-01 10:48:48 141

原创 通过图片实现3D模型重建

从2D图片到实现3D建模

2023-08-28 11:22:49 86

原创 ubuntu22.04上安装Deep3DFaceReconstruction踩坑记

1、按照下面的方式下载源码能够保证代码干净,不受版本的影响。

2023-08-28 11:06:05 108

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除