- 博客(31)
- 收藏
- 关注
RSS订阅原创 关于Llama2，关于FreeWilly2，关于百川，还有Autodl
前几天开源的llama2，在中文体验上，不算很好，在部署感受上不算友好，模型多进程的部署方式要注意，终究还是自己技术太菜。
2023-07-21 15:45:30
807
原创 关于阿里oss通过python批量上传的小坑
对于这个情况，很快想到，是由于我是循环遍历列表，然后逐张上传的，不过我没有将图片保存本地再根据地址上传，而是直接将base64图decode之后上传了，感觉虽然节省了保存的时间，但是逐张依次上传不太妥，并且查sdk后，发现oss还有提供一个参数，可以加速传输，用了之后速度明显，15s变成10s了。先说背景，我这边在业务上，通过sd生成了几张图片之后，需要上传到oss并将url返回给调用方，本来这个逻辑非常简单，但是他们觉得，好像时间不太对，说生成一张图片到返回，只要4s，怎么生成4张要15s。
2023-07-03 18:20:11
373
原创 stable diffusion webui + kohya_ss
总结一下，这篇简单的写了一下踩坑，但是并没有很详细的写具体怎么用，怎么训练，因为我觉得，怎么用sd，网上一搜一大把，至于训练，效果远不如网上下载的，有点折腾，而且生成的标签也需要人工校对，如果这些都愿意花时间解决，那区区一个训练，相对而言，花很少的时间就能解决
2023-06-26 17:14:40
1520
1
原创 关于扩散模型（Diffusion Models）中的P2-weighting使用防坑
前几天用了一个扩散模型，P2，长话短说，这个项目测试训练都没碰到啥问题，直到我需要多卡训练的时候，这个项目默认是单卡的，但是需要多卡的时候，发现其内有ddp相关设置，但是直接用torch的那一套，设置nproc_per_node什么的，这样是不可以的。参考项目说的，他严重依赖于guided-diffusion这个项目，然后这个项目说了，他使用mpi来进行分布式的，所以只需要在训练命令前加上mpiexec -n N，N 为显卡数就可以了。这样还没完，这么做了后，会报错，unhandled cuda err
2022-05-19 11:56:22
854
2
原创 关于styleclip的踩坑（1）global direction中的fs3.npy的生成
随心情填坑。0.背景因为公司项目有个需求需要用到styleclip，所以就去了解了一下。这项技术就是可以通过clip输入文字，对生成的图片产生一定影响，从而生成符合描述的图片，或者，描述为图像编辑，将一张苦瓜脸变为笑脸。我这边的项目需要将该项目改为对其他目标的编辑，不是脸，但是这里就不仅仅是更改数据集这么简单了。这边用到的stylegan项目地址：GitHub - dvschultz/stylegan2-ada-pytorch: StyleGAN2-ADA - Official PyTorch
2022-01-27 14:54:23
1842
10
原创 关于Ubuntu多显卡服务器，掉显卡的问题
前几天公司斥巨资买了台8卡服务器，3080ti，算是非常新的电脑了吧，送来的时候装了Ubuntu，估计是服务器版，开机就是命令行，虽然我觉得还好，但是老板还是让装个桌面，方便大家玩儿。 直接说现象，就是跑了个训练后，在nvidia-smi的界面上会看到，突然掉了一个卡，然后再训练，还会继续掉，非常费解，找来服务器人员，也很费解，也找不到有用的日志。 后来他意外发现掉卡的时候，系统也会爆一个错，追溯了一下，和nouveau有关，我们都很奇怪，这个不是屏蔽了么...
2021-12-24 14:03:39
4390
5
原创 使用tensorrt的一些问题
1.碰到如下报错：[TensorRT] ERROR: INVALID_CONFIG: The engine plan file is generated on an incompatible device, expecting compute 7.5 got compute 8.6, please rebuild.[TensorRT] ERROR: engine.cpp (1646) - Serialization Error in deserialize: 0 (Core engine deseri
2021-08-13 14:11:37
6607
5
原创 关于mmsegmentation的自定义数据集格式的一些坑（2）
这次又有任务要跑mmseg，我本意是拒绝的，奈何老板喜欢，mm系列的东西，那一套流程，真心玩不转，玩着玩着心就累了。mm系列和detectron差不多，要找其代码流转，都是要先看配置文件，比较麻烦，需要一定的经验，然后前面两篇都写了我是怎么查看的，这个东西多说无益，我只能说我是怎么看的，希望对各位有所帮助。一：安装这个mmsegmentation，我用的官方的代码，安装还是非常方便的，就是先装一个mmcv再装本体就可以了，mmcv，文档里面写的是mmcv和mmcv-full都可以，但是似乎是mm
2021-04-08 17:48:12
4939
5
原创 关于tensorflow 2.2 使用cuda10.2的相关
因为我这边是主要使用pytorch进行工作的，但是现在有个需求需要用tensorflow，已经很久没有用这个的我，有点发愁，应该装什么版本，查了一下，说是2.2和2.3都是支持cuda10.1，但是2.4就是支持11.0了，可我pytorch1.5需要用10.2啊，一番搜索之后，其实很简单，在cuda文件目录下，将两个库建一个链接改为10.1即可cd /usr/local/cuda/lib64sudo ln -s libcudart.so.10.2.89 libcudart.so.10.1sud
2021-03-30 15:51:19
916
1
原创 关于reid-strong-baseline的一些小坑
打算水一篇今天需要跑一下reid-strong-baseline这个项目，该项目提供了很多训练脚本，然后，他提供支持了market1501、dukemtmc等数据集的读取代码，这些数据集结构都非常简单，因为我要用我自己的数据，然后自己写这些代码略麻烦，就改一下我的数据格式，无非就是改改图片名字。以dukemtmc为例，首先是必须要在传入的root路径下，有个名为dukemtmc-reid目录，里面必须包含有一个名为DukeMTMC-reID的目录，再在这个目录下有三个目录，分别为bounding_b
2021-03-27 15:50:16
884
原创 关于torch.load的一点小tip
今天同事问我，他说好奇怪啊，为啥这个模型总是加载报错啊，总是报显存不足，喊我过去看看，我去瞄了一下，说你试试在torch.load里面加一个参数，指定cpu加载torch.load('XXX.pth', map_location='cpu')看了下内存变化，然后发现内存也不过是增加2G左右而已，而看了下显卡信息，明明是空的，那为啥会报显存不足的错呢。此时又看了下，这台电脑是双显卡，另一张卡在跑程序，显存占用快满了，我就问了一句，你这张空卡加载别的模型可以么，回复可以的，再问，你能确定没有加载到
2021-03-25 10:46:12
751
原创 fewX（fsod）的预测代码编写--detectron2框架的一般见解（1）
前几天老板图像想试试fsod，以前根据论文复现了一下，不过当时只有论文，本渣渣复现不理想，无奈放弃，现在他突然发现不仅开源了，还有了好几版，然后找来这个让我试一下，用的是这个git：https://github.com/fanq15/FewX不过显示发现，这个代码只有训练和验证部分，没有测试代码，然后他用的是detectron2框架，说实话，这个框架，和之前的一篇博文写的mmdetection差不多，就是用起来可能很方便，但是改起来很痛苦，很烦，而且当时写那个的时候，感觉把mmdetection摸得挺透
2021-02-22 11:29:08
1702
24
原创 python flask的简单应用
看过很多flask的教程，感觉都很复杂，很多时候我的需求就是非常简单的小应用，用不到非常高级的功能首先来讲，下面就是一个简单的初始化，8070是端口号，请求的时候会用到，之所以不用一些常用的，是因为太常用的，在使用过程中可能会接到其他程序发的请求，会有点烦from flask import Flask, requestapp = Flask(__name__)if __name__ == '__main__': # Bind to PORT if defined, otherw.
2021-02-06 16:44:48
271
1
原创 mmdetection新增自定义分支（0）：mmdetection的安装和基本介绍
此篇是初始篇 mmdetection是非常知名的目标检测的框架，他集成了很多知名的深度神经网络，简单来讲就是可以通过配置文件的配置来使用各种不同的网络。 不过使用起来是很方便，但是对于初学者来说，他把各种网络都封装起来了，就很难找到相应的实现代码，不太利于学习。mmdetection的安装： 一般从github上下载下来就可以了，他有比较详细的install.md，写的还是比较详细的，以上的链接是目前最新的，我当时安装的版本是2.1的版本，安装的时候...
2020-08-27 18:00:20
588
原创 Ubuntu18.04与deepin+nvidia-docker的构建与踩坑+puppeteer在docker中的使用
写在前面的废话 首先说什么docker，之前我啥也不知道，大概了解，就是一个集成环境，然后可以带着这个跨越各种平台什么的。就这几天的使用来看，差不多是的吧，在使用上，感觉确实是一个带系统的集成环境，基本上和主机隔离开了，在我看来，就是一个虚拟机，然后里面可以装各种环境，然后还可以复制带走，他们之间的区别不太清楚，感觉虚拟机更方便才是，docker每次修改之后，如果不发布的话，那就没有了哟。 再说明一下，其实就docker的情况，我原本就很奇怪，cuda怎么装，最后发现，不用...
2020-05-15 16:03:55
859
原创 深度学习环境搭建，显卡驱动，cuda，cudnn，pytorch，装环境不求人
由于楼主在一些意外的情况下，彻底转行做深度学习了，而且做了几年了，一直在学习，也想总结一些经验写出来，然而总是累的瘫倒在地，爬不起来写。今天从最初开始写吧，如何搭环境。想到哪写到哪。 首先，跑深度学习，要求电脑性能非常高，反正我是用公司电脑的，用的最低档的显卡也是1080，公司最高配是rtx titan，还是不错的。内存，建议16G起步，最好是32G及以上。系统，...
2020-04-10 11:10:16
905
原创 基于python的边缘检测方法-sobel,scharr,laplacian,canny
边缘检测是图像处理和计算机视觉的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点，图像属性中的显著变化通常反映了属性的重要事件和变化。这些包括：深度上的不连续，表面方向的不连续，物质属性变化和场景照明变化。边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。图像边缘检测大幅度的减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。...
2020-03-27 11:10:54
2220
原创 关于在android studio上通过freetype渲染文字2
直接导入so或者生成aar再导入之前一篇说了终于把freetype跑起来了，但是那个GVR的代码已经很多了，我不能把这个代码导进去然后在里面编译so然后用吧，而且即使弄进去了也不一定能用哦。不够我没有这么尝试过。按照一般的做饭，既然生成了so并且试过了能用，接下来，就是要在这个jni的c文件中的接口函数，也就是在java层的native函数，要修改一下，因为换了一个项目调用
2017-04-03 21:58:53
1544
原创 关于在android studio上通过freetype渲染文字1
初步知道freetype和在android studio上编译和运行demo本人是新手，所以记录一下自己是如何弄的，免得忘了。一步步来吧，目前并没有搞定！ 导师给了一个谷歌的GVR的一个sdk或者是别的东西吧，反正就是可以运行，手机上可以看到一个立方体旋转，点击之后立方体消失。这个我的理解就是谷歌给出的一个关于VR的一个示例，然后现在老师要求我在上面增加一个在立方体上显示文字的
2017-04-03 21:52:01
2619
3
原创 算法设计与分析——第六篇，动态规划
写在前面的话——动态规划，说是动态，在我看来跟枚举 差不多了，就是把所有结果所有可能都算出来，然后规划一个最优解，不知道这么说不会显得太低端，但是我现在真的就是这么想的，和贪婪的区别就是，贪婪是先选出最优的，然后再计算，只算最优的那一个，动态规划就是先计算，然后再选出最优的，所以所有的都要计算，计算很多次，感觉不就是枚举法么，不知道怎么说啊第六篇——这次的题真的想了好久
2016-11-01 21:14:45
3849
1
原创 算法设计与分析——第五篇，贪婪法
写在前面的话——贪婪法我觉得就比较好懂了，不过还是觉得书上写的就不是人能懂的东西，什么局部最优整体最优，真的要通过实例来理解，其实就是，如果一个问题可以分为好几个小问题，我理解为分好几个步骤，或者是好几个部分，比如一串数，可以分为好几串少一点的数，所谓局部最优就是这群少一点的数中找到最大的，再在这些最大的中找更大的，就是所谓的合成一个大问题，整体最优，也就是每一步都找最优的，直到最后这个数，就
2016-11-01 21:04:58
1118
原创 算法设计与分析——第四篇，分治法
写在前面的话——这次终于到分治法了，个人觉得分治法比较广泛的认知，就是快速排序法，不过似乎快速排序法只是用到了分治法的思想，但是并没有用到分治法，也不是很明白，反正这次出的题的话，能比较清楚地理解分治法是怎么样一种算法第四篇——话说我本来觉得第一题非常麻烦，虽然是用的课本的例题，但是发现这样写的话，有一定几率会出问题，也简单分析了一下，觉得还是快速排序法好用，所以写了两段代码，
2016-11-01 21:03:45
3139
原创 算法设计与分析——第三篇，倒推蛮力什么的
写在前面的话——这次主要是就是开始讲算法了，主要的来说，主要是分治法、贪婪法还有动态规划，这些我觉得是一种处理问题的思想，还有什么蛮力法，倒推法什么的，也算是思想，但是更多的，这个也算是一种工具，会比较常见的用在之前的三种方法中，特别是倒推，其实我也觉得倒推并没有多神奇，毕竟我们做数学题的时候，就是很多时候按照正常的顺序思考不出来，反着推就能比较顺利，而且我觉得这些个算法，只能算是训练，而实际
2016-11-01 20:11:27
1250
原创 浅析lvs的十种负载调度算法
写在前面的话——老师简单说了下云计算相关的东西，到了lvs的时候，下课了，干脆就布置作业自己写论文来介绍一下十种方法吧，然而实话实说，我确实没听懂整堂课，对自己失望一分钟！百度了资料，相关信息还是很多的，老师要求不要太多，2000字不到3000字就可以了，然后我把我想复制过去的全部完了后，发现4500左右字了，又不想删掉，所以贴这了，实际论文我会删去算法流程的介绍部分，貌似就满足要求了！
2016-09-25 23:28:09
495
原创 算法设计与分析——第二篇，论算法与数据结构的使用方法及技巧
写在前面的话——这篇的主体内容其实就是抄书，不过个人觉得我选的还是比较有意义的内容，书上也没有代码，所以代码是我自己写的，比较简单的题目了，算法前面的题目或者说知识点都比较初级第二篇——论算法与数据结构的使用方法及技巧现代计算机可以解决的问题种类繁多，计算机解决问题的实质是对“数据”进行加工处理，计算机处理的问题类型，粗略地可以分成数值计算问题和非数值性问题，随
2016-09-24 21:18:41
2131
原创 算法设计与分析——第一篇，写在前面的话
写在前面的话—— 做程序员也有几年了，一直以来都是在有需要的时候，上网查查资料，看看别人写的博客来充实自己，有时候也会想写写随笔，学习笔记什么的，可是空空如也的我，一直以来都没有什么可以写的，不过既然决定重新回到学校，开始一段新的历程，那就还是写写吧，正好学校也开了算法设计与分析这门课，每节课后，老师都会要求写一篇当堂课的相关论文报告交上去，我就把我的每篇作业贴上来吧，不过都是参考书上的东西！
2016-09-24 21:15:39
777
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人