- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Qwen1.5微调
修改为单机单卡，重启容器，docker run -it --rm --gpus='"device=1"' -v /mnt/code/LLM_Service/:/workspace qwen:v1.0 bash。修改脚本，/workspace/qwen1.5_train/Qwen1.5/examples/sft/finetune.sh。由于工作上需要，一直在用Qwen做大模型推理，有个再训练的需求，特此琢磨下Qwen的训练。out of memory，修改为7B模型重新尝试，下载地址。单机多卡，继续报错。
2024-04-23 11:45:20
384
原创 MedSAM环境搭建&推理测试
环境搭建&推理测试，虽然话说Segment Anything，但是原始模型对于一些子领域的效果还是不尽如人意的。最近医学领域的分割引起了我的注意，调研了一圈，也想看看在医学领域是否有SAM，嘿，巧了，还真被我找到了。OK，让我们开始吧。python MedSAM_Inference.py 148行 添加 plt.savefig("result.jpg")1、下载模型后拷贝至work_dir/文件夹下。之前分享过一篇SAM（感兴趣的，请移步。
2024-04-15 09:10:42
431
1
原创 敏感词检测-DFA算法笔记及实现
这种方法是可靠的，但是真实的敏感词库里存放的敏感词是非常多的，如果遍历敏感词库的性能较低，而且大部分情况下用户输入的内容都是不包含敏感词的，大部分情况下遇到的都是算法计算量大的情况，那么就需要找到一种高效的敏感词检测方法。算法实现逻辑是循环用户输入的字符串，依次查找每个字符是否出现在树的节点上，比如用户输入“打倒日本人”，从第一个字开始判断，“打”不在树的根节点上，进入下一步，“倒”也不在根节点上，进入下一步，“日”出现在了根节点上，这时状态切换，下一步的查找范围变为“日”的子节点；OK，让我们开始吧。
2024-04-08 09:31:37
379
原创 Open-Sora环境搭建&推理测试
Sora最主要有三个优点：第一，“60s超长视频”，之前文本生成视频大模型一直无法真正突破AI视频的4秒连贯性瓶颈，而Sora直接做到了60秒连贯视频。第二，单视频既能有多角度镜头也能一镜到底，可以很好地展现场景中的光影关系、各个物体间的物理遮挡、碰撞关系，并且镜头丝滑可变。说明OpenAI也亲自下场来卷文生图的这个领域了，当然我们现在没办法直接试用Sora看效果，那么今天的主角出场，Open-Sora，北京大学与兔展智能联合发起的Sora复现计划，旨在联合开源社区力量完成对Sora的复现。
2024-04-03 08:54:58
391
1
原创 RT-DETR环境搭建&推理测试
百度的这篇文章首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。为了避免NMS引起的推理延迟，作者提出了一种实时检测Transformer（RT-DETR），这是第一个实时DERT端到端目标检测器。具体而言，设计了一种高效的混合编码器，通过解耦尺度内交互和跨尺度融合来高效处理多尺度特征，并提出了IoU感知的查询选择，以提高目标查询的初始化。此外，本文提出的检测器支持通过使用不同的解码器层来灵活调整推理速度，而不需要重新训练，这有助于实时目标检测器的实际应用。
2024-03-28 14:12:47
715
1
原创 Detecting of Cracks and Scratches读书笔记
基本的方法是根据零件的重复模式的部分建立一个匹配空域滤波器，然后利用滤波器过滤掉模式，留下完整的表面刮痕，并为表面缺陷优化信噪比。运用匹配滤波器的优势是具备滤波器与输入图片之间定位不匹配的容忍度，随着标准化的不同，容忍度是可以变化的。接下来，减去输入图片的低通图片，留下高通的部分（刮痕和龟裂）。在这个复杂的检测任务上，人类检测员的认定有可能根据不同的因素导致不同的认定结果，然后机器视觉可以给出始终一致的认定结果。由于这些缺陷是低对比度的，合适的光照可以放大对比度，光照对于缺陷检测是一个尤其重要的因素。
2024-03-21 13:55:58
229
1
原创 YOLOv9环境搭建&推理测试
对于CV从业者来说，YOLO系列是个绕不过的经典结构，笔者遥想当年YOLO横空出世的时候，Faster RCNN还是学术界目标检测的翘楚。二阶段检测还是大行其道，不过时至今日，估摸着没有人再提二阶段目标检测的结构了。YOLO系列也从1更新到了9，这新鲜出炉的v9版本，我也来凑个热闹（虽然没有前几年那么热闹了）。OK，让我们开始吧。PS：转换的时候很贴心，没有onnx，自动安装。PS：右上角的自行车检测出来，还是惊艳到我了。oh，no，人生苦短，我选docker。
2024-03-11 10:07:52
828
原创 GFP-GAN环境搭建&推理测试
近期，文生图，wav2lip很火，文生图，见识的太多，不多说了。wav2lip其通过语音驱动唇部动作并对视频质量进行修复，里面一般涉及到三个步骤，文本到语音转化，语音驱动唇部动作，图像质量修复。最后一步骤涉及到图像质量修复，考虑到之前做过基于GFP-GAN相关的工作，在此，总结汇总下。在 wav2lip 中扮演视频质量判别器的任务，负责对嘴唇修复后的图像帧进行质量修复，提供更高质量的视频效果。OK，让我们开始吧。# 安装realesrgan包，用于增强没有人脸情况下的背景，项目刚好需要，就安装了。
2024-03-06 11:35:11
682
1
原创 中英文互译赫尔辛基大学翻译模型安装与测试
近期接到一个文本中英互译的任务，一直以为这种翻译应该很成熟，各种商用版本很多。那么开源的一定也不少，经过网络搜索发现，近两年还真的出现了很多优秀的开源翻译项目。找到了赫尔辛基大学开源免费的多语言翻译模型，开发了1400多个多语种翻译模型。其中就包含了中译英和英译中。OK，那就让我们开始吧。下载红框中的7个文件即可，下载完成后，文件放入指定两个不同文件夹中。1、中译英 python zh_en_test.py。2、英译中 python en_zh_test.py。2、anaconda环境。
2024-02-26 17:27:59
461
1
原创 EfficientNet环境搭建&网络修改
在深度学习CV领域，最初2012年突破的就是图像分类，发展这么多年，基本上已经没有什么进展了。此篇作为之前EfficientNet挽留过的总结，现在整理下，OK，让我们开始吧。一、EfficientNet安装。3、onnx模型删减网络层。2、pth模型转onnx。二、特征提取网络修改。
2024-02-22 18:59:38
300
1
原创 PaddleNLP命名实体识别环境搭建&推理测试
由日中经济协会、经济团体联合会（经团联）、日本商工会议所（日商）等日本经济界团体组成的日中经济协会联合访华代表团（以下简称日本经济界访华团）于1月23日至26日访问北京。由于命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的一些规律性，因而，通常把对这些词的识别从词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别。最近手上接了一个活儿，基于文本语料的实体抽取任务，调研了一圈发现目前开源轮子做的比较好的也就是PaddleNLP（大模型那种巨废资源，且幻觉严重的，不予考虑）。
2024-02-18 09:55:50
911
1
原创 瑞芯微电子RV1126芯片环境搭建&SSD模型转换指南
回到SSD-mobilenet_tf的训练代码，在ssd_meta_arch.py中添加如下代码，在research目录下执行python setup.py install，运行model_main.py（即训练，训练时有生成），即可生成保存prior_boxes的文件box_priors.txt。在索书号场景下，有1917个prior_box。故翻了翻陈年的笔记，找到当年使用瑞芯微电子出的一款芯片RV1126的使用笔记，当时拿到的是一款基于RV1126的IP摄像头，在此整理记录下。OK，让我们开始吧。
2024-02-05 09:31:20
1034
1
原创 华为Atlas 200DK环境搭建&推理测试
网线连接用于Atlas 200 DK共享PC机网络，Atlas 200 DK eth0的网关地址需要与PC机中与Atlas 200 DK相连的NIC网卡的IP地址保持一致，将PC机上网络共享给连接Atlas 200 DK的NIC网卡，则Atlas 200 DK即可接入互联网。Atlas 200 DK中eth0网卡的网关与eth0 IP地址在同一网段即可，例如Atlas 200 DK的eth0的默认IP地址为“192.168.0.2”，则此处可以配置eth0的网关为“192.168.0.101”。
2024-01-29 09:56:06
1042
原创 Ubuntu安装PyTurboJPEG库
说到PyTurboJPEG那一定要聊到TurboJPEG，那么说到TurboJPEG（libjpeg-turbo）那一定要聊到libjpeg，大名鼎鼎的libjpeg大家一定都听说过。那么TurboJPEG呢，就是基于libjpeg的，优化了的高性能JPEG压缩库，并且它在压缩率和速度之间做了很好的平衡，采用了SIMD指令集（MMX，SSE2，NEON，AltiVec），来加速x86，x86-64，ARM和PowerPC系统上的JPEG压缩和解压缩。童鞋们，可能会说，CV领域中遇事不决，OpenCV。
2024-01-22 11:30:34
528
原创 零一科技Yi-34B Chat大模型环境搭建&推理
国产大模型此起彼伏，各种刷榜。作为没有能力训练的我们，只能跟着大佬开源的模型尝试下效果，零一科技23年底发布的Yi大模型，之前就有尝试，现汇总总结下，OK，我们开始吧。
2024-01-15 11:24:26
982
1
原创 Segment Anything（SAM）环境安装&代码调试
Segment Anything是前阵子大火的CV领域模型，之前也有尝试，只是没有整理。一、拉取下载docker镜像。
2024-01-09 14:32:00
573
1
原创 华为Atlas300ipro/Atlas300t芯片环境搭建
4、查看芯片固件版本号 /usr/local/Ascend/driver/tools/upgrade-tool --device_index -1 --component -1 --version。（2）启动 docker run --rm -it -v /work/zzq:/workspace vistart/cuda:11.1-ubuntu18.04 bash。（3）安装MindSpore2.0 pip install mindspore-cuda11-dev -i。
2024-01-03 15:00:17
1561
2
原创 摩尔线程S2000芯片环境配置
1、安装驱动程序 书接上文，这边再来一个国产AI芯片的环境配置，OK，让我们开始吧。3、系统主板BIOS开启Above4G及Resize BAR功能。一、安装系统Ubuntu20.04.1。1、安装docker 20.10.12。2、整理数据集（与yolov5一致）3、安装container工具。1、进入推理docker环境。修改detect.py文件。3、验证驱动是否安装成功。1、USB光盘刻录系统。1、下载docker。
2023-12-28 15:19:58
914
2
原创 比特大陆/算能科技BM1684芯片环境配置
国产AI芯片一直是备受大家关注的一个方面，刚好工作中使用过，在此，要做一个简单的总结和汇总，OK，让我们开始吧。将下载的文件models_VGGNet_VOC0712_SSD_300x300.tar.gz放到examples/SSD_object/model目录下。以上步骤正确执行后，会在out目录下生成fp32_ssd300.bmodel 、int8_ssd300.bmodel文件。（3）fp32模型转换完成之后，接着执行如下指令生成int8 bmodel。2、生成fp32 bmodel。
2023-12-25 09:16:25
1178
原创 Linux环境离线安装Docker&Docker镜像部署
一般而言，我们都会想到使用Docker 镜像部署，让我们看看搜索引擎给出来Docker的优势吧（如下图）。那么，问题来了，本身部署环境都没有网络，怎么离线安装Docker呢？OK，让我们开始吧。一、CenterOS7.0 Docker离线安装。二、Ubuntu18.04 Docker离线安装。6、Docker载入tar包镜像。（2） Docker依赖包。（1）Docker安装包。三、Docker镜像部署。1、Docker镜像打包。2、Docker镜像压缩。5、Docker镜像解压。3、Zip包分包、合包。
2023-12-21 11:21:30
1122
1
原创 Ubuntu20.04下DeepStream Python环境安装
那么最后一个问题，为什么要选择python环境安装，很简单，人生苦短，我选python。读到这里的一定有同学说，干嘛这么麻烦，直接英伟达网站上拉取官方镜像不就完了( docker pull nvcr.io/nvidia/deepstream:6.1-samples)，那我建议这个同学去试试看...... 好吧，因为qiang的原因，其实这样子是拉不到官方镜像的，我的梯子搭过去，依然网络不稳定（这就不知道是梯子问题，还是官网的问题了），拉不完整......那么，如果为了方便部署，只有自己镜像里安装这个了。
2023-12-18 17:58:03
1129
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人