- 博客(87)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 大语言模型数据集（三）
在医疗领域，数据并不只是来自患者健康记录、医嘱条目和医生处方。事实上，目前已有数百万人通过家用工具包将他们的基因信息上传到商业数据库。医疗的相关的数据成为越来越重要的资源。NLP可以将人类语言翻译成机器可读的形式，允许机器从提供的数据中获得意义。医疗领域正使用NLP工具控制数据，这些数据的存储形式包括语音、文本、象形文字、照片等其他，通过它们得出有用结论。自然语言处理（NLP）技术这种颠覆性技术在医疗行业的使用，很好的辅助了医疗工作者，促进了医疗行业的发展。
2023-10-19 16:14:39
546
转载 大语言模型数据集（二）
该数据集用于训练和评估用于检测机器释义文本的模型。训练集包含从 8,024 篇维基百科（英文）文章（4,012 篇原文，4,012 篇使用 SpinBot API 释义）中提取的 200,767 段（98,282 篇原文，102,485 篇释义）。测试集分为 3 个子集：一个来自 arXiv 研究论文的预印本，一个来自毕业论文，另一个来自 Wikipedia 文章。此外，还使用了不同的 Marchine-paraphrasing 方法。
2023-10-19 15:58:52
971
转载 大模型训练数据集（一）
在Alpaca模型的原始52K数据的基础上，我们添加了额外的534,530个条目，涵盖英语、简体中文、繁体中文（台湾）、繁体中文（香港）、日语、德语以及各种语言和语法任务。通过使用这些丰富的数据重新训练和优化模型，Guanaco在多语言环境中展现出了出色的性能和潜力 数据集名称：Guanaco。我们收集了23个常见的中文数据集，对于每个任务，由人工书写若干种指令模板，保证数据的高质量与丰富度，数据量为115万。对现在的开源数据集做了相关的整理和汇总，并且加上了自己开源的CoT数据集。
2023-10-19 15:51:43
420
原创 chatglm2微调—ptuning
P-Tuning: 在输入的embedding层前，将prompt转换为可学习的额外一层embedding层.
2023-10-19 15:16:47
177
原创 chatglm2微调—Freeze
Freeze: 即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行TP或PP操作，就可以对大模型进行训练。P-Tuning: 在输入的embedding层前，将prompt转换为可学习的额外一层embedding层.
2023-10-19 00:19:30
229
原创 chatglm2微调—Lora
网络上复制的一直报错export_model.py: error: the following arguments are required: --output_dir.明明指定了输出路径，甚至放在根目录或者绝对路径还报错，直至看到项目下example/train_sft.sh文件发现复制命令的有些换行。目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。推荐使用项目下example/train_sft.sh。推荐一些写的不错的链接以及官网readme。
2023-10-19 00:06:23
548
原创 vue图片显示
最简单的方法是使用<img>标签，并将图片的URL作为src属性的值。如果是绝对路径，需要使用require函数，图片将从提供的URL加载并显示在页面上。
2023-10-03 21:07:44
2721
原创 vued中图片路径与主机路径相关联，例如img:‘http://127.0.0.1:8000/media/data/els.jpg‘
文件中，确保包含了适当的 URL 配置，以便将媒体文件服务到。定义了本地文件系统中存储图片的路径。2.在 Django 项目的主。1.在Django项目的。文件中，确保已指定正确的。定义了图片的URL前缀，
2023-10-03 20:48:28
1033
原创 window下深度学习环境配置遇到问题
更新ing1、不能安装 torch==1.6.0解决办法pip install torch==1.6.0 -f https://download.pytorch.org/whl/torch_stable.html不能安装torchvision==0.7.0（解决方法同上）2pycocotools安装失败./common/maskApi.c(8): fatal error C1083: 无法打开包括文件: “math.h”: No such file or directory需要安装visu
2022-05-26 17:27:27
451
原创 pyretri训练数据准备及config文件解读
一、训练数据准备1、生成 caltech_split.txt 文件split 文件的模版样本101_ObjectCategories/metronome/image_0004.jpg 0下面的文件路径需要修改成自己的path_file = '/data/nextcloud/dbc2017/files/jupyter/PyRetri/main/split_file/caltech_split.txt'gallery_lst = glob.glob('/data/nextcloud/dbc2017/
2022-05-26 16:33:21
354
原创 基于pyretri的图像检索项目
项目配置参考博客：PyRetri代码实讲从华为DIGIX比赛理解–图像检索的通用流程（利用Face++开源PyRetri代码）参照实例操作教程对整个图像检索项目进行梳理一、对于训练的样本准备对于测试，直接准备数据，走下面步骤即可二、生成json数据python main/make_data_json.py -d E:CBIR/data/gallery/ sp E:\CBIR\data\database\data_json\gallery.json -t generalpython ma
2022-05-26 16:08:36
288
原创 如何解决: ModuleNotFoundError: No module named ‘object_detection‘
如何解决: ModuleNotFoundError: No module named ‘object_detection‘记录tensorflow2.6遇到的问题https://blog.csdn.net/weixin_45012798/article/details/121348581pip install tensorflow==2.2.0一些tips用anaconda安装，但有时安装不了某些package时候，需要pip。一配置python环境变量（来回切换太麻烦）二在AncondaP
2022-05-26 15:11:31
694
原创 Windows配置Github SSH Key
一、装备1.1安装git1.2检查下之前有没有已经生成：打开git下的git bashls -al ~/.ssh二、生成公钥私钥进入到.ssh文件目录下能进入，则证明，之前生成过.ssh秘钥，可以直接使用里面的秘钥。如果不能进入到.ssh文件目录下，检测下自己之前有没有配置：git config user.name和git config user.email //（直接分别输入这两个命令）如果之前没有创建，则执行以下命令： git config –global user.
2022-01-24 16:13:00
980
原创 windows下delf配置：delf测试（三）
1、准备oxbuildings创建datadata/oxford5d_images (放影像）data/oxford5d_features （放提取特征）delf_v1_20171026创建parameters目录存放解压的模型文件list_image.txt将图像文件名和路径填写到文件中，文件编码为utf-82、特征抽取2.1打开python\example目录下的delf_config_example.pbtxt文件修改默认输入参数以下和路径有关均是绝对路径！！！
2022-01-23 02:46:35
1557
1
原创 windows下delf配置：delf环境（二）
安装tensorflow报错百度一下说是h5fy与numpy版本不适配抱着试试先卸载再安装，果然。。。感觉pip和conda都有坑，pip下载不考虑与其他版本适配，conda下载会让你把安过的package再装一遍，我昨天才装完tensorflow gpu一系列，今天还要装选择pip uninstall package，pip install package==version解决了，明明昨天配好了，安装delf，把它弄坏了晕参考[1]: http://meta.math.stackexch
2022-01-23 02:24:09
1598
原创 delf配置：基础环境（一）
一、基本环境1.安装tensorflow-gpu（1）conda install tensorflow-gpu（这样比较方便，不用安装nvida、cuda）参考win10 配置tensorflow gpu版–不用装CUDA（2）import tensorflow不报错即可，但缺少kerasconda install theanoconda install kerasimport keras不报错即可2.下载proto编译器对于Windows：protoc-3.7.1-win64.z
2022-01-23 01:44:09
1303
原创 windows下darknet的安装使用（二）——gpu
windows下darknet gpu1、windows版darknet下载修改（1）下载（2）文件修改2.vs编译darknet3.运行结果4.说一下踩得坑1、不是非安装opencv不可，link那可以忽略2、darknet报错more than one instance of overloaded function "_malloc_dbg" has " MSys2,下载地址http://www.msys2.org/。根据不同电脑选择响应的版本，64位系统选择 msys2-x86_64-xxxx.exe。(2) 添加环境变量，在系统属性-高级-环境变量-系统变量-Pa
2020-12-24 20:21:40
608
1
原创 windows深度学习环境配置
0：安装anaconda3从官网下载最新版本就行地址：https://www.anaconda.com/distribution/#download-section按步骤正常安装后添加环境，我习惯用python3.7版本。1、cuda和cudnn安装笔记本一般自带NVIDIA驱动（nvidia -smi即可查看）查找：NVIDIA显卡驱动——帮助——系统信息——组件显示最高支持cuda，并不是已安装，输入nvcc —V并没有输出2、官网cuda和cudnn安装cuda10.0：https
2020-12-24 19:53:35
254
1
原创 C++秋招记录（九）——C v.s. C++
C++秋招记录（九）c++面试1、简单描述一下你认为的C语言的优点和缺点？2、 C和C++、GP的区别？3、int fun() 和 int fun(void)的区别?4、在C中用const 能定义真正意义上的常量吗？C++中的const呢？5、C和C++中struct的区别是什么？6、C++中的 struct与class的区别是什么？7、C++是不是类型安全的？8、 C和C++中的强制类型转换？9、C++中所有的运算符都能重载吗？10、C++程序中调用被C编译器编译后的函数，为什么要加extern“C”?1
2020-12-17 20:33:47
221
1
原创 C++秋招记录（八）——数据结构
C++秋招记录（八）面试题目二、vector扩容为题解决resize和reserve区别：size与capacity区别面试题目以数据结构为主二、vector扩容为题解决为vector预分配大小，使用reverse（）函数或者resize（）均可resize和reserve区别：reserve：只改变当前的最大容量resize：改变容器大小，改变当前容器元素数量，少了添加，多了删除reserve()：改变当前容器的最大容量（capacity）,它不会生成元素，只是确定这个容器允许放入多少对
2020-12-17 16:07:09
240
原创 C++秋招记录（七）——多线程
C++秋招记录（六）面试题目一、智能指针1、auto_ptr（c++98的方案，cpp11已经抛弃）2、unique_ptr3、share_ptr(强引用）4、weak_ptr(弱引用）面试题目以STL数据类型、智能指针为准为主一、智能指针为什么要使用智能指针：智能指针的作用是管理一个指针，因为存在以下这种情况：申请的空间在函数结束时忘记释放，造成内存泄漏。使用智能指针可以很大程度上的避免这个问题，因为智能指针就是一个类，当超出了类的作用域是，类会自动调用析构函数，析构函数会自动释放资源。所以智
2020-12-10 19:00:30
176
1
原创 C++秋招记录（六）——C++11
C++秋招记录（六）一、c++11一些特性1、C++11的std::function和std::bind用法详解？1、lambda表达式一、c++11一些特性1、C++11的std::function和std::bind用法详解？C++中有如下几种可调用对象：函数、函数指针、lambda表达式、bind对象、函数对象。其中，lambda表达式和bind对象是C++11标准中提出的(bind机制并不是新标准中首次提出，而是对旧版本中bind1st和bind2st的合并)1、lambda表达式la
2020-12-08 23:22:41
472
原创 C++秋招记录（五）——计算机网络
C++秋招记录（五）一、计算机网络1、OSI七层模型、TCP/IP 4层模型2、三次握手的原因2、四次挥手的原因3、TCP与UDP的区别4、Http和Https5、对称加密与非对称加密6、Get与POST的区别7、从输入网址到获得页面的过程二、多线程1、线程产生的原因：2、进程和线程的区别？3、死锁？死锁产生的原因？死锁的必要条件？怎么处理死锁？4、进程通信方式？5、僵尸进程、孤儿进程计算机网络、线程、进程相关问题一、计算机网络1、OSI七层模型、TCP/IP 4层模型OSI七层模型及其包含的协议
2020-12-04 18:12:18
172
原创 C++秋招记录（四）——内存方面
C++秋招记录（四）一、内存管理1、C/C++内存有哪几种类型？2、堆和栈的区别？3、堆和自由存储区的区别？4、什么是内存泄漏？5、“野指针”产生原因及解决办法如下：6、new、delete、malloc、free关系7、 C++中有了malloc / free , 为什么还需要 new / delete？8、 free、delete为什么不用记录长度？内存管理、new、delete，内存池相关问题一、内存管理1、C/C++内存有哪几种类型？C中，内存分为5个区：堆(malloc)、栈(如局部变量
2020-12-03 15:42:05
253
原创 C++秋招记录（三）——细碎知识点
C++秋招记录（三）1、memory alignment and padding, 内存对齐的原理与意义2、typedef 和 define 有什么区别3、const（enum）与 #define 的比较 ，const有什么优点?4、const 有什么用途细碎知识点1、memory alignment and padding, 内存对齐的原理与意义作用：结构体以及类成员对齐，意义就是减少cpu读取的次数，提高效率。比如一个int变量长度为4个字节，cpu一次读4个字节，当然是一次读取比较好。但
2020-12-03 00:42:12
157
原创 C++秋招记录（二）——c++多态
C++秋招记录（二）一、虚函数1、继承下的虚函数表2、virtual继承和virtual函数3、virtual函数的优缺点4、构造函数为什么不能是virtual?5、如何定义clone来实现类似virtual constructor的功能？6、析构函数为什么要是virtual？7、virtual函数可以是static吗？8、构造、析构函数包含函数可以有virtual函数？二、多态性1、C++的多态性2、静态绑定和动态绑定3、模板类？4、模板类中可以使用虚函数吗？析构函数、构造函数、虚函数相关问题一、虚函
2020-12-03 00:05:27
130
原创 C++秋招记录（一）——指针、数组、引用
C++秋招记录面试题目一、指针、引用指针和引用的区别：指针常量和常量指针二、std::move右值引用std::move使用三、vector扩容为题解决resize和reserve区别：size与capacity区别面试题目以c++为主一、指针、引用指针和引用的区别：引用是别名，指针实体必须初始化（可以存着空指针，不能存着空引用）从一而终（引用初始化后不可修改，指针可以修改）sizeof引用，得到变量大小；sizeof指针，指针本身大小引用的实现是指针，但是比指针多了类型检查 指针常
2020-12-02 21:03:17
131
原创 docker入门学习(四):nvidia-docker 使用及docker部分命令
nvidia-docker run -it -v 本机测试路径:镜像容器内测试路径 -v 本机保存路径:镜像容器内保存路径 ImageName如下所示:nvidia-docker run -it -v /home/zbb/test:/input_path -v /home/zbb/save:/output_path testpy1、利用dockfile创建满足条件的镜像:FROM anconda-py37-nvidia/cuda:10.0-cudnn7-devel-ubuntu16.04
2020-08-17 16:39:31
1142
原创 docker入门学习（三）：镜像保存与存在问题
一、镜像保存如果你想把你的镜像给其他人，需要save到本地，然后对方load该文件即可sudo docker save -o /home/zbb/test.tar hello-world二、保存文件不可操作问题使用docker save命令后发现保存文件不可操作，读写复制看到所有者root，我就思考是不是sudo原因，果然，一定要免sudo ，之前感觉不影响就懒得弄三、免sudo操作（必须）#如果还没有 docker group 就添加一个：sudo groupadd do
2020-08-05 16:28:12
519
原创 python-opencv下读取影像释放内存
因为读取影像较大，且数量较多，不释放，报错OpenCV(4.1.1) (-4:Insufficient memory) Failed to allocate 2825196594 bytesc++下opencv释放影像占用内存：IplImage*img=cvCreateImage(cvSize(640,480),IPL_DEPTH_8U,1);cvReleaseImage(&img);在python下没有找到对应函数，甚至查阅了opencv网站welcome to opencv do
2020-08-05 16:15:00
5653
原创 docker入门学习（二）：利用Dockfile制作鏡像
制作Dockfile文件下面是一个Dockfile样本以及四个容易出现错误的地方，Dockfile详细的解释见链接# 基础镜像FROM nvidia/cuda:10.0-cudnn7-runtime-ubuntu16.04# 配置程序依赖环境，示例如下RUN apt-get update && \ apt-get install -y --no-install-recommends \ build-essential cmake libjpeg-dev l
2020-08-03 21:49:59
316
原创 docker入门学习（一）：ubuntu下docker、niviadia-docker安装及使用
Sudo docker imagesdocker pull nvidia/cuda:10.0-cudnn7-devel-ubuntu16.04sudo docker build -t test .sudo docker run -d -i -t nvidia/cuda:10.0-cudnn7-devel-ubuntu16.04/bin/bashsudo docker rm f3dbe276959asudo docker rmi7f1daca57d51sudo dock...
2020-07-30 18:55:35
373
原创 deeplab训练自己的数据
目录一、环境配置1、添加变量2、测试二、制作自己的数据集1、制作2、 数据集目录deeplab/train下目录放置3、生成txt文件4、生成tfrecord文件三、训练前代码修改1、data_generator.py2、train_utils.py3、train.py四、训练1、下载预训练模型2、训练指令参考博客：ht...
2019-10-22 20:28:35
570
1
原创 mask-rcnn的配置及训练自己的数据
目录一、配置与测试1.下载gitclone2.安装pycocotools二、训练自己的数据1.labelme安装与转换2.数据集的修改3.测试代码修改1）修改load_shapes函数2）load_mask函数数据设置修改4、测试代码修改参考博客：https://blog.csdn.net/qq_36810544/article...
2019-10-18 22:30:46
1596
3
原创 centernet下训练自己的数据
目录一.数据准备1.制作COCO数据集2.计算数据集的均值方差二.代码修改1.新建类别2.加入dataset3.修改/src/lib/opts.py4.修改src/lib/utils/debugger.py文件二 训练与测试：1训练：2测试：3绘制loss曲线参照博客：https://blog.csdn.net/weixin_426343...
2019-10-17 16:26:51
1619
1
原创 ubuntu下配置 centernet
目录1.配置cuda9.0+cudnn7.6.01.1下载1.2 cuda安装1.3 cudnn配置1.4 环境变量2.配置pytorch0.4.13.配置centernet3.1 下载centernet3.2 下载cocoapi3.3安装需要依赖库：3.4.编译DCNv2（可变形卷积）3.5.编译NMS4.运行demo.py4.1 ...
2019-10-14 12:13:32
2075
5
原创 anaconda
醉了，anaconda，cudn,cudnn有时候真的见鬼，下载失败，anconda用清华源下载注意:1.不能用anconda3.5.3.1有问题不用，更新不了anconda系统变量，用最新的那个201907。2.想用python2.7只能下anaconda2 ，而且用清华或者其它非官方镜像源，默认下载非最新版本，需要指定版本conda install xxx=x.x.x3.实在anacon...
2019-09-12 11:00:37
273
原创 yolov3+opencv+视频检测保存
目录1.opencv的安装1）去官网下载opencv2）解压下载下来的zip包3）安装必须库和cmake-gui4）cmake-gui编译5）make和make install6）路径设置7）测试一下：2.yolov3源码更改与排错Error1：cv_window_normal未定义Error2：showimage参数不足3.测试视频与保存1)...
2019-09-07 17:37:07
4035
15
cat.tar.gz
2019-09-01
cat+plane.tar.gz
2019-09-01
raccon.tar.gz
2019-09-01
matlab下harris+surf匹配
2019-04-01
vs2017（64位）& pcl 1.8.1
2018-10-24
mapgis10教程
2017-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人