- 博客(173)
- 资源 (64)
- 收藏
- 关注
RSS订阅原创 将带alpha通道的4通道png图片转换为3通道图片
在CV 人工智能模型中，通常是用3通道数据进行训练。在遇到4通道png图片时，需要预处理转换为3通道后再行处理。目标检测类任务，建议用方法2;OCR之类文字检测任务（只需要轮廓），建议用方法1.2. 保持原始色彩，只去掉alpha通道。
2024-03-07 10:56:26
592
原创 CMAKE + visual studio 中强制设计链接方式为MT
CMAKE中可以通过FLAG设置MT, 但是，如果用visual studio打开，有时不生效。以下方式可以强制设置MT方式，在CMakeLists.txt中添加即可。
2024-02-26 18:13:35
370
原创 短内容中文编码检测方法
对于检测中文编码，如GBK/BIG5, 长内容可以有很多方法，比如uchardet, chardet之类的函数库。但是对于短内容，比如文件名，用以上函数库，效果并不理想。经过搜索发现一个有效的库：compact_enc_det.如果不设置语言，效果很明显减弱。
2024-02-26 17:21:12
356
原创 在职读博这六年，回忆珍惜的读博经历
本篇继续是一个大坑，挖完后会陆续填坑。本人于2018年申请了全日制工程博士定向。这意味着可以在职读博。从刚开始的见人劝人读博，到后期的努力劝退其它人的读博念想，这是人生经验的总结。俗话到：年轻人不要赌博（读博）。五、大论文撰写与小论文rebuttal。4.2 北大核心写作过程。4.1 SCI写作过程。
2024-02-15 09:37:41
422
原创 效果较好的中文论文提示词
数字经济是继农业经济、工业经济之后的主要经济形态，以数据资源为主要要素，数据的安全性保障越来越重要\upcite{GuoWuYuanGuanYuYinFaShiSiWuShuZiJingJiFaZhanGuiHuaDeTongZhi}。数据是内容的载体，电子文档又是数据的容器，内容敏感性或机密性的判定是影响数据安全的重要因素，因此对电子文档内容进行敏感性与机密性的判定是保证数据安全的手重要手段。数字经济是继农业经济和工业经济之后的主要经济形态。数据是内容的载体，而电子文档是数据的容器。
2024-02-15 09:01:01
489
原创 锐龙笔记本Windows 11休眠无法唤醒问题的解决（6800h, 7840H/Hs)
锐龙笔记本运行Windows 11时经常会遇到休眠后无法唤醒的问题，表现为休眠后 按键盘或鼠标无反应，只能长按电源开关关机后再开机。网上有很多说法，比如显卡问题或其它问题。在设备管理-系统设备-AMD GPIO Controler 中，找到电源管理，将“允许 计算机关闭此设备以节约电源” 勾去掉，设置为图上的状态。再试试，是不是休眠睡死无法唤醒的问题解决了？
2024-01-27 15:48:16
1754
原创 解决xp环境下loadlibrary时目标dll中静态变量初始化错误问题
xp下用loadlibrary加载dll时，目标dll中如果有静态变量，会导致初始化失败，这是xp的缺陷。注意，所有的工程都要修改添加第一个图中的选项。
2024-01-18 11:18:41
354
原创 怎样用chatGPT编写并发表SCI 1区论文？
从我审阅过的多数英文论文来看，语言表达与成熟度问题是永远的问题。大模型来了，我们不能只用它写情书，还得派上点正经用途，那就是用来写英文论文（严格讲是润色论文）。润色：以论文风格润色句子：The verbalizer is an effective manner to promote the results of text classification.用自己中级水平的英文编写表达意思句子，术语要把握好。以论文风格润色英文句子并保留latex标记：X。以论文风格润色以下英文句子：X。
2024-01-17 09:14:08
530
原创 GGML 或GGUF的14种不同量化模式说明
对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。
2023-12-12 07:08:59
3569
原创 cmake中将静态库.a 链接到.so 动态库中
set_property(TARGET kaldi-native-fbank-core PROPERTY POSITION_INDEPENDENT_CODE ON) #核心是这句，设置位置无关，即添加-fPIC。
2023-06-13 20:11:58
481
原创 vscode 或visual studio远程开发中设置gdb捕获子进程
【代码】vscode 或visual studio远程开发中设置gdb捕获子进程。
2023-05-31 19:48:28
450
原创 低资源大语言模型LLM研究者的希望 LIMA + 4Bit 量化训练
1. 4Bit 训练方法，可以在A6000或6000 ADA这样的消费级显卡上进行65B模型的微调。预测后面的 大模型研发工作将进入井喷状态，各种大模型会层出不穷。指令微调数据的质量， 每条指令遵从的质量和多样性才是关键。2. 人工收集加工1000条或稍多的高质量指令微调数据成为可能。指令微调只是给模型增加风格，并不能提升能力。RLHF人类遵从的强化学习训练不是必要的。越大的模型才有更强的潜力。LIMA模型的研究 （
2023-05-24 06:59:39
1283
原创 pytorch 模型量化处理及导出onnx格式模型
量化时需要对算子进行量化处理，对输入数据fp32格式进行量化处理到int8, 再输入模型中。量化处理可以加快推理速度，减少模型占用空间 ，提高推理性能的必要选择。
2023-05-21 07:35:45
1933
5
原创 吃鱼不养鱼：大语言模型（LLM)应用方法探讨
核心架构是 以LLM为中心，作为中枢调度，Langchain方式作为顾问团（提供业务相关资料），Tools作为小助手，被LLM调用来获得具体的能力。这种方式可以补充大模型对于实时知识的不足以及具体业务能力（如复杂 数据计算）的不足，利用大模型的推理与归纳能力。大语言模型需要65B或更多参数量才能涌现足够的推理能力，这对于训练或微调是极大的资源与人力挑战，那有没有办法不训练模型来充分利用大语言模型的能力？这还真有，办法是顾问团与小助手。
2023-05-09 06:55:51
404
原创 AMD 显卡在windows下完美兼容transformer/pytorch
2. pip install torch-directml==0.2.0.dev230426 # 这个版本会变化 ，目前不支持安装的是1.13支持的版本，不能兼容transformer.经过微软的努力 ，支持pytorch 2.0的directml-torch 已经可以试用，经过测试，已经可以完美支持transformer库。你的amd显卡可以在windows下用来炼丹了。建议windows 10或11环境。1. 安装anaconda。
2023-05-03 06:44:52
2938
4
原创 onnxruntiem c++代码中的矩阵存贮 方式
在onnxruntime中 cpp/c接口中，输入的矩阵是行式存贮方式。比如 2*3 矩阵，我们用vector表示，它有6个元素，存贮 方式为。* *＊｜＊* * （６个元素平面存贮），竖线表示行分隔符。先存贮第一行，再存贮第二行，类推。
2023-04-29 10:08:12
71
原创 5万元内最经济双卡4090深度学习方案
AMD 7950x + 双4090方案 不到5万，目前最经济的双卡人工智能服务器方案。硬盘： ssd 2T 600元， 16T机械 1900元， 合计 2500元。显卡： 4090 水冷 x 2 1.5wx2 30000元。4 128G DDR5 800x4 3200元。主板： 华硕 x670EA 吹雪 3000元。CPU: amd 7950x 3500元。电源： 长城巨龙 2000w 1200元。机箱： 追风者 620PC 800元。总价： 44200 元。
2023-04-14 07:41:28
2215
5
原创 生成式大语言模型微调训练快速手册
基础模型训练 阶段决定了大模型的能力天花板，由训练语料、模型架构以及训练方法决定。微调阶段只是让模型以人类可以接受的输入及输出 方式将能力显式呈现出来。ChatGPT的流行让大语言模型走入了大家的视线，怎么打造自己的大语言模型成为了一个急需解决的问题。基础模型训练与微调相当于一个人的基础教育阶段（小学到大学本科）以及职业强化阶段（研究生阶段）1. 完全白嫖 （从开放途径获取别人训练微调好的模型）2. 基于现有基础模型进行指令微调 （包括对齐等）3. 完全从头开始，从基础大模型到指令微调。
2023-04-12 04:49:30
1769
原创 Ｗindows 下 AMD显卡训练模型有救了：pytorch_directml 下运行Transformers
注意，如果直接使用pipeline可能会有问题，应该是pipeline不兼容导致的。只需要自己编写具体代码，避开pipeline即可。amd GPU占用率能上去。
2023-02-21 09:00:02
3496
1
原创 Pytorch模型转换为onnx或ncnn的方法兼谈pytorch模型编写规范
使用torch.jit.trace_module( model, {"entrypoint",[parameters]}) 来记录模型，entrypoint在大多数模型中是 forward, 如果有定制，可以修改。影响成功的主要问题是：在模型的forward函数中不能使用条件语句，否则 会影响trace。此时的办法就是去掉里面的条件语句。pytorch-> torchscript->pnnx, 中间有副产品onnx模型。使用torch.jit.save来保存模型。
2023-01-30 20:05:10
537
原创 Windows下用amd显卡训练 ： Pytorch-directml 重大升级，改为pytorch插件形式，兼容更好
新的pytorch-directml 不再是独立的pytorch 移植，变成了一个设备插件，更好用，兼容性更好。原来的版本无法跑transformers, 新版变成一个独立的计算设备 dml, 兼容性更好。
2022-12-22 07:49:15
5165
原创 pytorch - directml 中查看设备支持情况
print(torch.dml.device_name(0)) ＃ 显示第０个ＤＭＬ设备名称。print(torch.dml.default_device()) ＃显示缺省ＤＭＬ设备ｉｄ。print(torch.dml.is_available()) #显示是否有dml设备。
2022-11-13 17:10:50
2204
翻译 floret：轻量级的、稳健的单词向量
floret是fastText的一个扩展版本，它使用Bloom嵌入来创建包含单词和子词信息的紧凑矢量表。floret将fastText的子词带入spaCy管道，其矢量比传统单词矢量小10倍。在这篇博文中，我们将深入研究这些矢量。我们将解释它们是如何工作的，并展示它们在什么时候是有用的。如果你已经熟悉了floret的工作方式，请跳到fastText与floret的比较。对于许多向量表，包括spaCy中的默认向量，向量表包含一个固定的单词列表的条目，通常是训练数据中最常见的单词。
2022-10-30 17:56:38
191
原创 导入并使用 microsoft concept graph (probase)数据库数据
上述文档中数据导入命令在新版ｎｅｏ４ｊ中不再有效，命令改用ｎｅｏ４ｊ－ａｄｍｉｎ。其中$NEO4J_HOME 为neo4j的安装目录（解压运行目录）
2022-10-05 10:06:31
999
4
原创 imac起死回生，在iMAC 27 2011 mid 上裸机安装windows10
1.下载windows 8.1 iso， 下载bootcamp驱动（www.applex.net 的bootcamp栏目，也可以去apple.com下载）老机器只有win8.1的驱动。iMac 27 2011中 已经不能更新系统了，xcode不能安装，作为mac已经没有价值。2. 用rufus 工具将iso写入u盘, 将bootcamp解开一个目录中，复制到 写windows 8.1的同一个u盘中。用另一台windows 远程上去，运行u盘中的 bootcamp驱动安装程序，看到ati显卡出现，搞定。...
2022-09-01 07:06:50
4191
3
原创 prompt learning 术语中文翻译
verbalizer: 类映射器， 用于将标签词映射到对应类别标签的一种机制或程序。label words: 标签词。MLM: 掩码型语言模型。label： 类别标签。
2022-08-28 11:08:54
252
原创 torch.eq的广播机制兼谈快速生成对角掩码
其实就是一个对角线为true的矩阵，怎么实现的？x和y的维度都不相同，进行广播机制，生成两个 6*6矩阵，这样torch.eq(x,y)后只剩 对角线上是true,其它位置是false了。torch.eq用于判断 两个矩阵是不是逐元素相等，或者和第二个值 相等。输出 x=[0,1,2,3,4,5]
2022-08-24 19:12:49
443
原创 解决 NCCL WARN Cuda failure ‘invalid device function‘ , unhandled cuda error, NCCL version 2.4.8
注意最后一行： enqueue.cc:197 NCCL WARN Cuda failure 'invalid device function'运行nvidia-smi 后得到的版本要和pytorch安装 时的版本一样，我的是： CUDA Version: 11.7。
2022-08-15 20:33:27
2042
原创 vscode中调试python时在launch.json中设置环境变量，选择GPU
其中的"env"{"CUDA_VISIBLE_DEVICES""0"}就是设置环境变量，指定gpu.也可以设置其它环境变量。
2022-07-16 11:50:05
2251
原创 prompt learning 一个空格引发的血案
使用清华的prompt learning 框架，openprompt 中发行一个奇怪的现象： 使用官方的测试程序可以在某数据集上达到65.98%的 准确率，但是我自己写的程序只有56%,相差仅10个百分点。检查了一圈数据及代码，没有发现差异点。经过两天的排查，查输入数据异同，查代码，最后发现：openprompt的模板要求第一个字符必须是空格才可以，否则准确率显著下降。 注意图中A前面有一个字空格。如果没有，刚问题显然。这应该是openprompt中的处理程序bug或逻辑缺陷导致的。.........
2022-06-26 14:33:32
355
原创 torch.where的新用法（很老但是大家忽略的用法）
(condition) → tuple of LongTensor is identical to .通常 ，我们都 会这样使用torch.where函数:torch.where(condition, x, y)但是实际上torch.where还有如题头如示的用法，返回tuple.tuple中是condition中符合条件的值的index.比如a=[1,2,3,4,5]torch.where（a>3)返回( 3,4)
2022-05-31 22:56:36
891
1
原创 提示学习，transformers/bert中处理 模板 additional-special-tokens
我们在提示学习或其它方式中经常需要对模板中的占位符，如 This is a demon, [X], it was a [MASK] 中的[X]进行替换并需要在随后的处理中取出它对应的向量。此时，我们需要知道[X]所在的postion, 即偏移才可以正常处理。在transformers中，这个位置 真的不好推测 ，需要用transformers的tokenizer api进行处理。怎么办？看代码：temp 为模板，比如 it was a [X] news. labels是要替换的具体词..
2022-05-18 09:32:41
741
原创 Linux下使用openconnect接入公司内网(非翻墙，访问 学校或公司内网）
#!/bin/bashecho username | openconnect -b \-u password \--servercert pin-sha256:iCB6WfoWY05zqj3OcL7k1a/1f98Wd0s6WFSq4ARzWro= \--timestamp \--force-dpd=10 \--no-dtls \vpn_ip_addr将以上脚本保存 为 vpn.sh, 将 username, password , vpn_ip_addr改为你自己的接入信息即..
2022-05-12 05:55:04
3016
原创 快速获取 pytorch中符合条件的tensor元素个数
import torchx=torch.eye(3) # 生成一个测试用的tensor ,单位阵y=torch.nonzero(x>0) # 找出值大于0的索引位置print(y.shape[0]) #索引行数即是个数
2022-04-25 10:01:09
5479
原创 提示学习中的模型输出类型-答案类型
在提示学习中答案形状可以分为三种：单token答案 ( single token) 跨度答案（span) 开放式文本（open ended text)第一种 主要用于分类任务等只需要一个指示状态的第二种用于 序列分类，比如ner, 关系抽取，事件抽取等需要从原文中获取文本作为结果的场景第三种用于 生成任务，比如 文本翻译等。对于第一第二种形态，需要在bert/bart之类模型输出后面接入mlp之类的映射layer 将输出 的logits映射 为需要的标签或跨度值第三种就
2022-04-23 20:42:17
548
原创 BertTokenizer的offset_mapping
在以下代码中，当我们把 add_special_tokens设置为True时，会添加[cls] [sep]等标签，有时一个符号会被token化为多个token, 此时我们很难将这引起token和原文中的词对上。加入 return_offsets_mapping=True 参数将会在输出中多一个项： offset_mapping, 让我们了解token化后的token 位置和原文的关系，是不是很方便？经常见到其它程序员自己写很多代码实现这个功能，事实上原始bert中就有实现，是不是很方便？outp
2022-04-20 10:24:00
4429
原创 pytorch 交叉熵函数CrossEntropyLoss 使用详解
import torch import torch.nn as NNcriterion = NN.CrossEntropyLoss()X=torch.randn([2,150])Y=torch.randint(0,150,(2,))print(X.shape)print(Y.shape)loss=criterion(X,Y)loss0=criterion(X[0],Y[0])loss1=criterion(X[1],Y[1])loss_all=(loss0+loss1)/.
2022-04-19 11:49:48
2142
cs224N-2019最新自然语言处理教程视频 -曼宁-斯坦福
2019-07-02
机器学习数学基础 2019.7新版 (剑桥大学出版社）
2019-07-02
2019-Automated Machine Learning Methods, Systems, Challenges, 正式版，Frank
2019-06-19
机器学习数学基础 2019.6新版 (剑桥大学出版社）
2019-05-27
《基于深度学习的自然语言处理》中文PDF+英文PDF.rar
2019-05-21
The Inner Workings - of - word2vec ：一文搞懂word2vec
2019-03-20
理工科概率论（五本连发，良心资源），适用于人工智能及计算机
2019-03-17
机器学习数学基础 2019.3新版 (剑桥大学出版社）
2019-03-17
Python 进阶 中文版
2019-01-30
点集拓扑讲义 (第四版)(熊金城编) pdf高清，真第四版+第三版的讲义答案，二合一包。
2018-11-27
Munkres Topology，拓朴学 第二版 芒里克斯，中英文全本加题解
2018-11-22
Handbook of Natural Language Processing Second Edition(真正第二版）
2018-11-01
Natural Language Processing， 自然语言处理，Gatech 雅可布教授2018新作（无行号干净版）
2018-10-25
最优化导论（第四版）中文，英文，题解
2018-10-15
Getting Started with Kudu Perform Fast Analytics on Fast Data
2018-10-11
elegantbook latex 中英文书籍模板 texstudio+texlive 2023测试通过
2023-10-06
微软concept graph数据，可以使用neo4j进行使用
2022-10-05
imac 27 2011 mid 最新windows 10 显卡驱动，比bootcamp中的新，解决win10蓝屏。
2022-10-02
HEIC 格式照片转换工具，可以将heic格式图片转成png/jpg, 完全免费，无限制。
2022-01-26
TVM 0.8 测试代码及模型文件
2021-03-21
pytorch for ROCM 安装包，amd显卡
2020-10-18
pytorch 1.4 on ROCM 3.1 （AMD GPU) for ubuntu 18.04
2020-03-13
人工智能数学一本通（1896页）：代数、拓朴、微积分及最优化内容（滨夕法尼亚大学）
2019-07-29
机器学习数学基础 2019.7.27新版 带算法示例(剑桥大学出版社）
2019-07-27
112页PPT-深度学习数学基础-以色列特拉维夫大学
2019-07-27
机器学习数学基础 2019.7.8新版 带算法示例(剑桥大学出版社）
2019-07-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人