- 博客(249)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 h5 hdf5 pytables 数据库 减少空间占用的方法
方法来源：https://forum.hdfgroup.org/t/hdf5-deleting-datasets-and-recovering-space/1293。在hdf5 的官方下载页面 https://portal.hdfgroup.org/downloads/index.html 点击这个。此时可以使用 h5repack 工具，快速重建 h5 数据库，可以立刻把未使用空间省出来。直接安装之后，重启系统，即可有 h5repack 命令。h5 数据库，在删除一些数据，表，数组后，无法变小；
2023-12-17 00:37:20
149
原创 flash-linear-attention CUDA算子成功实现（但限制极多。。）
flash-linear-attention 注意力算子CUDA实现
2023-10-23 18:07:45
291
原创 python 替换字符串中 windows非法字符 到对应的 全角合法字符
替换后，就能保留原意，不需要损失信息了。windows中，非法文件字符有以下。简易python代码如下。对应的合法全角字符为。
2023-09-22 17:05:31
280
原创 python 为 网易云下载的 本地音乐文件增加 序号
网易云下载的音乐文件，信息挺全的，但是缺少序号，用本地播放器听是乱序的，就很头疼。遂写一个python脚本解决问题本python会把基于音乐文件的元信息，重命名文件 到 以下格式序号 标题.后缀。
2023-09-22 15:53:14
275
1
原创 openslide / tiffslide 获得 宏观图macro 和 标签图label
openslide / tiffslide 获得宏观图和标签图
2023-08-17 16:02:53
176
原创 TransnormerLLM 中 FlashLinearAttention 的纯pytorch实现
纯 Pytorch 实现 TransnormerLLM 中快速线性注意力算子
2023-08-06 22:07:40
523
原创 LXD/LXC 命令 报错 /proc/self/attr/current: Permission denied 解决
执行 lxd 和 lxc 命令就会报错 /proc/self/attr/current: Permission denied。仅在方法1无效时使用，降级lxd，然后又升级回来，就修好了。执行这条命令即可，看命令，猜测意思是重新链接 lxd服务。ubuntu突然死机，重启后lxd出毛病了。找了一番，在外面找到了解决方案。
2023-07-31 16:22:03
164
原创 SqueezeLM 的想法，压缩输入句子潜变量，生成下一句子
又研究了一段时间。还是感觉LongNet那种空洞注意力做编码器有搞头。RetNet等AFT方法，直接生成太长的句子感觉有点难度，不过可以一句句生成，每次生成短句，这样感觉比较合适。
2023-07-30 01:00:05
154
原创 记录：自回归 模型在记忆 全随机序列 的潜变量 统计量爆炸现象
然后发现，这个值会在训练初期迅速飙升到1e4 - 1e6 的域，非常巨大，如果使用半精度训练，会直接撑爆然后变成nan，只能使用float32值域训练。一开始，我以为这模型又完蛋了，但后面让他继续训练，发现它居然在缓缓下降，当下降到 1e2 - 1e3 的以内的域时，模型基本记忆正确率已经 90%以上了。但是神奇的是，这个注意层的各个权重是正常的，即权重的标准差均在1以内。写的在全局性能上很好的，在无序序列的模型收敛很快，在自然语言上被普通gpt秒成渣（指验证集分数提升慢，最终分数也差一点）
2023-05-17 15:13:28
328
原创 python3 force-relative-import 强制使用任意父级相对导入，越过python相对导入限制，拒绝 ImportError
写了一个强制相对导入特性，修改了 import 的实现逻辑，从而允许导入任意父级的包，而不会报以下错误。这是一个强制启用python相对导入的库，允许你忽略python的相对导入限制。修改 python3 的 import 函数，从而实现挂钩hook或更改其行为。目录示例，example_N 均为直接启动目标。仅建议用于主程序，不要用于模块或包。修改import逻辑的方法来自这里。使用作用域，以避免意外情况。以下为搬过来的仓库介绍。
2023-04-30 19:14:00
856
原创 torchdata DataPipe 和 DataLoader2 快速入门和使用
pytorch 使用 multiprocess库 让 Dataloader 不再报错 AttributeError: Can‘t pickle local object。torchdata 使用了 dill 替代了 pickle， 从而允许在spawn多进程模式下转移复杂的数据集。以下为使用 torchdata 的示例，SimpleDataset 可以直接替换为你自己的函数。是该博文的另一种解决方法。
2023-04-27 14:59:54
606
原创 pytorch 使用 multiprocess库 让 Dataloader 不再报错 AttributeError: Can‘t pickle local object
pytorch 的 dataloader 默认使用 python 自带的多进程库 multiprocessing ，它又使用 pickle 作为序列化库。pickle 库只能储存一些简单类型。如果 dataset 中使用 lambda 函数对象，将会导致出现这样的错误 AttributeError: Can’t pickle local objectmultiprocess 的 pip 安装方法。
2023-04-26 16:19:40
1364
原创 Google FLASH-QUAD Transformer模型的设计雷点
这个模型用来做无序弱监督分类，效果好，特别是收敛速度比标准多头Attention层快多了，完全没得比。
2023-04-15 16:52:25
422
原创 debian12 系统 开机自动加载 nvidia-uvm
debian 系统不知为何，开机没有自动加载 nvidia-uvm 设备，需要在主机系统手动启动任意一个cuda程序才能加载，非常坑爹。写了一个脚本，配置了一个自动创建 nvidia-uvm 的 systemd 的服务。stackoverflow 上的问题 正确创建 nvidia-uvm 设备。nvidia cuda官方创建 nvidia-uvm 节点的脚本。Debian11 创建 systemd 开机服务。
2023-04-11 17:01:17
499
原创 debian12 全新安装后 LXD/LXC使用 nvidia 容器报错 The NVIDIA container tools couldn‘t be found 解决
报错 The NVIDIA container tools couldn’t be found 原因是 nvidia-container-runtime 包没有安装，需要手动安装。ubuntu 直接安装 lxd 就能直接使用，原因可能是 ubuntu 使用的是snap包，它的snap包里已经包含 nvidia-container-runtime 相关工具。这里可以找到报该错误的 LXD 的 go 源代码，lxd 会寻找一个命令 nvidia-container-cli ，如果没有找到就会报该错误。
2023-04-10 16:27:02
550
原创 kali系统下 python 安装包报错 unknown type [0x13] section `.relr.dyn‘ 解决
conda 内置的 ld 程序与系统的lib包不兼容。删除 conda 的 ld 程序即可。
2023-04-06 10:08:22
1238
1
原创 pytorch weighted_and_neg_topk_cross_entropy 加权的负权重topk交叉熵损失
相比上面文章里改的的loss，加入topk 负类型测试，当负权重的类别在预测类别前 K 的高概率类别时，才会传递梯度，否则会跳过。一种 用于GPT模型 训练的 包含加权 和 数据增强 和 损失方法 的设计。根据这段时间的NLG经验，继续改进损失函数。主要用于以下文章所写的 NLP 增强管道。
2023-03-23 15:36:02
217
原创 一种 用于GPT模型 训练的 包含加权 和 数据增强 和 损失方法 的设计
根据之前训练的字模型+PALM效果和经验。真是胡言乱语，牛头不搭马嘴。观察了模型的在各种条件下的输出。看大佬的各种的增强方法，搞了2周写完了新的增强管道。换了新方案，继续训练了一晚上，马上就有不错的生成效果了，泪目。在老的增强方法和损失函数上，T5 模型不太行，8+8 层的情况下生成效果不如12层相似参数量的PALM连贯，准确度也不如PALM，训练速度也比PALM慢2倍。训练语料是质量较好的，但比较少，而且生僻字略多，所以使用字模型。训练模型：GPT模型（参数量44M）训练任务：翻译；
2023-03-22 00:31:09
387
原创 不同C++标准生成DLL链接库，如果接口使用了STL类，则会产生很难检出的Bug
:GetCurImage 为C++20写的DLL的函数，在语句 return true 后，tmp_image_data 变量进行释放，破坏了内存，导致UE5直接闪退。我的DLL使用的标准是 C++20。接口使用了 vector 类用来数据交互。报错是析构 tmp_image_data 时出现了空指针异常。查了很久，终于定位到这个坑爹错误了。UE5 的使用的标准是 C++17。
2023-03-11 22:49:48
170
原创 UE5 LiveCoding 乱码，变通的解决方法（非修改区域设置utf8）
编译UE C++ 项目，乱码直接就不知道怎么改错了。非常坑爹按照其他大佬的说法，在区域设置里面把 系统的 utf8支持 开启了，LiveCoding 确实不乱码了，当我的其他软件很多都乱码了，这个就更加不能忍受了。
2023-03-11 16:38:55
1468
3
原创 记录 UE5 完全重新构建 UE C++项目
不知道搞了什么，C++项目的实时代码编译罢工了，搞了半天都修不好，只能又重建了UE5 版本为 v5.1.1删除以下文件夹Binaries 文件夹是编译后的模块Intermediate 文件夹里是中间层的C++代码，完全由ue5生成Saved 是一些编辑器设定和日志。
2023-03-09 12:21:23
2195
原创 pytorch 使用 xformers 库 加速多头注意力计算 和 大幅节省显存
来自 https://facebookresearch.github.io/xformers/components/ops.html#module-xformers.ops。好处：使用 google PALM 架构的小模型做 生成任务，改为 xformers 实现后，加速比为 2倍，显存消耗为原来的 1/3 ，非常给力。xformers 官方文档：https://facebookresearch.github.io/xformers/缺点：相比pytorch的原生实现，误差略大。
2023-02-26 17:25:49
9151
10
原创 pydub AudioSegment 编码 解码 字节流，不通过硬盘文件。
需要把AI生成音频信息通过网络发送，使用 pydub 来完成编码解码。不希望使用临时文件。
2023-02-12 02:10:06
637
原创 bleu-mp 多进程bleu评估工具
我改的多进程 bleu 评估工具，已发布到 pypi 上Github 仓库：https://github.com/One-sixth/bleu-mpGitee 仓库：https://gitee.com/ONE_SIX_MIX/bleu-mp
2023-02-05 02:41:28
449
原创 python 转换文本从繁体到简体，但保留一切繁体符号
使用 unicodedata 来识别每个字符是属于字集还是符号集，即可获得手动转换表。zhconv 在进行繁简转换时，会顺带着把符号都转换为简体形式。将手动转换表输入为 zhconv.convert 的参数即可。处理简繁混杂的文本。
2023-01-20 04:04:19
293
原创 修改 python3 的 import 函数，从而实现挂钩hook或更改其行为
该文件可以在pycharm的 PyCharm\plugins\python-ce\helpers\pydev_pydev_bundle 目录中找到。方法发现自 pycharm 的python挂钩代码 pydev_import_hook.py。原始想法是突破python对顶层包的限制，从而允许在当前目录或父目录使用相对位置加载模块。下面是一个例子，阻止 collections 模块加载。本修改对整个python程序生效。原理，修改 builtins.
2023-01-17 16:35:59
260
原创 导入 csv, excel 文件或 pandas.DataFrame 到 awkward 数组
pandas 的操作很不习惯，还是喜好 numpy 那种操作方式。awkward 正好符合这个要求。
2022-12-02 21:15:23
107
原创 记录：微星 GE63 屏轴断裂 之后。。。
用 5.5mm 的套筒六角螺丝刀旋转屏轴螺丝，逆时针旋转直到不能旋转（即最松）（逆时针变松，顺时针变紧，看起来是限位螺丝，有旋转上限和下限），不要过度用力避免拧坏螺丝（屏轴配件大约要100R），最后上点润滑油。微星 GE63 1070 笔记本，使用的第三年，已过保了一年，上周使用时，准备合上笔记本盖。现在，屏幕开合非常顺滑，即便是屏轴最松的状态，屏幕也没有自由滑落，足够了，屏轴断裂的概率应该能大大减少了。不过以后再断了也没事，另外一种超低价的维修方法是用AB胶修复，这胶水的强度非常高，堪比电焊接，足够了。
2022-11-25 23:44:10
1766
1
原创 Linux rime小狼毫输入法 配置
不知为何，使用 fcitx-config 面板配置这rime输入法，配置文件一直无法保存（保存后，再次打开配置面板，配置又变回默认的了）常用的是 明月拼音-简化字 方案，对应的配置文件是。每个用户下的 rime 配置文件位于以下目录。遂考虑直接使用记事本编辑rime配置文件。系统：LXD-Ubuntu-KDE。输入法方案：fcitx+rime。使用记事本打开，修改配置。
2022-10-25 10:52:25
1768
原创 Blender3 按下I键插入帧失败，报错 插入关键帧的帧位置 解决
解决方法是：先进入姿态模式，然后找到菜单 姿势 -> 动画->更改插帧集，然后选择 位置+旋转，这代表着明确告知Blender要插入的是位置和旋转帧。然后再选中你要插入的骨骼，按I键插帧就可以正常插帧了。找了下方法，大概知道了原因，不知道为什么，在空的动作轨道里面， Blender 有时会不知道要给你插入什么类型的帧。后面发现，多数是在纯手K的轨道上，出现这样的问题。空轨道，导入姿势后，按下I键插帧，有时也有该问题。每隔一段时间，插入关键帧就会报错 插入关键帧的帧位置，不知道怎么出现的。
2022-10-09 02:01:44
6515
2
opencv-4.0.1-vc15-contrib-nonfree-avx2 已编译库
2019-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人