- 博客(325)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 deepspeed笔记
传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。ZeRO Stage 3: 划分模型参数，或者说，不同的layer. ZeRO-3会在forward和backward的时候，自动将模型参数分配到多个memory。由于ZeRO-1只分配optimizer states(参数量很小)，实际使用的时候，我们一般只会考虑ZeRO-2和ZeRO-3。而ZeRO的实现方法，就是把参数占用，逻辑上分成三种类型。
2024-04-18 14:43:03
277
原创 isascii、isdecimal、isdigit、isnumeric、isprintable、islower、isupper、isalpha、isalnum到底有什么异同
在使用python进行文本预处理时，经常会用到以上函数，那么它们到底有什么异同？
2024-04-16 16:48:31
210
原创 linux 的split命令如何确保split出来的多个文件，每个文件都 带上原始文件开头的第一行
split_with_header.sh如下。
2024-04-11 07:15:37
209
原创 hanlp的使用
hanlp最流行的是java的1.*版本（代码支持python和java），但是后来研发了2.0版本（代码仅支持python），2.0的版本是深度学习版本，功能也很多，但是貌似没有1.*那么流行。本文重点介绍1.*版本的使用（以v1.8.4为例）
2024-03-29 17:46:14
230
原创 报错：failed to initialize nvml driver/library version mismatch
【代码】报错：failed to initialize nvml driver/library version mismatch。
2024-03-23 16:27:58
555
原创 报错：openai.error.RateLimitError: You exceeded your current quota, please check your plan and billing
出现这个问题的原因是主要是在OpenAI的账户余额不足导致的。点击下面的Billing，然后点击Add to credit balance，即可开始充值。充值完成后，把原有API key 删除，然后新建一个key。以后都用这个新key即可。
2024-03-10 07:32:19
593
原创 如何在腾讯云上面续费更便宜
登录后可以查看自己的会员登记，一般等级越高，享受的折扣越大，如果暂时还没有到V2的登记，那么可以先完成1000元以上的充值，这样就默认成为了V2会员，然后再对其他该续费的服务器充值，这样可以更便宜。例如，可以先充值下面这个1000多的服务器，然后变成了V2后，再充值下面的1800元的服务器。步骤一中领的优惠券，在这里貌似不能用（因为这里的优惠力度已经比较大），只有在零散买个把月的时候优惠券有点价值。在每个月的10号，是腾讯云的会员日，有大量优惠券，领完可以在充值时抵扣现金。
2024-02-20 16:44:36
353
原创 如何使用sort快速得对当前文件夹下所有文件大小进行排序
将上面的的代码保存至/usr/local/bin/sortfile，后面只需要执行sortfile命令即可。
2023-12-30 15:50:11
401
原创 报错:RuntimeError: CUDA error: no kernel image is available for execution on the device
例如，假设你的cuda版本是12.2，那么你可以将就着用下面的cuda12.1的torch版本。一般报这样的错，主要原因是torch版本和cuda版本不匹配导致的。，找到适合自己cuda的torch版本。
2023-12-28 10:12:25
1861
原创 docker报错：Got permission denied while trying to connect to the Docker daemon socket at unix:///var/ru
这个错误通常表示用户尝试执行与Docker守护程序通信的操作，但没有足够的权限。
2023-12-22 22:20:04
2349
原创 在打日志时，如何使用snowflake-id快速方便得随机获取query的唯一id
【代码】如何使用snowflake-id快速方便得随机获取query的唯一id。
2023-12-21 18:55:00
348
原创 技术人做管理的思考
格鲁夫有过这样一句名言：一个经理人的产出，就等于他直接管辖和间接影响力所及的组织产出总和。a、b、c代表了管理杠杆率，A、B、C代表了各种管理活动。也就是说经理人的产出=组织产出的加权总和=a。
2023-09-13 22:10:53
126
原创 python多线程真是让人受够了
一、有8种不同的方法三、参考文献https://superfastpython.com/multiprocessing-pool-issue-tasks
2023-08-19 10:10:35
98
原创 pip install总是报错：ValueError: Trusted host URL must include a host part: ‘#‘
把 ~/.pip/pip.conf改成下面这样即可。主要原因是第4行后面的注释内容导致的。
2023-08-13 16:27:46
1482
3
原创 如何修改hugging face的模型默认下载地址
主要原因是hugging face 的数据缓存比较大，jupyter执行的时候，需要加一个环境变量。
2023-06-14 10:01:46
4184
原创 linux系统限制进程的cpu使用率
cpu是公平的，大多数进程以相同的优先级启动，并且Linux内核在处理器上平均地为每个任务调度时间。在资源紧张时，cpu一般也是平均的分配进程占用cpu的时间片段。不过我们要对某些进程调高优先级，或者降低某进程的优先级呢，我们可以用下面几种方式控制cpu：系统limits配置文件/etc/security/limits.conftaskset命令设置手动调整nice值。
2023-06-14 09:59:41
780
原创 明明已经安装了transformers，却仍然报错“ImportError: No module named ‘transformers‘“
虽然已经通过pip install transformers安装了transformers，但是仍然报错"ImportError: No module named ‘transformers’"
2023-03-09 20:34:58
12883
1
hanlp的data-for-1.7.5.zip
2024-03-29
哈米尔顿环问题(c++实现)
2010-05-15
EM算法(附实验报告文档,java实现)
2010-04-21
八数码问题(附实验报告文档,java实现)
2010-04-21
条件随机场（史上最牛条件随机场教程）
2010-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人