- 博客(579)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Ubuntu 系统使用 root 用户登录
Ubuntu 系统在安装过程中默认不设置 root 帐户和密码。如有需要，可在设置中开启允许 root 用户登录。3.输入 root 的密码，按 Enter。返回如下信息，即表示 root 密码设置成功。8.按 Esc，输入 :wq，保存文件并返回。1.使用 ubuntu 帐户登录服务器。2.执行以下命令，设置 root 密码。4.重复输入 root 的密码，按。9.执行以下命令，重启 ssh 服务。5.执行以下命令，打开。10.重启ssh服务。
2024-04-25 09:13:32
71
原创 Ubuntu关闭防火墙、关闭selinux、关闭swap
【代码】Ubuntu打开和关闭防火墙的正确方式。打开终端，然后输入如下命令，查看防火墙状态：sudo ufw status开启防火墙命令如下：sudo ufw enable关闭防火墙命令如下：sudo ufw disable关闭selinux关闭swap
2024-04-25 08:23:00
28
原创 pytorch最新版源码编译，支持CUDA、cuDNN，干货满满，亲测有效
pytorch的源码在github上，网址如下：https://github.com/pytorch/pytorchhttps://github.com/pytorch/pytorch安装cuda版本的需要CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developerhttps://developer.nvidia.com/cuda-downloads 安装了上面两步后，会自动安装nvcc。12.04 - How do I set up ccache? - A
2024-04-24 23:18:14
980
原创 ubuntu 24.04 beta server NAT模式上网设置
在Ubuntu 24.04 Beta上设置网络通常涉及使用命令行工具。如果文件不存在，可能是 50-cloud-init.yaml。编辑网络配置文件，你需要知道你的网络接口名称，此时为。模型的一张网卡，此时是没有ip的。这张网卡（NAT）就有了ip，修改配置文件内容如下，替换。
2024-04-24 08:37:32
200
原创 WSL2无法ping通本地主机ip的解决办法
WSL2无法ping通本地主机ip的解决办法:刚装完WSL2的Ubuntu子系统时，可能无法ping通本地主机的ip ping通了，完美解决！
2024-04-23 17:29:26
211
原创 为 WSL2 一键设置代理
配置 WSL2Windows 的代理客户端监听了 7890端口，那么只需要在 Linux 子系统中执行如下命令，就可以让当前 session 中的请求通过代理访问互联网。由于 Linux 子系统也是通过 Windows 访问网络，所以 Linux 子系统中的网关指向的是 Windows，DNS 服务器指向的也是 Windows，基于这两个特性，我们可以将 Windows 的 IP 读取出来。7890 是 Windows 上运行的代理客户端的端口，记得要在 Windows 代理客户端上配置允许本地局域网请求。
2024-04-23 09:16:43
218
原创 python相对路径导包与绝对路径导包的正确方式
python导包的难题，今天解决了，相对路径导包和绝对路径导包，均可以！这里面的水可深了（爬虫/数据分析），【全748集】字节大佬终于把Python做成了漫画书，通俗易懂，2024最新内部版，学完即就业！，2024版-零基础玩转Python Django5项目实战-学完可就业，Vitual Box安装Centos Stream9，Python爱心代码（附源码），新版C#从入门到精通全套视频教程（180集全），上分利器？用Python自动化脚本训练AI玩王者荣耀，秀得我头皮发麻，轻松爆打本地人！
2024-04-04 17:59:26
703
原创 huggingface使用git上传model或者Dataset到HF,当然也可以上传代码，以及大文件，很哇塞！！！
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码，以及大文件，很哇塞！！！第一次使用时，需要使用设置系统全局的huggingface token，这。点击huggingface首页右上角的头像 → settings → access tokens，创建一个write权限的token，名字可以随便取。
2024-04-04 09:58:41
276
原创 screen的一些列骚操作，支持滚屏
创建Screen：查看会话列表：加入会话：某个终端将这个会话设置为后台运行：恢复会话：先恢复没有则创建：删除指定的Screen：指定作业离线：让 Linux screen 提供的 “终端” 支持鼠标滚动是一个非常强大的工具，允许在一个终端窗口中运行多个程序并可以将它们置于后台，但是这个工具默认的配置下，鼠标滚动会失效。解决办法也很简单，在外运行下述命令即可：
2024-03-31 17:32:00
235
原创 fastllm在CPU上推理ChatGLM3-6b，即使使用CPU依然推理速度很快，就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现，无第三方依赖的高性能大模型推理库。
2024-03-30 22:01:04
833
原创 Ubuntu安装fuser时报Unable to locate package psmisc
Ubuntu安装fuser时报Unable to locate package psmisc发现就可以安装成功了！
2024-03-30 17:02:18
232
原创 fastllm在CPU上推理ChatGLM2-6b，即使使用CPU依然推理速度很快，就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现，无第三方依赖的高性能大模型推理库。
2024-03-30 13:32:22
824
原创 Pytorch多机多卡分布式训练
Pytorch多机多卡分布式训练-nproc_per_node 指的是每个阶段的进程数，这里第一台8个GPU，第二台6个GPU。--node_rank 节点rank，对于第一台机器是0，第二台机器是1。--master_addr 主节点的ip，这里我填的第一台机器的ip。--nnodes 节点数，这里是两机，所以是2。--master_port 主节点的端口号。
2024-03-27 20:06:15
321
原创 torchrun在验证集使用一个GPU时报NCCL超时：Watchdog caught collective operation timeout的解决方案
有时候在分布式训练时，可能会出现nccl通信超时的问题，出现的原因好像是在某些数据处理、加载等过程，多个进程一起完成，但是某些计算（比如loss具体不知道都有啥）需要rank0自己来做，但是由于默认的30分钟没算完，没完成不同rank之间的正常通信，导致报错。增加超时时间：你可以尝试增加NCCL操作的超时时间。在PyTorch中，你可以通过设置。
2024-03-26 20:28:07
503
原创 ubuntu安装docker的详细教程
默认情况下，只有root用户和docker组的用户才能运行Docker命令。我们可以将当前用户添加到docker组，以避免每次使用Docker时都需要使用sudo。ubuntu下自带了docker的库，不需要添加新的源。但是ubuntu自带的docker版本太低，需要先卸载旧的再安装新的。
2024-03-16 15:45:01
360
原创 VSCode配置cuda C++编程代码提示的详细步骤
VSCode配置cuda C++编程代码提示的详细步骤：1、cuda编译环境的安装：2、配置nvcc命令以及库函数的指向3、vscode里安装如下的插件：4、wsl ubuntu安装后以及三个插件安装后的工作
2024-03-16 13:51:37
475
原创 miniconda和miniforge之间，我选miniforge
Miniconda和Miniforge是Anaconda发行版的轻量级版本。Anaconda是一个用于科学计算的Python发行版，它包含了大量的科学计算和数据分析库。然而，对于某些用户来说，Anaconda可能过于庞大或不必要。因此，Miniconda和Miniforge作为更加精简的替代选择出现。Miniconda是一个仅包含Python和conda包管理器的最小发行版。它提供了一个最小化的开发环境，并允许用户根据自己的需要安装所需的库和工具。
2024-03-16 12:46:31
1060
原创 wsl ubuntu 安装的正确方式
wsl ubuntu 安装的正确方式：将wsl2设置为默认版本：1、打开powershell2、设置wsl的版本为2编辑3、更新wsl程序4、强制关闭子系统5、查看wsl支持的列表6、安装指定版本的系统
2024-03-16 10:01:24
399
原创 解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题
使用pytorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行.在开发的过程中，程序已经关闭，但是GPU显存无法释放，在使用pytorch写程序的时候, 有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？
2024-03-13 20:05:54
501
原创 解决Ubuntu下SSH无法连接的问题
以前经常使用Centos，但Centos不维护了，然后我又实用了Centos Stream8、Centos Stream9，但是目前我现在做的工作是人工智能的工作，于是使用了Ububtu系统。在安装Ubuntu最新版的时候，发现无法进行ssh远程登录。因为Ubuntu没有安装ssh服务和启动ssh服务。
2024-03-03 14:57:50
330
原创 Chromium的下载地址
Chromium的下载地址:Download Chromiumhttps://www.chromium.org/getting-involved/download-chromium/
2024-02-22 06:39:31
235
原创 tensorflow2.10 GPU版本官方安装的正确方式，亲测有效
tensorflow2.10 GPU版本官方安装的正确方式，点击上面的链接，选择右上角的语言为英文，选择"Windows Native"，安装步骤：1、用conda创建一个环境：这里强调要python3.9的环境2、激活环境，在该环境下进行操作3、验证是否GPU版安装成功
2024-02-21 06:52:14
289
原创 VS中设置#define _CRT_SECURE_NO_WARNINGS的原因和设置方式
在编译老的用C语言的开源项目的时候，可能因为一些老的.c文件使用了strcpy,scanf等不安全的函数，而报警告和错误，而导致无法编译通过。2、在项目属性里设置，这会在整个项目里生效，依次选择：属性->配置属性->C/C++ ->预处理器->预处理器定义->编辑。1、在指定的源文件的开头定义：#define _CRT_SECURE_NO_WARNINGS （只会在该文件里起作用）最下面加上一行：_CRT_SECURE_NO_WARNINGS （注意不需要#define）
2024-02-18 07:09:42
460
原创 tf.linspace时出现Could not find valid device for node.
背景：在使用tensorflow2.x的时候,当使用tf.linspace的时候会出现如下的报错：解决方案：查看官方文档：上面说的很清楚，start、stop必须是float类型的，
2024-02-17 10:46:21
158
原创 训练集，验证集，测试集比例
在神经网络中， 我们用验证数据集去寻找最优的网络深度（number of hidden layers)，或者决定反向传播算法的停止点或者在神经网络中选择隐藏层神经元的数量；在普通的机器学习中常用的交叉验证（Cross Validation) 就是把训练数据集本身再细分成不同的验证数据集去训练模型。
2024-02-07 20:04:59
468
原创 安装Pytorch中的torchtext之CUDA版的正确方式
安装Pytorch中的torchtext之CUDA版的正确方式:安装Pytorch和torchtext,只需将torchtext的版本和torchvision的版本一致即可：
2024-02-07 19:50:13
517
原创 Pytorch模型转ONNX模型并运行
onnx(Open Neural Network Exchange)主要用于部署，训练一般使用pytorch和tensorflow，等训练完成，我们需要模型转成onnx，用于部署在云或者边缘计算上。而为什么要要转成onnx模型呢，主要是因为onnx没有训练，只有推理，速度很快，而且目前大多数芯片都适配onnx模型，相当于一个通用莫模型，易部署，而且速度快。
2024-02-03 16:35:16
731
原创 GPT3.5\GPT4系列计算完整prompt token数的官方方法
GPT3.5\GPT4系列计算完整prompt token数的官方方法ChatGPT如何计算token数？
2024-02-03 16:16:05
1410
原创 Centos7编译Python3.11源码并安装完成的详细教程
Index of /ftp/python/https://www.python.org/ftp/python/由于Centos7里自带的openssl是1.0版本的，而Centos Stream8和9用的是openssl-1.1.1版本的。注意：openssl必须是openssl-1.1.1版本的，虽然最高版本已经到了3.x，但是必须用openssl-1.1.1版本的，否则会出现如下错误：pip is configured with locations that require TLS/SSL, howev
2024-01-14 21:37:16
824
原创 DrissionPage获取浏览器Network数据包
GitHub - g1879/DrissionPage: 基于python的网页自动化工具。既能控制浏览器，也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大，内置无数人性化设计和便捷功能。语法简洁而优雅，代码量少。基于python的网页自动化工具。既能控制浏览器，也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大，内置无数人性化设计和便捷功能。语法简洁而优雅，代码量少。
2024-01-14 07:23:05
1294
原创 Python自动化我选DrissionPage，弃用Selenium
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。
2024-01-13 18:10:10
2183
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz
2021-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人