- 博客(151)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 第二十八篇-Ollama-TeslaP40-Ollama-8B-Qwen1.5-32B等速度
Tesla-P40还是挺令我惊讶的，14B模型速度还是非常好的，有机会大家可以用来试试。
2024-04-27 14:50:20
433
原创 第二十三篇-15T Tokens LLM 开源数据集-FineWeb
该数据集旨在为大型语言模型（LLM）的训练提供优化的数据处理流程，并使用datatrove库进行处理。FineWeb的性能已超越了RefinedWeb等其他高质量网络数据集。数据集许可: Open Data Commons Attribution License (ODC-By) v1.0。FineWeb是一个由Hugging Face提供的大规模英语网页数据集，包含超过15万亿个经过清洗和去重的token，源自CommonCrawl。
2024-04-23 11:08:31
291
原创 第二十一篇-LM-Studio安装部署gguf模型到windows电脑
一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型推荐GPU。
2024-02-28 19:53:46
1890
原创 第二十篇-推荐-纯CPU(E5-2680)推理-llama.cpp-qwen1_5-72b-chat-q4_k_m.gguf
CPU利用2600%左右，42G内存，如果更强的CPU估计还是能到4倍速度吧速度还是可以的，0.6 tokens/s 这个速度还是很慢的，测试一下还是可以的，毕竟是70B的模型呀，继续研究中。
2024-02-27 21:46:02
702
原创 第十九篇-推荐-纯CPU(E5-2680)推理-Nous-Hermes-2-Mixtral-8x7B-DPO.Q4_K_M
CPU利用2000% 24线程可再大些速度还是可以的，4 tokens/s 继续研究中，这个CPU还是可以的，要是换成AMD高级CPU估计效果更好，主要是不用GPU。
2024-02-23 21:48:15
288
原创 第十八篇-推荐-Huggingface-镜像-2023-11
https://aifasthub.com/modelsAI快站可下载你希望快速的模型权重文件
2023-11-21 17:24:24
591
原创 第十七篇-Awesome ChatGPT Prompts-备份-中文(百度翻译)
Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站https://prompts.chat/Awesome ChatGPT Prompts【英文】Awesome ChatGPT Prompts【中文-百度翻译】
2023-11-20 16:56:26
3077
原创 第十六篇-Awesome ChatGPT Prompts-备份
Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站。2023-11-16内容如下。
2023-11-16 09:26:47
1026
原创 第十五篇-推荐-Huggingface-镜像-2023-10
我们强烈推荐使用 huggingface 官方提供的 huggingface-cli 命令行工具进行模型文件的下载。默认使用多文件并行下载，速度更快。（如需更极致的下载速度，可对文件链接用其他多线程下载工具下载，默认不推荐）域名 hf-mirror.com，用于镜像 huggingface.co 域名。支持排除特定文件或指定特定文件下载，便于用户自定义下载内容。支持指定镜像 endpoint，可直接使用本站镜像服务。支持断点续传，避免因网络中断而导致的文件损坏。推荐一个Huggingface-镜像网站。
2023-10-25 21:18:09
7182
2
原创 第十四篇-问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory
【代码】问题处理-libcudart.so.11.0: cannot open shared object file: No such file or directory
2023-10-18 22:40:36
2487
原创 第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4
【代码】第十三篇-Tesla P40+ModelScope+Gradio+QWen-14B-Int4。
2023-09-28 23:36:25
808
2
原创 第十二篇-Tesla P40+ModelScope+Gradio+QWen+MindChat
本文主要实现Qwen-7B-Chat与MindChat-Qwen-7B的简单部署与测试
2023-08-30 00:09:46
564
原创 第十一篇-Tesla P40+Text-Generation-Webui
简单好用(当然速度不是最快的)，支持多种方式加载模型，transformers, llama.cpp, ExLlama, AutoGPTQ, GPTQ-for-LLaMa, ctransformers支持多类模型， Llama-2-chat, Alpaca, Vicuna, WizardLM, StableLM等图形化界面聊天，微调。
2023-08-22 22:49:32
1341
1
原创 第十篇-Tesla P40+FastChat+Vicuna-13B-V1.5
我下载模型放在/models/vicuna-13b-v1.5，可以自己定义目录。2.Tesla P40性能还是不行,一个你好要回答15秒。1.内存消耗，8bit需要14G显存。一个一个下载，26文件下载比较耗时。3.后期准备找个性能更好的显卡试试。登录加载完成就可以体验了。
2023-08-09 14:21:06
532
原创 第七篇-Tesla P40+ChatGLM2+P-Tuning
data/train.json【自我意识-训练数据train.json】我使用和train.json一致，正式使用是要使用真实数据。train_loss 要小，如果1,2这种未调出的效果很差。可以替换【AI小木】【小吕】来构建你自己的自我认识数据集。我的是/models/chatglm2-6b。如果调整了数据集，要清理缓存，缓存目录如下。显卡：Tesla P40 24G。下载模型相关文件到自己目录。系统：CentOS-7。修改 train.sh。
2023-08-01 23:16:26
1056
原创 第五篇-ChatGLM2-6B|ChatGLM3-6B模型下载
下载chatglm2-6b|chatglm3-6b模型文件方法一：huggingface页面直接点击下载方法二：snapshot_download下载文件创建下载环境编写代码执行下方法三：清华云盘方法四：异型岛社区版
2023-07-29 17:59:34
7659
原创 第四篇-Miniconda3-CentOS7-安装
Miniconda3-CentOS7-安装Conda可以创建你需要的不同版本的Python环境，做的各个环境之间隔离,可以有助于我们一台主机部署不同版本运行环境。
2023-07-29 17:19:58
637
原创 第三篇-Tesla P40+CentOS7+CUDA 11.7 部署实践
Tesla P40+CentOS-7+CUDA 11.7 部署实践
2023-07-27 21:21:20
3792
1
原创 第一篇-ChatGLM-Webui-Windows安装部署-CPU版
CPU:内存:64G,运行试了下，最少要24G内存，不然电脑卡死显卡：没有使用CPU版，没使用显卡。
2023-04-20 00:28:11
2276
原创 kmeans on spark error: assertion failed: Number of clusters must be greater than one.
【代码】kmeans on spark error: assertion failed: Number of clusters must be greater than one.
2023-04-12 23:54:29
179
原创 Spark-Scala应用遇到DataFrame中Filter异常-Cannot resolve overloaded method ‘filter‘
Spark-Scala应用遇到DataFrame中Filter异常
2023-04-07 22:08:42
247
原创 《标签类目体系-面向业务的数据资产设计方法论》 读书随记
对客观事件进行记录并可以鉴别的符号，是对客观事物的性质，状态及相关关系等进行记载的物理符号或这些物理符号的组合数据可交易，可回报，可将数据作为一种资本运营基础原理 --> 道
2023-03-27 22:22:56
916
原创 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
#修改文件 sudo vim /etc/sysctl.conf #添加参数 vm.max_map_count = 262144
2023-03-25 21:58:14
410
原创 异常内容 /lib64/libc.so.6: version `GLIBC_2.18‘ not found
谨慎升级GLIBC，GLIBC为linux底层类库。
2023-03-22 23:35:02
176
原创 configure: error: no acceptable C compiler found in $PATH
异常内容解决方法进行安装gcc -v检查是否安装成功。
2023-03-22 23:33:52
47
原创 Kettle-安装
mysql-connector-java-8.0.29.jar复制的pdi-ce-9.3.0.0-428\lib。解压到pdi-ce-9.3.0.0-428。
2023-03-15 21:32:28
141
原创 Kettle Spoon集成资源库
双击spoon.bat，若是之前本地有建资源库，先登录本地的资源库，选择Repository Manager 资源库管理。选择[Database Repository]选择[Other Repositories]>> 用户名：admin 密码：admin。>> 连接数据库，如数据库为创建先创建。>> 配置数据相关信息选择[确认]选择[GetStarted]选择[GetStarted]填写Display Name。>> 右上角connect。>> 选择[Back]>> 选择[New]
2023-03-15 19:39:38
65
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人