- 博客(996)
- 资源 (8)
- 收藏
- 关注
原创 cctv 还是有很多资源可以看的,不用在优酷上面搜索
cctv的《海峡两岸》大陆和台湾两边一起讨论台湾的问题,希望祖国早日统一。 中央电视台惟一的涉台时事新闻评论栏目,节目宗旨是“跟踪海峡热点,反映两岸民意”。节目分为两个版块:第一个是“热点扫描”,主要报道当日和近期台湾岛内的热点新闻;第二个是“热点透视”,当日或近期涉台热点深度报道及两岸专家对此事的评论,并对两岸各个层面的交流交往进行跟踪报道。http://tv.cctv.com/l...
2018-01-16 17:55:48 2258
原创 本站各种文章汇总
今后的时间讲精力放到 golang ,docker ,kubernetes 上面。 以后云计算是方向。博客等级等级 所需积分 V1 0 V2 100 V3 500 V4 1000 V5 2000 V6 5000 V7 10000 V8 30000 V9 50000 V10 100000 V11 200000 V12 300000 V1...
2017-04-06 20:40:48 1734
原创 【ai技术】(2):树莓派3,使用的是armv7的版本,不支持ollama安装,内存1G,推荐使用命令行界面安装,使用raspi-config配置wifi,老设备了运行不了图形界面
树莓派3,安装ollama本地运行ollama大模型,测试速度。
2024-03-18 09:04:09 204
原创 【ai技术】(1):发现一个大模型可视化项目,使用nodejs编写的,llm-viz,可以本地运行展示大模型结构。
https://github.com/bbycroft/llm-viz或者镜像:https://gitcode.com/bbycroft/llm-viz.git项目 主要项目有:LLM 可视化:运行推理的 GPT 风格 LLM 网络的 3D 互动模型。 [WIP] CPU 模拟:一个带有完整执行模型的 2D 数字电路图编辑器,展示了一个简单的基于 RISC-V 的 CPU。LLM 可视化 这个项目显示了一个 GPT 风格网络的工作实现的三维模型。也就是说,这是 OpenAI 的 GPT-2、GPT-
2024-03-18 08:28:49 381
原创 【ollama】(8):nvidia-docker在Nvidia Jetson Nano设备,对接chatgpt-web服务,配置成功,可以进行web聊天了,给ollama增加web界面
特别注意是 docker-compose-linux-armv7 版本,linux版本。然后安装docker 执行脚本即可。
2024-03-16 23:41:36 131
原创 【ollama】(7):使用Nvidia Jetson Nano设备,成功运行ollama,运行qwen:0.5b-chat,速度还可以,可以做创新项目了
【代码】【无标题】在jetson上安装 ollama。
2024-03-16 22:31:43 324
原创 【ollama】(6):在本地使用docker-compose启动ollama镜像,对接chatgpt-web服务,配置成功,可以进行web聊天了,给ollama增加web界面
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。使用ollama + chatgpt-web 实现本地大模型执行。然后访问:http://localhost:3002/ 即可。CPU 推荐使用 7b及以下版本。
2024-03-14 23:28:11 547
原创 【ollama】(5):在本地使用docker-compose启动ollama镜像,修改模型存储位置,并下载qwen-0.5b模型,速度飞快
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。【ollama】(5):在本地使用docker-compose启动ollama镜像,并下载qwen-0.5b模型,速度飞快。
2024-03-14 09:04:54 441
原创 【ollama】(4):在autodl中安装ollama工具,配置环境变量,修改端口,使用RTX 3080 Ti显卡,测试coder代码生成大模型
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。速度哦还是挺快的,经过一段时间的等待就可以服务启动成功了。
2024-03-12 22:45:35 260
原创 【ollama】(3):在linux搭建环境中,安装golang开发的ollama工具,并且完成启动下载gemma:7b和qwen:1.8b运行速度飞快,支持http接口和命令行模式
然后因为是docker 虚拟环境,需要手动启动服务: ollama serve。项目使用golang+llama.cpp 项目进行开发的。有切换的时间,模型会重新载入到显存。简化了模型的安装,非常的方便。可以发现 支持中文效果也不错。然后启动 gemma:7b。
2024-03-12 08:53:01 386
原创 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装
然后经过漫长的编译,就而可以生成了在 build 文件夹。里面有相关的liib库了。框架本质上还是使用了 llama.cpp 项目的。需要编译 llama.cpp 的代码,
2024-03-09 23:05:45 255
原创 【fastllm】学习框架,本地运行,速度还可以,可以成功运行chatglm2模型
🚀 纯c++实现,便于跨平台移植,可以在安卓上直接编译🚀 ARM平台支持NEON指令集加速,X86平台支持AVX指令集加速,NVIDIA平台支持CUDA加速,各个平台速度都很快就是了🚀 支持浮点模型(FP32), 半精度模型(FP16), 量化模型(INT8, INT4) 加速🚀 支持多卡部署,支持GPU + CPU混合部署🚀 支持Batch速度优化🚀 支持并发计算时动态拼Batch🚀 支持流式输出,很方便实现打字机效果🚀 支持python调用。
2024-03-09 12:22:24 893
原创 【Tauri】(5):本地运行candle和 qwen 大模型,并测试速度
使用 candle还是非常方便的,使用另外一种方案运行大模型。使用 cpu 速度就慢多了。
2024-03-07 08:44:54 483
原创 【Tauri】(4):整合Tauri和actix-web做本地大模型应用开发,可以实现session 登陆接口,完成页面展示,进入聊天界面
步骤三:设置 crates.io 镜像, 修改配置 ~/.cargo/config,已支持git协议和sparse协议,>=1.68 版本建议使用 sparse-index,速度更快。需要返回标准的 openai api 接口了。整合 tauri 代码和 actix。实现了 server::init。配置rust环境方法。
2024-03-07 08:02:15 764
原创 【Tauri】(4):使用Tauri1.5版本+candle框架运行大模型,前后的搭建运行成功,整合前端项目,在应用中显示。
开源的Chatgpt-web应用。关于tauri 框架。
2024-03-05 23:12:52 318
原创 【wails】(9):经测试可以四月wails进行跨平台编译,目前支持linux,windows平台,不支持mac,且目前的cgo不支持跨平台编译。其他有纯go版本的llama.cpp项目
报错,没有找到库,但实际上有代码。估计下一个版本会支持。
2024-03-05 09:00:37 376
原创 【wails】(8):发现一个用golang重写llama.cpp的llama.go项目,经测试支持f32模型,半年未更新,找到llama.cpp对应的版本,可以转换f32模型
golang 的代码可以执行 f32 的模型,但是不能执行 f16 和 int4 的模型。这部分工作并没有开发完成。因为模型 有 26G 所以使用 CPU 执行速度并不快,有 0.37 tokens/s。项目目前看已经 10 个月没有更新了。从代码量看,确实都不算太多。可以研究研究里面的算法。
2024-03-01 08:21:45 718
原创 【wails】(7):研究发现一个新的项目llama.go,使用纯golang写的代码,下载模型文件,然后可以本地执行了,可以执行,就是模型文件26G,运行速度慢 0.37 token/s
然后在autodl上申请服务器,选择 30G内存的服务器:# 克隆项目: git clone https://github.com/gotzmann/llama.go.git # 然后进入 cd llama.go/ # 执行 make # 然后在 builds 目录里面就有了三个文件: ls builds确实是能运行,目前看不支持最新的 GGUF 文件格式。同时是非量化版本 f32 的,造成模型比较慢。而且这个是 llama的第一代的产品。要是有二代的模型且 int4 版本的就好了。
2024-02-27 23:29:56 174
原创 【wails】(6):研究发现一个新的项目llama.go,使用纯golang写的代码,可以支持win,linux,mac平台运行,理论可以运行llama2大模型
关于项目:https://github.com/gotzmann/llama.go确实是因为研究使用 c++ 在win 上面安装环境,折腾的时候特别的麻烦所以找到了这个使用 纯golang 编写的llama 模型执行项目 MIT 协议。golang 环境安装:其实就是执行了三次 go build 命令:3,下载模型,然后运行测试目前可能之支持使用 llama 模型:https://modelscope.cn/models/Xorbits/Llama-2-7B-Chat-GGML/files下载模型
2024-02-27 08:38:20 505
原创 【wails】(6):使用wails做桌面应用开发,使用gin+go-chatglm.cpp进行本地模型运行,在windows上运行成功
windows 安装 git 工具。
2024-02-25 23:58:58 565
原创 【wails】(5):使用wails做桌面应用开发,开发接口api函数,启动新本地服务端口9999,使用gin+go-chatglm.cpp进行本地模型运行,返回api接口,在linux上运行成功
参考的代码是 提到的 issues。/session 接口。
2024-02-25 20:14:45 456
原创 【wails】(4):使用wails做桌面应用开发,整合chatgpt-web项目做前端,进行本地开发,web端也可以连调,使用websocket实现
使用 wails 和 chatgpt-web项目 整合还是非常容易的。可以封装成接口路径地址。然后返回信息。
2024-02-23 21:41:42 512
原创 粉丝2000 啦,选对赛道,做正确的事情,粉丝涨到2000说明大家对我做的事情还是非常的认可的,继续坚持中,将相关资料做了视频整理
【chatglm3】(1):docker本地部署,支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务。【xinference】(1):在autodl上,使用xinference部署chatglm3大模型,支持函数调用,使用openai接口调用成功!
2024-02-21 23:02:32 370
原创 【wails】(3):解决 go-chatglm.cpp 项目部署编译的问题,在Linux本地环境成功运行,可以使用CPU进行模型训练,速度还可以,后续可以将模型继承到wails项目中
【代码】【wails】(3):解决 go-chatglm.cpp 项目部署编译的问题,在Linux本地环境成功运行,可以使用CPU进行模型训练,速度还可以,后续可以将模型继承到wails项目中。
2024-02-21 22:02:34 414
原创 使用go-llama.cpp 运行 yi-01-6b大模型,使用本地CPU运行,速度挺快的
LaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型(简易 Python 代码示例)手撸的纯 C/C++ 版本,用于模型推理。所谓推理,即是给输入-跑模型-得输出的模型运行过程。无需任何额外依赖,相比 Python 代码对 PyTorch 等库的要求,C/C++ 直接编译出可执行文件,跳过不同硬件的繁杂准备;虽然模型回答的不太对,但是可以运行了,速度确实还可以。那么,纯 C/C++ 版本有何优势呢?具有 F16 和 F32 的混合精度;
2024-02-19 23:55:22 573
原创 【wails】(1):使用go做桌面应用开发,wails框架入门学习,在Linux上搭建环境,运行demo项目,并打包测试
Wails 是一个可让您使用 Go 和 Web 技术编写桌面应用的项目。将它看作为 Go 的快并且轻量的 Electron 替代品。您可以使用 Go 的灵活性和强大功能,结合丰富的现代前端,轻松的构建应用程序。同时golang 开发相对友好些,各种库都十分丰富,也是一个非常不错的选择。
2024-02-19 20:43:46 857
原创 【candle】(4):使用rsproxy安装rust环境,使用candle项目,成功运行Qwen1.5-0.5B-Chat模型,修改hf-hub代码,使用hf-mirror加快下载模型
使用 candle还是非常方便的,使用另外一种方案运行大模型。不需要 python库直接运行,速度 10 token/s。使用gpu 速度还可以,但是使用 cpu 速度就慢多了。
2024-02-18 21:33:59 436
原创 【candle】(3):安装rust环境,使用GPU进行加速,成功运行qwen的0.5b,4b,7b模型,搭建rust环境,配置candle,使用hf-mirror下载模型
使用 candle还是非常方便的,使用另外一种方案运行大模型。可以对模型进行加速。
2024-02-18 12:22:53 391
原创 【Tauri】(3):使用Tauri1.5版本,进行桌面应用开发,在windows上搭建环境,安装node,rust环境,可以打包成功,使用vite创建应用
请前往 https://www.rust-lang.org/zh-CN/tools/install 来安装 rustup (Rust 安装程序)。请注意,为了使更改生效,您必须重新启动终端,在某些情况下需要重新启动 Windows 本身。在windows 上需要安装 cpp 工具。
2024-02-13 20:37:09 909
原创 【Tauri】(2):使用Tauri应用开发,使用开源的Chatgpt-web应用做前端,使用rust 的candle做后端,本地运行小模型桌面应用
同时,在Qwen-1.8B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-1.8B-Chat。本仓库为Qwen-1.8B-Chat的Int4量化模型的仓库。大规模高质量训练语料:使用超过2.2万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。优秀的性能:Qwen-1.8B支持8192上下文长度,在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的相近规模开源模型,具体评测结果请详见下文。
2024-02-11 23:56:36 746
原创 【Tauri】(1):使用Tauri1.5版本,进行桌面应用开发,在windows,linux进行桌面GUI应用程序开发,可以打包成功,使用 vite 最方便
最后就是12 mb的 文件,包括了htm。确实特别的小,运行速度快。这个函数使用的 rust 处理的,但是前端 vue 项目进行调用的。说明这个并不是 ajax 调用,而是直接调用 rust 的 函数。修改配置文件:把 com.tauri.dev 修改成其他的就行。虽然也有构建失败,但是已经生成了 二进制文件。类似java 的 jni 方式调用 c 函数。在windows 上需要安装 cpp 工具。在linux 上,需要安装 webkit2。只是没有打包成 AppImage 文件。
2024-02-11 09:25:22 1996
原创 【Yi-VL-34B】(5):使用3个3090显卡24G版本,运行Yi-VL-34B模型,支持命令行和web界面方式,理解图片的内容转换成文字
使用 Yi-VL-34B模型也是不错的,参数更多。理解能力更强了。可以用来做一些图片处理的审核工作了。可以做出更多的智能工具来了。大模型真的特别方便了。
2024-02-07 00:53:53 281
原创 【xinference】(6):在autodl上,使用xinference部署yi-vl-chat和qwen-vl-chat模型,可以使用openai-client调用成功,进行对比测试,各有特色
使用xinference部署yi-vl-chat和qwen-vl-chat模型都可以运行成功,而且各有特色。qwen可以识别具体汽车品牌,但是有些新车是错误的。yi识别比较保守。
2024-02-06 21:34:40 440
原创 使用x86架构+Nvidia消费显卡12G显存,搭建智能终端,将大模型本地化部署,说不定是未来方向,开源交互机器人设计
此外,我们将评估 ChatGLM3 和 Qwen 在特定数据集上,函数调用的准确性, 并分析其出错的潜在原因。函数调用是 OpenAI GPT-4 和 GPT-3.5 Turbo 模型的高级特性,它使得模型能够根据用户指令决定是否调用相应的函数,以结构化的格式返回信息,而不是仅提供普通的文本回答。这使得基于大型语言模型的智能代理能够执行更为复杂的任务,大幅提升了模型的实用性和应用领域的广度。因为模型的运行需要大量的资源消耗,同时也存在热点问题,高峰问题。慢慢的,1-2B的小模型也发展起来。
2024-02-06 08:51:04 1576
原创 【xinference】(5):在autodl上,使用xinference部署sdxl-turbo模型,效果好太多了,模型的进步效果更好,图像更加细腻,需要下载52G文件,显存需要20G左右
新的模型生成的图片确实非常不错。但是随机比较大,需要多运行几次才能找到比较好的图片。相同的咒语生成的图片也是每次都不一样。新模型确实比之前的好太多了,坐等出中文模型。
2024-02-02 00:09:56 501
原创 【xinference】(4):在autodl上,使用xinference部署sd-turbo模型,可以根据文本生成图片,在RTX3080-20G上耗时1分钟,占用显存11G
效果上还是不错的,可以画出苹果的细节。但是还是粗糙点,确实因为模型比较小。速度还是不错的。
2024-02-01 22:48:33 350
原创 【xinference】(3):在autodl上,使用xinference部署whisper-tiny音频模型,并成功将语音转换成文本,测试成功,还支持音频直接翻译成英文
确实可以运行音频大模型。可以将音频文件转换成文本。可以做啥呢?可以直接录用转文字,或者做字幕。transcriptions 是音频转文本translations 可以直接将音频翻译成英文。使用large 模型就可以翻译:本列表列出香港航空的航点 > 翻译成:还集成了翻译模块。
2024-02-01 00:24:08 392
原创 【大模型研究】(12):在autodl上,使用xinference部署qwen-chat大模型,支持函数调用,使用openai接口调用成功!xinference是国人开发的项目,大家一起支持下!
Xinference 是一个专为大型语言模型(LLM)、语音识别模型和多模态模型设计的开源模型推理平台,支持私有化部署。它提供多种灵活的 API 和接口,包括 RPC、与 OpenAI API 兼容的 RESTful API、CLI 和 WebUI,并集成了 LangChain、LlamaIndex 和 Dify 等第三方开发者工具,便于模型的集成和开发。
2024-01-30 23:30:57 499
原创 【Dify知识库】(12):在autodl上,使用xinference部署chatglm3,embedding,rerank大模型,并在Dify上配置成功,3类接口xinference都是支持部署的
但是 Dify 运行报错,估计下一个版本就会修复了:但是测试接口,都是支持 stream 的:测试接口"messages": [{"role": "user", "content": "北京景点"}],}'
2024-01-30 23:03:00 685 1
原创 【大模型研究】(1):从零开始部署书生·浦语2-20B大模型,使用fastchat和webui部署测试,autodl申请2张显卡,占用显存40G可以运行
总体上效果还不错。速度也挺快的。需要 40G的显存才可以启动成功。而且可以使用webui 启动成功。
2024-01-21 22:00:36 1029 1
搜狗拼音输入法 sogoupinyin-2.3.1.0112-amd64.deb 老包
2022-10-19
goland-2018.2.3.good.tar.gz.ab
2020-02-10
goland-2018.2.3.good.tar.gz.aa
2020-02-10
arduino-1.8.11-macosx.zip(macos)
2020-01-30
arduino-1.8.11-linux64.tar.xz(linux64)
2020-01-30
arduino-1.8.11-linuxaarch64.tar.xz(arm64)
2020-01-30
arduino-1.8.11-windows.exe(windows)
2020-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人