- 博客(268)
- 资源 (3)
- 收藏
- 关注
原创 借鉴LangChain思想使用Java实现大模型Function_Call工具开发及调用功能
虽然,使用以上框架实现了自定义工具,但是调用工具时,均需要依赖于python环境和以上框架,觉得还是有一定的限制。再加上,博主之前的基于大模型的所有功能(本地知识库、Text2SQL等)均是使用Java调用OpenAI接口实现,没有使用类似langChain这样的python框架。作为倔强的Java程序员,还是想用Java去实现自定义工具。博主之前研究的是ChatGLM3模型,该模型提供了Openai方式调用工具的代码。但后续转到Qwen1.5模型后,好像不可以直接用Openai接口的方式调用工具了。
2024-03-28 10:18:14 455
原创 Ollama部署马斯克Grok-1模型
并且在Hugging Face上有大佬放出了Grok-1的非官方GGUF量化模型。在ollama官网,有大佬也已经上传了Grok-1模型。近日llama.cpp添加了对grok-1模型的支持。
2024-03-26 11:25:06 235
原创 Xorbits Inference比Ollama更强大的模型部署与推理框架
Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。
2024-03-26 09:21:14 739
原创 预训练大语言模型研究资料整理分享
关注公众号,发送关键字“大模型资料”获取1、大规模语言模型-从理论到实践【复旦大学】2、大规模预训练语言模型方法与实践【崔一鸣】3、大语言模型综述4、行业大模型标准体系及能力架构研究报告
2024-03-25 14:55:46 312
原创 Open WebUI大模型对话平台-适配Ollama
Open WebUI是一种可扩展、功能丰富、用户友好的大模型对话平台,旨在完全离线运行。它支持各种LLM运行程序,包括与Ollama和Openai兼容的API。
2024-03-25 10:55:41 745
原创 Prompt提示词工程构建指南
这有助于理解为什么要执行这个任务,以及它与更广泛的目标或项目的关系。Role (角色) :指定负责执行任务的个体或团队的角色或职责。OutputFormat(输出):指定任务完成后的结果应该呈现的格式或样式,例如报告、演示文稿或数据表。Suggestions(建议):提供有关如何改进或最优化任务执行的建议。Constrains(限制):说明在执行任务过程中可能遇到的限制或挑战,如时间、预算或资源的限制。Profile(轮廓):描述执行任务的个体或团队的特征,可能包括经验、技能或其他相关特质。
2024-03-08 17:40:28 791
原创 LangChain自定义工具Tool
SYSTEM_MESSAGE_PREFIX = """尽可能用中文回答以下问题。您可以使用以下工具"""# 初始化大模型实例,可以是本地部署的,也可是是ChatGPTdescription = "当查询手机号的归属地时,使用这个工具"# 初始化工具# 初始化对话存储,保存上下文# 配置agentsystem_message=SYSTEM_MESSAGE_PREFIX, # 指定提示词前缀verbose=True # 是否打印调试日志,方便查看每个环节执行情况。
2024-03-07 16:09:33 384
原创 Qwen-Agent自定义Tool
description = '手机号归属地查询服务,输入手机号,返回该手机号的归属地。'description': '输入的手机号',}]
2024-03-07 10:52:58 660
原创 Ollama内网离线部署大模型
1、创建一个名为 Modelfile 的文件,并使用 FROM 指令,填写的模型的本地文件路径。访问huggingface下载qwen1_5-0_5b-chat-q5_k_m.gguf模型。2、在Ollama中创建模型。
2024-03-06 11:45:33 1533 9
原创 GGUF模型的不同量化模式说明
在下载Qwen1.5-72B-Chat_GGUF模型时,发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定:“q”+ 用于存储权重的位数(精度)+ 特定变体。q8_0:与浮点数16几乎无法区分。资源使用率高,速度慢。不建议大多数用户使用。q6_k:将Q8_K用于所有张量。q5_k_m:将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量,否则Q5_K。q5_0: 原始量化方法,5位。精度更高,资源使用率更高,推理速度更慢。
2024-03-06 11:15:13 695
原创 Linux系统CPU模式部署Qwen1.5-14B
Qwen1.5已适配Ollama。Ollama 是一个命令行聊天机器人,它使得几乎可以在任何地方使用大型语言模型变得简单。
2024-03-04 16:49:48 494
原创 Qwen-VL本地化部署及微调实践
我这里因为资源有限,选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置,其中主要修改标红部分,其他参数自己设当调整。,其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标,并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。,其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
2024-02-23 11:59:17 1382 3
原创 利用ChatGLM3构建Prompt实现Text2SQL
将自然语言文本(Text)转换成结构化查询语言 SQL,帮助用户快速生成想要查询的 SQL 语句;或者是用户输入一段话,然后系统完成一系列自动化查询和报表展示的操作,过自然语言描述完成复杂数据库的查询工作,得到想要的结果。
2024-01-04 10:02:14 2736
原创 使用ChatGLM3自定义工具实现大模型查询MySQL数据库
大模型虽然强大,但是由于训练的时间和语料限制。只能获取训练数据集中有的事件和内容,这意味着大模型不具备访问最新资料的能力。ChatGLM3-6B模型以通用语料训练为主,因此,缺少专业领域的知识。ChatGLM3-6B体量较小,虽然拥有较强的数学,英语等能力,但仍然无法与GPT4等大模型进行抗衡,因此,会出现数学计算不准确等问题。简而言之,就是给大模型加上“四肢“,让大模型学会使用工具,很多问题将迎刃而解。
2023-12-28 15:53:56 1784
原创 使用LLaMA-Factory微调ChatGLM3
解决方法:将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完,即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。(3)启动LLaMA-Factory的web页面。输入微调数据中的问题,回答贴合数据集,微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
2023-12-25 16:52:35 3306 2
原创 微软Autogen框架加载本地ChatGLM2-6B&ChatGLM3-6B
(1)使用Fastchat框架搭建运行ChatGLM2-6b模型openai兼容API。需要分别启动控制器、模型执行器和API服务。(3)测试AutoGen。
2023-12-14 18:11:13 1002
原创 ChatGLM2-6B微调实践-QLora方案
chatGLM_6B_QLoRA.json文件为所有transformers框架支持的TrainingArguments,可根据实际情况自行修改。使用的项目目前使用的peft为dev的版本,在合并lora model和base model时,会报错。原因是训练的步数太少,连保存checkpoint的step都没有达到。修改model_name_or_path参数为本地真实的模型路径。合并微调的Lora model和基座base model。适当调整chatGLM_6B_QLoRA.json中的配置。
2023-10-10 12:00:20 1820 2
原创 ChatGLM2-6B微调实践-P-Tuning方案
准备我们自己的数据集,分别生成训练文件和测试文件这两个文件,放在目录 ChatGLM2-6B/ptuning/myDataset/ 下面。执行web_demo.sh,访问http://xxx.xxx.xxx.xxx:7860。加载模型,需要从网上下载模型的7个分片文件,总共大约10几个G大小,可提前下载。如提示找不到conda命令,需配置Anaconda环境变量。训练集文件: train_file.json。测试集文件: val_file.json。根据提示一路安装即可。
2023-10-08 14:18:54 1419 2
原创 CentOS7启动进入紧急模式
系统安装好之后,手动将/home目录合并到了根目录。系统启动时会尝试加载/home挂载点,但是/home挂载点已经没有了。2、注释掉#/dev/mapper/centos-home /home xfs default 0 0。1、编辑fstab文件夹vi /etc/fstab。3、reboot重启即可。
2023-10-07 09:59:47 733
原创 docker部署neo4j
拉取镜像docker pull neo4j:3.5.35-community查看镜像[root@localhost data]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEneo4j 3.5.35-community 3548ff943256 13 months ago 446MB创建容器并运行docker run -d --name neo4j_
2023-09-19 15:13:44 491
原创 CentOS7安全配置
找到【Port 22】 ,删除注释符号【#】,将22改为要设置的目的端口,如9999,然后保存文件并退出。2、创建记录登录失败次数的文件。3、添加定时 10分钟执行一次。2、防火墙开放当前设置的端口。3、开放ssh使用的端口。
2023-09-18 10:24:40 324
原创 Linux系统用户密码过期_禁用过期策略
这个命令将禁用该用户的密码过期。其中,-m 0表示密码更改的最短天数为0,-M 99999表示密码更改的最长天数为99999,-I -1表示密码过期后不锁定用户账户,-E -1表示密码过期后不会立即禁用用户账户。使用Chage命令可以检查用户密码更改策略和过期信息。
2023-09-13 10:59:18 521
原创 M3E&ChatGLM向量化构建本地知识库
向量数据库是一种特殊类型的数据库,它用于存储和处理向量数据。向量数据库的主要特点是能够高效地执行向量空间中的搜索和比较操作,比如最近邻搜索(nearest neighbor search)。向量数据库在许多领域都有应用,包括机器学习、人工智能、计算机视觉和自然语言处理等。M3E Models :Moka(北京希瑞亚斯科技)开源的系列文本嵌入模型。
2023-09-07 16:49:58 5628 1
原创 本地化部署ChatGLM2-6B模型
ChatGLM是清华大学开源的方案,中文效果还是很不错的。基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
2023-08-28 14:11:47 758
原创 解决docker容器无法访问的问题
1、Linux内核和docker版本不匹配的问题,需要重启服务器所以没有试,服务器上好多程序,不能重启;今天本想着在服务器上部署内部使用的chatGPT应用,然后在服务器上部署了v2ray科学上网。v2ray部署之后,原来服务器上的docker容器均无法访问了。一顿操作,最后证明果然是docker0网卡的问题。添加:net.ipv4.ip_forward=1。docker容器重启多次均无法访问!docker服务重启也无济于事!图片上并不能看出来是不是有问题。服务器网卡重启也不行!
2023-03-29 17:34:03 5078 3
原创 Springboot打成JAR包后读取配置文件
2、位置的优先级:config>./>classpath,也就是jar包同级目录config文件夹优先级最高,其次是jar包同级路径,最后是classpath,在classpath中同样也是config路径的优先级大于同级路径;5、application-default.yml > /config/application.properties,default的优先级是大于config目录的。(1)在项目名.jar同级目录,创建一个config文件夹,把application.properties放进去。
2023-01-16 10:50:50 2427
原创 Nginx日志格式
Nginx数据格式Nginx配置文件中配置输出日志格式:"$remote_addr,$time_local,$status,$body_bytes_sent,$http_user_agent,$http_referer,$request_method,$request_time,$request_uri,$server_protocol,$request_body,$http_token";$remote_addr 客户端IP$time_local 通用日志格式下的本地时间$status 状态
2022-03-03 09:33:32 4366
原创 Java API操作HBase提示:Call exception, tries=10, retries=35, started=38348 ms ago, cancelled=false, msg=
问题描述:在开发环境IDEA运行相关代码没有问题,但是将程序部署到服务器出现类似以下的报错:Call exception, tries=10, retries=35, started=38348 ms ago, cancelled=false, msg=原因推测:该类问题应该是由连接HBase超时导致。解决方法:在hosts文件中添加HBase所在服务器的ip映射;...
2022-02-25 14:19:11 1870
原创 解决No EntityManager with actual transaction available for current thread
问题描述:在使用JPA执行删除操作时报错:No EntityManager with actual transaction available for current thread - cannot reliably process 'remove' call; nested exception is javax.persistence.TransactionRequiredException: No EntityManager with actual transaction available for
2022-01-17 17:17:57 6147
原创 解决Field ‘id‘ doesn‘t have a default value报错问题
问题描述:实体类设置了int自增:@Id@GeneratedValue(strategy = GenerationType.IDENTITY)private Integer id;保存数据使用:repository.save(task);结果出现Field ‘id’ doesn’t have a default value报错问题。有文章说把表删了再重新建一次就好了,可是我没有试成功!!!问题原因:这里只说明我遇到的原因,其他的不做描述。我的问题是因为MySQL表没有设置ID自增;
2022-01-17 11:03:42 467
原创 Springboot多数据源+Jpa配置
随着业务复杂程度的增加,单一数据源越来越不满足具体的业务逻辑以及实现。这里我用到了MySQL和Presto两种数据源:多数据源配置GlobalDataSourceConfiguration:@Configurationpublic class GlobalDataSourceConfiguration { @Bean(name = "prestoDataSource") @ConfigurationProperties(prefix = "spring.datasource.pr
2022-01-06 11:43:52 1614
原创 PostgreSQL、华为DWS查询表字段类型、字段描述
PostgreSQL查询表字段的详细信息(字段名、字段类型、字段描述等):# 实际使用中需要修改TABLE_SCHEMA和TABLE_NAME SELECT AA.*,BB.DESC FROM (SELECT A.ORDINAL_POSITION AS COL_NUM, A.COLUMN_NAME AS COL_NAME, A.DATA_TYPE AS COL_TYPE, A.CHARACTER_MAXIMUM_LENGTH AS COL_LEN, A.NUMERIC_PRECI
2021-12-27 17:47:25 1790
原创 Log4j漏洞CVE-2021-45046、CVE-2021-45105、CVE-2021-4104修复
1、漏洞范围远程代码执行漏洞CVE-2021-45046:log4j 2.0-2.15.0版本拒绝服务漏洞CVE-2021-45105:log4j 2.0-2.16.0版本远程代码执行漏洞CVE-2021-4104:log4 1.x版本2、漏洞解决:针对CVE-2021-45046和CVE-2021-45105,需要升级到2.17.0版本进行修复。针对CVE-2021-4104需要从类路径中移除JMSAppender类,可利用如下命令进行删除:zip -q -d log4j-*.jar or
2021-12-22 15:50:58 1958
原创 Springboot中@Value注解静态变量赋值
配置文件application.properties中有以下配置:file.dir = ${ZHBR_FILE_DIR:default}某工具类中存在fileDir静态变量:private static String fileDir;在处理静态变量时候,如直接使用@Value注解,是无法获取到配置文件中的数据的,最终fileDir的值为null。如要通过配置文件对该静态变量进行赋值:1️⃣利用IDEA生成该静态变量的set方法,然后删除该方法的static修饰2️⃣然后将注解@Value
2021-12-03 17:27:21 1780
原创 Springboot项目自定义日志开头banner图像
一般springboot项目日志开头都是这样的: . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==========
2021-12-03 14:53:49 445
原创 MD5、BASE64和DES加密
MD5算法仅能进行加密,不能进行解密;BASE64算法即可进行加密,也可进行解密;package com.zhbr.test;import sun.misc.BASE64Decoder;import sun.misc.BASE64Encoder;import java.io.IOException;import java.math.BigInteger;import java.security.MessageDigest;import java.security.NoSuchAlgorit
2021-11-30 17:38:44 449
apache-hive-2.3.5-bin.tar.gz
2020-06-23
tg-jdbc-driver-1.2.jar
2020-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人