- 博客(95)
- 收藏
- 关注
RSS订阅原创 大模型开发者必看：解决RAG系统开发中12大难题的终极指南
Pydantic 程序是一个多用途框架，能将输入的文本字符串转化成结构化的 Pydantic 对象。文本自动完成 Pydantic 程序：通过结合使用文本自动完成的 API 和输出解析功能，这类程序能处理并将输入文本转换成用户定义的结构化对象。函数调用 Pydantic 程序：这类程序接受文本输入，并依据用户的设定，通过调用大语言模型的函数 API，转换成特定的结构化对象。预封装 Pydantic 程序：旨在将输入的文本转化为已预定义的结构化对象，简化用户操作。参考以下。
2024-02-05 09:52:09
907
原创 如果你也觉得自己不够聪明，也缺乏才华。。。
这正是你可以发挥作用的地方。通过勇于尝试那些令人畏惧的事情，你不仅可以帮助推动目标的实现，还能帮助他人更好地发挥他们的才能。通过勇于提问，你可以挑战既定的观念，促进团队思考，甚至揭示出新的见解和解决方案。通过自学这些技能，并分享你的学习心得，你不仅可以帮助那些可能因时间紧张或持怀疑态度而不愿尝试的人，还可以在这一领域成为一个标杆。这种态度不仅可以帮助你在工作中找到自己的位置，还可以让你因为愿意接手这些任务而受到团队的赞赏。无论你的智力和才华如何，通过勤奋、勇气和坚持，你都可以在生活和工作中取得重要成就。
2024-02-02 17:00:23
415
原创 我每天如何使用 ChatGPT
我偶尔会用这个功能作为开始。我本人非常喜欢阅读，让 ChatGPT 来概括所有文章，感觉就像身处于但丁描述的地狱的某个层次那样痛苦。然而，有时一些文章实在是太啰嗦、无聊，或者写得让人不愉快（比如一个无趣记者对一个让人讨厌的人进行的漫无焦点的采访）。我需要获取这些文章中的一些信息，以便保持信息的更新和了解。在晚期资本主义的广告经济下，很多文章只在一个段落里提供新信息，其余都是无聊的填充内容，只是为了展示糟糕的广告，这实在是对人们的时间和生命的一种浪费。我有几次利用 ChatGPT 来。
2024-01-23 14:48:17
3167
原创 面向技术型领导：关于生成式人工智能你必须面对的5大残酷现实
创造真正商业价值的生成式 AI 需要付出真正的努力，但这绝对值得。生成式 AI (Generative AI) 已经无处不在。各行各业的组织正迫切要求他们的团队加入这场风潮 — 有 77% 的商业领导 担心他们已经错过了利用生成式 AI 的机遇。数据团队正在努力应对这一挑战。但是，打造一个真正能促进商业增长的生成式 AI 模型并非易事。长期来看，仅依靠快速接入 OpenAI API 是远远不够的。我们谈论的是生成式 AI，但你的竞争优势在哪里？为什么用户会选择你而不是 ChatGPT？
2024-01-15 09:56:36
858
原创 OpenAI 官方提示工程指南
在一些需要处理众多独立指令集的任务中，先对查询的类型进行分类，然后根据这个分类来确定需要的指令，这样做往往是有益的。就像在软件工程中，我们会习惯于把复杂的系统分解成一套模块化的组件，对于提交给语言模型的任务也是同样的道理。而更进一步，我们常常可以把这些复杂任务重新设定为一系列的工作流程，每一个流程就是一个更简单的任务，而且这些任务之间是相互联系的，前一个任务的输出会作为后一个任务的输入。当涉及到一系列可能的答案，且这些答案都被视为高质量时，基于模型的评估方法会非常有帮助，比如在回答需要较长解答的问题时。
2023-12-22 10:49:31
1103
原创 OpenAI 生产环境最佳实践官方指南
这份指南全面介绍了如何将产品原型发布到生产环境的最佳实践。不论你是资深的机器学习工程师还是刚入门的技术爱好者，这份指南都能为你提供在实际生产环境中成功应用该平台所需的各种工具和知识。内容涵盖从如何保护 API 访问安全到如何构建能应对高流量的架构。参考这份指南，可以帮助你更顺畅、高效地部署应用程序到生产环境。
2023-12-18 12:05:12
108
原创 彻底解决Springboot中路径参数带 (%2F)的问题
前两天突然出现了一个线上问题，有同事反应我提供的接口报400的错误。接口路径如下，经过排查发现是sku参数中有因此springboot转义后直接报错了。由于已经有很多团队对接了相关接口，且有很多的其他接口都使用了类似的传参方式，因此需要考虑怎么在系统中不让springboot自动解码。
2023-06-23 23:31:35
976
原创 Midjourney教程(三)——Prompt常用参数
为了提升prompt的准确度与输入效率，让midjourney能够生成我们理想中的图片，我们需要学习一下prompt的常用参数。
2023-04-24 10:04:30
1074
原创 Midjourney教程(一)——如何使用Midjourney
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GStdVUeK-1681011893190)(Midjourney%E6%95%99%E7%A8%8B%E2%80%94%E2%80%94%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8Midjourney%201c4b053f78c9482c998f8a618504a055/Untitled%206.png)]点击variation按钮后midjourney会根据你选择的图片重新生成4张相似的图片。
2023-04-09 11:52:09
6144
5
原创 反爬虫破解——裁判文书网
这段时间研究了下裁判文书网的反爬策略感觉挺有意思的，这里给大家分享一下思路分析我们先在裁判文书网上随便搜索点东西，我这里搜的是"经济犯罪"，可以看到返回了很多页的数据，我们点击下一页然后看下请求观察上图中的参数，并试着在postman中调用一下试试看可以看到直接能发送成功，并且修改pageNum值之后仍然能够正常拿到返回结果，可是返回结果是加密的。那我们先来研究下如何进行解密。观察可以看到返回结构如下{ "code": 1, "description": null,
2021-02-19 23:01:55
3220
5
原创 反爬虫破解——百度翻译
这段时间研究了下百度翻译的反爬策略感觉挺有意思的，这里给大家分享一下思路分析首先我们打开浏览器的控制台(alt+command+i),然后输入 https://fanyi.baidu.com/，然后随便输入一个词语翻译一下，分析network标签页能很容易找到翻译接口观察这个post请求的参数在postman中构建此请求发现请求可以发送成功(注意，需要把网页中的cookie也拷过来才能请求成功);然而如果改变翻译内容请求就会失败所以肯定有某些参数是计算出来的，观察可以发现sign、token
2020-11-03 22:18:35
2653
11
原创 由http超时引发的故障分析
起因通过日志观察到任务执行一段时间后停止工作分析过程先介绍一下业务逻辑，任务通过一个接口触发，会在一个单线程的线程池中开启一个任务，任务逻辑为不断从数据库中查询出数据并将数据放入一个阻塞队列中等待消费者消费。消费者会单线程循环不断从队列中获取消息，然后放入线程池之中执行。消费者线程池中线程执行的逻辑为发送http请求，通过响应的结果回写数据。ok，整个业务逻辑很简单，让我们开始排查故障吧。1、是不是所有任务都执行完毕因此任务停止？检查数据库之后发现仍有未执行任务，因此排除此问题2、是不是消费端
2020-09-04 10:28:47
948
原创 mysql调优策略
mysql执行流程connector:主要负责处理客户端的连接、获取权限、维持、管理连接等analyzer:主要负责词法分析、语法分析optimizer:主要负责做优化，如选择合适的索引、判断条件执行的顺序、查表的顺序等等actuator:主要负责校验权限、执行sql索引此处以mysql5.7为例索引类型索引总共有四种类型:BTREEHASHFULLTEXTSPATIAL下面分别来介绍一下:HASHhash的基本结构是数组+链表，在mysql中也是如此，因此会存在has
2020-07-09 16:53:29
297
原创 应用限流常用方案及项目实战
在高并发系统中我们通常需要考虑当请求量过大时，如果进行限流、降级，这里我们讨论下常用的限流方案，最后给出合理的实例常用限流算法计数器法滑动窗口法漏桶算法令牌桶算法计数器法计数器法是实现起来最简单的一种算法。其思路是，比如比如我们规定某个接口在一分钟之内只能处理100个请求，那么每次有请求进来的时候我们按每分钟进行计数，当请求大于100个的时候就拒绝请求，如果到了第二分钟则重新从0开始计数，代码示例如下 //固定map大小为5，超出最大数量时抛弃较早的元素 static M
2020-06-04 23:03:47
577
原创 搭建gitlab
1、安装gitlab从 https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/ 网站上选择合适的版本下载下来，并上传到服务器或直接在服务器上下载wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.9.4-ce.0.el7.x86_64.rpm下载文件之后进行安装rpm -i gitlab-ce-12.9.4-ce.0.el7.x86_64.rpm注意:
2020-05-08 20:15:43
173
原创 安装rocketmq
1、先安装mavenwget https://downloads.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.zip解压unzip apache-maven-3.6.3-bin.zip创建maven环境变量在/etc/profile中新增环境变量，指向maven的bin目录export PATH=${PATH}:/home/centos/software/maven/bin测试mvn命令，成功则maven安
2020-05-08 20:08:26
185
原创 centos7 安装mysql8
最近加入了一个创业公司，一切都要自己搭，记录下遇到的一些问题1、先卸载mariadb相关的包rpm -qa | grep mariadb //查找相关的包 yum remove mariadb-5.5.64-1.el7.x86_64 //卸载相关的包2、安装mysql查看系统版本 cat /proc/version，并在页面上下载合适的包：https://dev.mysql.com/downloads/repo/yum/，下载之后把文件上传到服务器安装msyql仓库su..
2020-05-08 20:01:04
185
原创 python爬虫+词云生成小说简介
我每个月都要读一本书写一个书评，平时写书评用的插图都是在网上找的图，前段时间觉得这样不够炫酷要做一点炫酷的东西。最开始的想法是提取小说中的高频词做成词云，实践下来发现效果并不理想，主要是有吸引力的词汇太少并不能突出这本书的特点；于是想到用爬虫爬取评论来提取关键词，试验下来发现效果不错。 有了思路接下来要看怎么实现了，由于我本人是写java语言的，而java语言上并没有很好词云工具，于是自然想到...
2019-09-10 10:54:36
1013
原创 duboo原理分析
准备知识spirng基础知识、原理rpc基础知识netty基础知识spring基础知识spring涉及的东西太多，这里不做讲解，基本原理可以参考 https://blog.csdn.net/KevinDai007/article/details/53055409rpc基础知识rpc(Remote Procedure Call)——远程过程调用，既在机器A上调用机器B的服务，基本流...
2019-07-08 17:19:38
323
原创 网络协议分析
物理层(第一层)：主要用来定义物理设备标准，物理层关注在一条通道上传输原始的0和1的电信号,常见的传输介质有：有线(光纤)、无线(无线电)、卫星数据链路层(第二层):用来规定0和1的分组规则,以太网协议规定,一组电信号构成一个数据包,叫做"帧"(Frame).每一帧分成两个部分:Head和Data,其中head中包含源mac地址、目标mac地址源mac地址如何知道目标mac地址？ 使用A...
2019-05-27 17:39:10
5507
原创 SpringBoot内置servlet容器分析
springboot内置Tomcat依赖图如上图所示Tomcat在spring-boot-starter-web中自动引入如何修改内置Tomcat属性如果是正常的Tomcat容器可以通过在conf/web.xml、conf/server.xml文件来修改配置,但内置Tomcat并没有这两个文件,那么如何修改呢？通过看官方文档知道可以通过server.port属性更改Tomcat端口,由我...
2018-12-03 20:15:10
2385
原创 创建RestfulAPI
restfulAPI与普通的API到底有什么区别？网上很多说法都很虚，甚至带着点玄幻的味道，我这里给一个直观的例子来说明两者的区别普通CRUDRestCRUD查询getUseruser—GET新增addUser?xxxuser—POST修改updateUser?id=xxx&xxx=xxxuser/{id}—PUT删除deleteUs...
2018-11-15 23:10:10
489
原创 WebMvcConfigurerAdapter过时及静态资源无效
在Springboot 2.0(Spring5)后用自己的的配置类继承WebMvcConfigurerAdapter时，idea提示这个类已经过时了.网上很多说法会说使用WebMvcConfigurationSupport来代替,然而如果使用WebMvcConfigurationSupport会导致Springboot的webmvc配置失效,即访问不到静态资源。这是因为WebMvc的自动配置都...
2018-11-14 22:53:38
1888
原创 SpringBoot原理
什么是Spring Boot文章目录什么是Spring BootSpring Boot基本介绍Spring Boot 的特性Spring Boot启动原理自动配置加载原理Spring Boot基本介绍这里我直接引用官网的描述,官网地址:http://spring.io/projects/spring-bootSpring Boot makes it easy to create sta...
2018-10-22 16:49:04
714
原创 JAVA常用操作所需时间
在一些RT要求比较高的场景中，如果每个场景和流程我们都能知晓大致的执行时间，那么对于程序设计或者排查问题还有很有帮助的。下面我列出了一些经常出现，又比较重要场景的执行时间，大家也可以补充。周末在家把相关的数据基本测试过，再结合以前的经验，数据基本靠谱。 一、Java基本操作一次整型、浮点型赋值： 纳秒级一次字符串赋值：微秒级一次字符串的拼接：微秒级 至少上百微秒new一个对象: ...
2018-08-20 09:14:19
553
原创 maven跳过单元测试
用maven打包时跳过测试单元有两种写法mvn clean install -Dmaven.test.skip=true;或者mvn install -DskipTests那么maven.test.skip和skipTests的区别是什么呢?经过翻阅资料，解释如下: The core difference : - maven.test.skip is a feature of...
2018-06-27 18:34:16
298
原创 MySQL开发规范
一.命名规范库名、表名、字段名必须使用小写字母，并采用下划线分割 为了统一规范， 库名、表名、字段名使用小写字母，禁用关键字（index,order等）前缀命令规范 视图以view_开头，事件以event_开头，触发器以trig_开头，存储过程以proc_开头，函数以func_开头，应用上面禁用普通索引以idx_各个列名简称，唯一索引以uk_各个列名简称命名，中间用_隔开。如 i...
2018-04-12 10:59:46
1117
原创 springboot集成thymeleaf(不重启刷新html)
springboot集成thymeleaf完整配置 1、pom文件新增spring-boot-starter-thymeleaf依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spri...
2018-03-08 09:35:04
18336
5
原创 java8的新特性学习
java8新增的新特性 1. 方法、lambda可作为值进行传递 2. 流(支持并行) 3. 接口能提供默认方法lambda表达式一、lambda表达式特点:匿名——我们说匿名，是因为它不像普通的方法那样有一个明确的名称:写得少而想得多函数——我们说它是函数，是因为Lambda函数不像方法那样属于某个特定的类。但和方法一样，Lambda有参数列表、函数主体、返回类...
2018-02-09 16:18:45
323
原创 List、Vector插入性能比较
从学习java开始就知道vector使用synchronized对方法进行加锁,所以线程安全但性能较低,但随着java的对于锁的优化,现在似乎已经不是这样了,下面开始验证一下package com.kevindai.jdk8;import java.util.ArrayList;import java.util.LinkedList;import java.util.List;i...
2018-02-08 15:49:59
2197
1
原创 java8函数式接口——Precidate、Consumer、Function、Supplier
本文主要介绍java8的提供的几种函数式接口的使用Precidate先看下他的源码@FunctionalInterfacepublic interface Predicate<T> { boolean test(T t); default Predicate<T> and(Predicate<? super T> othe...
2018-01-05 16:42:52
1101
原创 线上问题记录
现象 请求一个接口，post上来的数据保存到数据库中出现中文乱码 原因 2.1 做优雅停机时，增加了一个Filter，HttpRequestCounterFilter用来在记录机器当前正在处理的请求，在Filter的处理逻辑中调用了HttpRequest的getParameterMap()方法，第一次调用该方法时，request会去解析用户传入的参数，解析结果会被缓存下来，后续不会再重新解析。
2017-12-04 10:08:28
330
原创 sublime指定python版本
这两天闲暇的时候学了下python,遇到一个坑,希望能帮大家解决问题背景:我用的是mac,系统中默认安装了python版本是2.7.10;我自己又安装了3.6.3版本在我用sublime对着官方文档写爬虫时,发现了一个报错 代码如下import http.clientconn = http.client.HTTPSConnection("www.baidu.com")conn.request(
2017-11-17 15:18:28
7522
4
原创 Java并发编程:volatile关键字解析
volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的，因此在讲述volatile关键之前，我们先来了解一下与
2017-11-16 14:26:33
9801
原创 mybatis字符串匹配数字
做查询遇到一个坑,想用字符串去判断是否等于一个数字,结果一个报错，写法如下<if test="taskIdType != null and taskIdType != '0' "> and task_id like CONCAT(CONCAT('TASK', #{taskIdType}), '%')</if>正确写法如下<if test="taskIdType != null and t
2017-10-24 08:36:03
3107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人