- 博客(371)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 MLSQL -个人开源项目的成长之路
前言今天看了下项目的first commit log, 发现再过几天，就已经三年整了。commit bbf08489f2e3c58afd584e03b8c9c83d25c63b3bAuthor: WilliamZhu <[email protected]>Date: Thu Apr 28 15:04:13 2016 +0800open-source versi...
2019-04-23 15:46:06
5629
原创 020- 使用AutoCoder本地快速构建程序员专有知识库
背景我现在有两类内容，一个是大量的 auto-coder 示例配置，每次我用的时候都需要去找示例，然后复制黏贴。第二类是各种启动模型的脚本：需要关闭或者开启一个模型，都需要查找然后复制黏贴，比较麻烦。这个时候，我就在想如何把这些内容构建成知识库，让问答小助手帮到自己，甚至小助手还可以直接帮我执行一些脚本。于是有了 AutoCoder 的文档功能。安装conda create --name auto...
2024-04-19 08:37:20
822
原创 AutoCoder 副作用，秒变命令行版Siri，再也不用复制黏贴命来管理大模型了
AutoCoder 可以通过你指定的文档，以及自动到搜索引擎进行搜索来获取信息，从而更好的帮你生成代码，但我们不满足，我们还希望能够对用户本地的文档进行索引，从而自动获取一些信息，帮助你本地的项目更好的迭代，为此我们推出了一个本地的 Rag 知识库。结果没想到，解决了我一个以前一直很苦恼的问题，因为我经常要测试各种模型，这就需要经常启停一些模型，为此，我原来是这么做的，把我常用的一些模型的启动，关...
2024-04-17 17:12:31
2050
3
转载 使用大模型只需要像对接数据库一样，你喜欢了么
这里有个误区，大家看到 SQL + 大模型首先想到就是 nlp2sql，这是两件事，nlp2sql 是调用大模型将用户的问题转化为 SQL 查询， 而今天我们提到的 SQL + 大模型 指的是通过 SQL 调用大模型完成实际的业务数据处理，或者利用 SQL 完成大模型的训练，微调。用户使用大模型就和使用数据一样。为什么把大模型数据库化是最好的选择SQL 相比 Python 有其巨大的价值，首先是...
2024-04-12 13:39:21
43
原创 我们把 Prompt 函数和类更进一步了
前言上次我们发了一篇文章，很好的解决了 Prompt 的使用问题：最好的Prompt管理和使用依然是 Class 和 Function - 继续让LLM和编程语言融合相比其他方案，具有非常大的优势，完全融入到了现有的编程语言里，而不是大段的文本变量或者文件来做管理。阅读本文前，建议大家先阅读上面的文章获得一个基础认知，再来看看我们如何进一步简化其使用。问题我们来看下面一段代码：import ray...
2024-04-09 16:31:33
2178
原创 014 - AutoCoder 如何使用 Ollama
效果预警：AutoCoder 对大模型的要求偏高，请尽量使用模型参数较大的模型，并且观察是否能够满足 AutoCoder要求。Ollama 是一个很优秀的模型部署工具。 Byzer-LLM 则不仅仅支持类似 Ollama 的模型部署能力，还可以用于1. 开源或者私有模型训练、模型调参等2. 分布式3. 同时支持Saas模型4. 支持诸如Prompt函数/类等将大模型和编程语言融合的一些更加高阶的设...
2024-03-27 16:54:55
422
原创 010-AutoCoder 如何在公司级别使用
AutoCoder 如果是程序员用的话，一般 AutoCoder + SaaS 大模型，都会运行在程序员自己的电脑上。程序员还可以通过 human as model 模式，使用 Web 版本的模型。但是这种方式存在一定泄露源码的风险。如果公司想给自家的程序员统一使用 AutoCoder，并且对代码隐私有较高的要求，那么我们可以考虑私有化部署 AutoCoder 使用的大模型。私有化部署大模型Byz...
2024-03-26 13:54:58
374
原创 AI-Native的应用长什么样子
> 本文是某产品广告，请谨慎阅读有这么一个应用，他同时触发了大模型的三大软肋：效果 （GPT4直呼不够）长窗口（百万token输入，上万token输出）高成本 (因为输入输出巨大，效果要求还高，15块钱几次调用就耗尽)还有这么一个应用：代码混合了大量的常规类/函数和Prompt类/Prompt函数提供了显式的 human 模式常规的函数是这样的：所谓的Prompt 函数是这样的：实际上 Pr...
2024-03-26 13:54:58
596
转载 012-AutoCoder如何保障auto_merge模式下的代码安全
代码安全实际有两部分，一部分是代码不能被泄露，这个可以通过祝威廉：010-AutoCoder 如何在公司级别使用来解决。另一部分是如果开启了 auto_merge 模式，因为模型大模型的不确定性，很有可能破坏用户已有代码。比如用户可能忘了提交代码，马上又运行 AutoCoder ，并且开启了 auto_merge，很可能就覆盖掉了用户的代码。所以我们需要一些措施来保障代码的安全，这里我们鼓励大家...
2024-03-26 13:54:58
71
原创 011-AutoCoder最佳实践之组合大模型API/Web订阅
前面一篇文章，我们介绍了如何在公司级别使用AutoCoder，架构是这样的：而作为研发同学，实际上相当于把 大模型 Server 也放在自己的笔记本上。但受限于笔记本的性能，难以解决窗口（上下文）长度以及模型效果问题。而如果使用 SaaS API的话，这个Token费用在短期内又受不了（在模型厂商没有大规模降价或者AutoCoder 没有提供专有流量的时候）。那怎么真正把 AutoCoder 给利...
2024-03-26 13:54:58
382
原创 为什么不是Github Copilot,不是 Devin 而是 AutoCoder
我之前常说，不要逆AGI潮流去做一些事情，但也要对当前的大模型的边界有清晰的了解。Github Copilot 本质还是IDE工具的衍生，是一个更加“智能”的代码提示，而其提供的Copilot Chat 则更加只是把一个聊天框做到IDE而已，和集成一个搜索框到IDE工具没有任何区别，然还是一个古典产品的思维在做的一个产品。更细节的，我可以从三个维度做给大家做分析：第一个维度是 Github Cop...
2024-03-25 08:30:21
3209
原创 008-如何支持各种语言的项目
我们之前看到， AutoCoder 最简化的配置是这样的：source_dir: /tmp/t-pytarget_file: /home/winubuntu/projects/ByzerRawCopilot/output.txt query: > 修改 server.py ，在代码 app = FastAPI()后 增加 ray 的初始化连接代码。默认他会只处理 Pyth...
2024-03-25 08:30:21
283
原创 009-AutoCoder如何阅读第三方库源码
第三方库对程序员而言，是日常工作的重要部分，通常程序员的工作顺序如下：1. 阅读已有代码2. 阅读第三方库或者对接接口的文档3. 使用搜索引擎获得其他人使用第三方库的文档4. 自己阅读第三方库源码一般而言，1,2,3 应该是可以满足需求了的。而且，如果你的第三库是一个比较成熟的库，那么大模型对其知识应该也是足够的。通常我们并不需要 AutoCoder 去阅读第三方库的源码。但是有些库比较新，或者老...
2024-03-25 08:30:21
432
原创 007-番外篇 AutoCoder里配置的model究竟用来干嘛
AutoCoder 最简化的配置是这样的：source_dir: /tmp/t-pytarget_file: /home/winubuntu/projects/ByzerRawCopilot/output.txt project_type:pyquery:> 修改 server.py ，在代码 app = FastAPI()后 增加 ray 的初始化连接代码。指定项...
2024-03-24 08:31:13
325
原创 006-AutoCoder 开启索引，减少上下文
到今天为止，我们发现，AutoCoder 实际上会收集以下数据：通过 source_dir 指定的源码目录通过 urls 指定的文档通过search_engine 指定的搜索引擎检索结果你的需求描述第三方包（目前仅支持python）实际上当你在一个积累了很多年的项目上，你会发现项目代码有几十万行，尤其是 Java 代码，这导致大部门模型的上下文窗口无法满足需求。实际上，直接把所有源码都带上，确实也...
2024-03-24 08:31:13
186
原创 004-AutoCoder 边看代码 边看文档 写代码
程序员单纯编程部分，无非是1. 理解需求2. 搜索看别人怎么解决类似问题，理清思路3. 看已有项目的代码4. 看要用到的第三方库的源码或者文档AutoCoder 会模拟程序的这种行为来完成代码的编写。我们来看看具体如何让 AutoCoder 去完成这件事。source_dir: /tmp/t-pytarget_file: /home/winubuntu/projects/ByzerRawCop...
2024-03-23 08:30:32
307
原创 005-AutoCoder 使用搜索引擎
在上一篇内容中，我们介绍了 AutoCoder 可以同时看源码，同时阅读文档，最后结合你的需求进行代码的迭代。实际上，这个文档有两种可能性：接口或者SDK的文档一些设计思路通常接口或者SDK文档，通过 urls 参数指定是OK的，AutoCoder >= 0.1.18 同时还支持指定本地文件，并且支持 PDF,Word 等文档。但是如果你希望 AutoCoder 使用搜索引擎，寻找一些思路也...
2024-03-23 08:30:32
316
原创 003- AutoCoder 使用Web版大模型，性感的Human As Model 模式
这是下面这篇文章的继续。002- 用 AutoCoder 添加和修改代码前面我们提到，如何解决你没有API版大模型，或者你的API版大模型太弱，而你只有Web版本的诸如 Kimi/GPT4 的情况下，改如何让AutoCoder帮助你完成编程？我们有两个办法，第一个是去掉 execute/auto_merge 两个参数。这个时候你可以在 target_file 里找到你的prompt,拖拽到 Web...
2024-03-22 08:01:08
306
原创 002- 用 AutoCoder 添加和修改代码
实际上 AutoCoder 最适合的场景是修改代码，因为它最原始的功能是把源码+你指定的文档+搜索引擎搜集到的资料和你的需求生成一个prompt给到大模型。此外纠正大家一个观点， AutoCoder 不是一句话给你创建一个网站抑或一个大型的项目。我们是帮助研发或者产品更快的迭代产品。不过我们还是从最开始项目啥都没有开始，现在，我们用 AutoCoder 创建一个 web serversource_...
2024-03-21 18:12:14
341
原创 # AutoCoder-001自动创建模板项目
AutoCoder 系列教程开始了。作为程序员，那得先从创建一个项目开始。AutoCoder 提供了一个自动化创建项目的能力。不过这里大家要注意的是，因为每个模型能力不一样，甚至同一个模型每次给的答案都不一定稳定，所以这部分功能并不能稳定。这里我们依然推荐 Qwen-Max 来完成下面的工作。另外，大家回顾下如何安装 AutoCoder:AutoCoder 快速使用指南实战一，创建一个Python...
2024-03-20 08:30:10
587
原创 AutoCoder 快速使用指南
前言昨天发了命令行版Devin 来了: Auto-Coder后有不少人私信我讨论。那么能让大家快捷的用起来是第一要务。所以从昨天晚上到今天，我光速给 Byzer-LLM/AutoCoder 发了两个新版本，来支持今天这篇文章。安装安装部分其实比较简单，安装如下 python 库：condacreate--nameautocoderpython==3.10.11conda activa...
2024-03-19 12:28:46
996
原创 命令行版Devin 来了: Auto-Coder
前言从上周四开始，极限十小时实现了第一个可用版本，在这期间，我们成功实现了自举，也就是利用 Auto-coder 的基础功能来帮助 Auto-coder的开发，所以才有如此神速。今天这篇文章，我们来介绍下 Auto-Coder 到底可以给程序员带来什么价值。Github Copilot 够么？对于这个事情，我给大家从三个维度做分析。第一个维度是 Github Copilot 的定位，我一直是 Gi...
2024-03-18 11:46:25
977
原创 最好的Prompt管理和使用依然是 Class 和 Function - 继续让LLM和编程语言融合
问题Python 语言其实已经是对字符串模板最友好的语言之一了，但是实际写出来是这样的：实际prompt 一般都会远大于上面的例子。而且我们可以看到缩进也完全break掉了，这在Python中会导致源码很难看。如果你在方法里定义了prompt, 那么缩进就更是灾难了。上面的基本思路是在定义一个或者多个python文件，里面专门写很多上面例子的大段大段的话，然后使用的时候还需要配合使用专门封装函数（...
2024-03-08 11:17:03
904
原创 Byzer-LLM 集成 LlamaIndex 支持
背景如果你单纯的用llama_index， langchain之类的开发应用，看着Demo简单，但其实你真要上生产，是需要自己准备基础设施的，比如向量存储，全文检索，模型部署等，这部分工作其实是最麻烦的。你可能会argue说模型这块他们也都做了支持，比如他们也可以启动一个vLLM然后带上私有模型。不过这种直接在应用里内嵌一个模型更多的是在开发阶段使用（实际上也合适，你的开发机大概率带不起来），实际...
2024-02-04 12:51:03
955
原创 Byzer-LLM 0.1.39 新功能一览
前言上周其实发了两篇 Byzer-LLM 新版本功能预览文章：1.Python 和 LLM 的完美融合之路 （再谈 Function Impl）2.Byzer-Agent 框架获取Agent们的私密聊天啦今天我们正式发布了新版本的Byzer-LLM,你可以用下面的方式进行更新：pipinstall-UbyzerllmFunction Impl 增强这个特性前面的一篇文章已经详细描述了。...
2024-01-29 16:19:50
413
原创 Python 和 LLM 的完美融合之路 （再谈 Function Impl）
前言>下周0.1.39版新功能预告之前我写过一篇文章，叫 Funciton Impl, 具体链接在这里：函数实现越通用越好？来看看 Byzer-LLM 的 Function Implementation 带来的编程思想大变化通过 Funcition Impl 功能，我们以后写函数，只需要提供函数签名，无需做具体的实现，然后正常使用。这个好处是，程序员可以正儿八经做架构，做设计，具体一...
2024-01-28 17:27:03
844
转载 Byzer-Agent 框架获取Agent们的私密聊天啦
前言Byzer-Agent是一个支持分布式的 Agent 框架，让用户可以轻松的开发自己的 Agent, 而通过 Byzer-LLM,用户可以让自己的Agent 轻松对接到主流的 SaaS大模型或者 开源大模型，而无需繁杂的对接工作。相对 Byzer-Agent 有个基本了解，可以参看他的README:https://github.com/allwefantasy/byzer-agent今...
2024-01-24 14:44:31
81
原创 Byzer-LLM 快速体验智谱 GLM-4
Byzer-LLM 可以让用户用一套接口就可以部署和使用市面上主流的开源和SaaS版本大模型， 之前以Qwen 写过一篇，可以看这里：Byzer-LLM 支持同时开源和SaaS版通义千问今天我们升级了一个 0.1.37 版本，这个版本是专门针对 GLM-4 而发布的。今天我们来看看如何快速体验下 GLM-4。首先，你去官网注册一个账号，然后申请一个 API Key。这个类似于 OpenAPI 的K...
2024-01-17 20:22:38
511
原创 函数实现越通用越好？来看看 Byzer-LLM 的 Function Implementation 带来的编程思想大变化...
前言Function Calling 是 OpenAI 首先提出来的一个非常有用的功能，实现了大模型对函数的调用能力。Byzer-LLM 给开源模型也带来了 Function Calling 实现。在这个基础上，我们还拓展了 Respond With Class 功能，允许大模型输出标准的Python对象，进步控制了大模型的输出能力。这两个能力参看：给开源大模型带来Function Callin...
2024-01-07 22:50:11
907
原创 Byzer-LLM 之 QWen-VL-Chat/StableDiffusion多模态读图，生图
前言你以为 Byzer-LLM 只能部署大语言模型？Naive！今天我们来看看，如何使用 Byzer-LLM 部署多模特模型。今天闪亮登场的案例是：QWen-VL-ChatStableDiffusionByzer-LLM基本可以像完全和大语言模型一样和这些模型进行交互。QWen-VL-Chat该模型能够阅读图片，给出文字解释。首先看看如何使用Python API 部署：import rayfr...
2024-01-06 11:43:47
504
原创 基于Byzer-Agent 框架开发智能数据分析工具
下面 OpenAIDataAnalysis 工具的一个截图：基本用法就是上传一个文件，然后可以通过自然语言对文件做各种统计和可视化。今天给大家介绍基于 Byzer-Agent 开发的一款类似OpenAIData Analysis的工具。先跑题一下上一篇Byzer-LLM 支持同时开源和SaaS版通义千问我们知道， Byzer-LLM 可以让用户使用统一的部署方式，以及调用方式来操作市面...
2023-12-30 21:35:42
1091
2
原创 Byzer-LLM 支持同时开源和SaaS版通义千问
实际上很多模型 我们都已经同时支持开源和SaaS版本，不过通义千问我们目前支持的更完整些，具有如下特性：可以使用相同方式部署开源大模型和SaaS大模型支持相同的调用接口同时支持block / stream chat 模式来，一起看看 他到底都给我们带来哪些便利。设置环境Byzer-LLM 依赖于 Ray。所以安装也就比较直接：git clone https://github.com/allwefa...
2023-12-29 20:06:49
475
原创 给开源大模型带来Function Calling、 Respond With Class
前言> 推荐电脑阅读OpenAI 在他的多个版本的模型里提供了一个非常有用的功能叫 Function Calling,就是你传递一些方法的信息给到大模型，大模型根据用户的提问选择合适的方法，然后输出给你，你再来执行。为了便于理解，我们从聊天开始，你发给模型一个问题，是使用类似下面的json格式：[{"role": "user", "content": "What's the weathe...
2023-12-25 11:33:39
1361
原创 技术人员如何形成差异化竞争力让自己活下去
随着大的经济环境的影响，我看到很多人开始变得焦虑，技术人员也开始焦虑。其实我也会焦虑。从宏观角度来看，国内很多企业一直走不出国门，难以进一步做增长，导致需求减少。而互联网行业也整体进入稳定期，对新业务不再像以前那样不计成本，导致需要的人也大幅度减少，与此同时，源源不断的大学生进入社会，供需的这种变化导致技术人员越来越不值钱。从微观角度看，一般技术人员也只是手上有一门很多人都有的“手艺”，并没有形成...
2023-08-25 12:52:10
140
原创 用加持了大模型的 Byzer-Notebook 做数据分析是什么体验
Byzer-Notebook 是专门为 SQL 而研发的一款 Web Notebook。他的第一公民是 SQL，而 Jupyter 则是是以 Python 为第一公民的。随着 Byzer 引擎对大模型能力的支持日渐完善， Byzer-Notebook 也在不自觉中变得更加强大。我和小伙伴在聊天的过程中才发现他已经具备了如此强的能力。为了节省大家时间，我们这里把文后涉及到的部分，提前做个总结，帮助...
2023-08-20 12:08:31
1270
2
原创 大模型杀手级场景到底什么会到来
大模型大潮之下，熙熙攘攘，皆为利来，皆为利往。所以很多人观望之后发现到现在还没有杀手级落地场景，便有些不耐烦了，觉得可能又是一股泡沫。但究竟是不是泡沫，需要从宏观角度分析下当前大模型的现状。笔者认为这种不耐烦其实来源于两个原因：1. 天下事，在局外呐喊议论，总是无益，必须躬身入局，挺膺负责，方有成事之可冀。大部分人仅仅是局外观看而已，这样大体是难看到实际情况的。2. 基于大模型的机会，他的安身立命...
2023-07-22 12:32:17
142
原创 创新不是靠痛点，而是靠对效率的持续追求
什么都等到痛了才去做，要你何用在互联网行业做产品，亦或是创业给投资人讲故事，一个很核心的点就是要问自己或者告诉对方，我的产品击中了什么痛点？似乎一切都是靠痛点驱动的。但我认为这是浮于表面的。创新不是靠痛点，而是靠对效率的持续追求来提升的。在我们的内心世界，我们认为痛点驱动是一个理所当然的事情。只有有了痛，我们才有动力去解决它。奈何能感受到痛的是人，而人基因里就包含了一件事...
2022-05-17 11:59:28
257
原创 增长黑客 - 开源项目增长利器
2012 年我开源了自己的第一个项目 https://github.com/allwefantasy/ServiceFramework ,这个项目并不成功，但对我个人的价值还是比较大的，一直作为我工具箱用到现在。从 16 年开始，我全身心的投入到 [Byzer](https://github.com/byzer-org) 项目， 至今已有 6 年。衡量社区增长的指标其实有...
2022-05-06 22:42:29
327
原创 创新者的孤独
我在刚入行的时候，经常看 JavaEye(现在的 Iteye)论坛，那个时候有个猛人开发了一个web框架 Douyu 在论坛里一炮走红。他通过改写 Java 编译器来实现很多原先实现不了的动态能力并且抛弃了 Java 那套 servlet 标准,这个其实就很有魄力，因为大家都知道要遵循标准，而真正的技术进步都来源于往往都是突破现有的标准从而诞生新的标准。后面因为这个项目，...
2022-05-04 12:02:03
240
原创 2021年教你尝鲜 MLSQL 的N种方式
注册就可以体验如果你是个急性子，那么你可以通过在 mlsql.tech 上注册一个账户就可以体验了。这篇文章里有一个快速体验的章节，教大家怎么注册。我只想自己笔记本上玩那么桌面版非常适合你。参考这里的README下载一个vscode 然后在离线安装 mlsql-lang 插件就可以了。PS: vscode 商店对插件大小有限制，从商店安装的话还是需要自己手动安装一些依赖，所以反倒离线install一个vsix更方便。我想和小伙伴一起玩玩桌面版一般自己玩。如果想在云上或者测试环境搭建一个单机引擎，
2021-11-04 16:17:10
1069
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人