王清培-CSDN博客

原创 llama2+localGPT打造纯私有知识助手

通过部署llama2系列，可以构建本地私有的知识小助手用来输出一写周报、月报，甚至辅助数据分析都可以（想想都很轻松）想要大模型支持特定的数据集，就需要进行专业的fine-turing但是fine-turing工作，是需要一系列的数据工程，向量化等工作，不太便捷把这些工作就包装好了，我们可以直接部署使用，甚至也可以跟本地的UI工具做一个集成。

2024-03-31 15:48:08 809

原创 stable diffusion打造自己专属的LORA模型

通过Lora小模型可以控制很多特定场景的内容生成。但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。甚至可以训练一个专属家庭版的模型（family model），非常有意思。将自己的训练好的Lora模型放到stableDiffusion lora 目录中，同时配上美丽的封面图。

2023-04-09 22:43:02 12916 3

通过使用mnist（AI界的helloworld）手写数字模型训练集，了解下AI工作的基本流程。本例子，要基于mnist数据集（该数据集包含了【0-9】的模型训练数据集和测试数据集）来完成一个手写数字识别的小demo。mnist数据集，图片大小是28*28的黑白。包含了6w 训练数据和1w验证数据。麻雀虽小五脏俱全。通过这个CV类型的demo需求，我们会学到神经网络模型。从数据加载，到数据预处理，再到训练模型，保存模型。然后再通过模型来预测我们输入的图片数字。

2023-03-09 21:58:47 1116

原创一文带你了解webrtc基本原理（动手实现1v1视频通话）

webrtc (Web Real-Time Communications) 是一个实时通讯技术，也是实时音视频技术的标准和框架。大白话讲，webrtc是一个集大成的实时音视频技术集，包含了各种客户端api、音视频编/解码lib、流媒体传输协议、回声消除、安全传输等。对于开发者来说可以借助webrtc非常方便的实现低延时视频通话能力。现在主流的直播系统、会议系统基本都是基于webrtc来实现。...

2022-08-06 20:28:16 3448

原创 k8s CustomResourceDefinition invalid 错误

安装 CRD 出现这个错误，多数是版本问题，缺少openAPIV3Schema段定义。The CustomResourceDefinition "crontabs.stable.example.com" is invalid:* spec.versions[0].schema.openAPIV3Schema: Required value: schemas are required* spec.versions[1].schema.openAPIV3Schema: Required value: sc

2022-05-15 09:37:04 1716

原创 kubeadm init cannot find network namespace 错误

使用 kubeadm 安装好 weave 网络插件之后，查看 kubelet 输出信息发现如下错误：4月 25 13:51:48 k8s-master kubelet[1232730]: I0425 13:51:48.124142 1232730 cni.go:334] "CNI failed to retrieve network namespace path" err="cannot find network namespace for the terminated container \"9f9ab

2022-05-04 11:57:41 1165

原创大型直播平台应用架构浅谈

大型直播平台应用架构浅谈进入直播领域有段时间了。跟大多数同学一样，刚接触直播这个领域都非常好奇这个领域的宏观架构大概是什么样子的。这里根据自己的这段时间学习，粗浅总结下分享给感兴趣的小伙伴扫扫盲。目前直播平台有很多，抖/快、B站、斗/虎等。直播这种高效的交互方式是各行业需要具备的能力，随着网络技术的发展也是必然趋势。先抛开每家直播的内容不同之外，一个完整的直播平台至少需要包含如下几个核心功能。观看直播、发送弹幕、打赏送礼、主播互动。我们以一个普通的C端用户的视角，来看下这几个核心功能背后的大

2022-02-13 14:38:24 4501 1

原创 minikube metrics-server HPA 自动扩缩容错误

minikube metrics-server pod 错误启动 minikube addons enable metrics-server 之后查看 metrics-server pod 会有如下错误Failed to pull image "k8s.gcr.io/metrics-server-amd64:v0.5.2": rpc error: code = Unknown desc = Error response from daemon: Get https://k8s.gcr.io/v2/: n

2021-12-11 18:38:51 1468

原创 minikube addons enable ingress 启动错误

开启 minkube ingress 时错误minikube addons enable ingress --alsologtostderrVerifying ingress addon...???? Verifying ingress addon...I1002 16:59:15.398329 827754 kapi.go:75] Waiting for pod with label "app.kubernetes.io/name=ingress-nginx" in ns "kube-syst

2021-10-04 10:16:37 2202

原创 minikube与kubectl版本不一致问题

minikube与kubectl版本不一致问题在使用minikube学习的时候，会出现你在mac上安装的minikube默认是最新版本，但是实际情况是需要安装低一些版本。可以按照k8s官方文档安装的时候指定不同安装版本，如果很慢或者无法访问直接走github安装也行。curl -LO https://github.com/kubernetes/minikube/releases/download/v1.16.0/minikube-linux-amd64sudo install minikube-lin

2021-05-29 10:30:31 605

原创受邀全球互联网技术大会分享

这里写自定义目录标题受邀全球互联网技术大会分享受邀全球互联网技术大会分享分享嘉宾：王清培分享PPT：https://pan.baidu.com/s/1Aerqtbi8VpMiFGhfEMUtPQ大会日程：http://bj.thegitc.com/#meeting-agenda...

2021-05-02 10:14:24 138

原创万级TPS亿级流水-中台账户系统架构设计

背景业务模型应用层设计数据层设计日切对账背景我们需要给所有前台业务提供统一的账户系统，用来支撑所有前台产品线的用户资产管理，统一提供支持大并发万级TPS、亿级流水、数据强一致、风控安全、日切对账、财务核算、审计等能力，在万级TPS下保证绝对的数据准确性和数据溯源能力。注：资金类系统只有合格和不合格，哪怕数据出现只有0.01分的差错也是不合格的，局部数据不准也就意味着全局数据都不可信。本文只分享系统的核心模型部分的设计，其他常规类的（如压测验收、系统保护策略-限流、降级、熔断等）设计就.

2020-06-20 17:39:36 1831 1

原创 Golang 简单的读负载均衡

read-loadbalancemaster-slave(n) 读库集群负载均衡器(简单轮询)+时间间隔错峰。github 地址：https://github.com/Plen-wang/read-loadbalance使用场景1.一般我们会有多个从库，需要在从库的读取上做负载均衡。2.在数仓拉取数据的时候经常对产线DB造成影响，所以会独立一个从库专门用来拉取，但是这个从库的利用率非常...

2020-02-23 16:08:00 446 1

原创 Mysql一分钟定位 Next-Key Lock，你需要几分钟

2020-01-27 15:47:03 485 1

原创 golang 服务大量 CLOSE_WAIT 故障排查

事故经过排查总结事故经过【2019-12-27 18:00 周五】业务方突然找来说调用我们程序大量提示“触发限流”，但是我们没有收到任何监控报警。紧急查看了下 ServiceMesh sidecar 代理监控发现流量持续在减少，但是监控中没有任何触发限流的 http code 429 占比，如果有触发限流我们会收到报警。后来通过排查是程序中有一个历史限流逻辑触发了，但是程序中触发限...

2020-01-26 13:40:19 769 1

原创 Mysql大并发热点行更新的两个骚操作

要想db操作的性能足够高，巧妙的设计很重要，事务的操作范围要尽量的小。一般情况下我们都是使用某个orm框架来操作db，这一类框架多数的实现方式都是夸网络多次交互来开启事务上下文和执行sql操作，是个黑盒子，包括对 autocommit 设置的时机也会有一些差异，稍微不注意就会踩坑。在大并发的情况下加上夸网络多次交互，就不可避免的由于网络延迟、丢包等原因导致事务的执行时间过长，出现雪崩概率会大大增...

2019-11-30 16:06:05 567 1

原创 golang 服务诡异499、504网络故障排查

事故经过排查总结事故经过11-01 12:00 中午午饭期间，手机突然收到业务网关非200异常报警，平时也会有一些少量499或者网络抖动问题触发报警，但是很快就会恢复（目前配置的报警阈值是5%，阈值跟当时的采样窗口qps有直接关系）。报警当时非200占比已经过10%并且在持续升高，根据历史规律应该很快就会恢复，我们稍微观察了几分钟（一边吃着很香的饺子一边看着手机），但是过了几分钟故障...

2019-11-16 19:52:23 969 1

原创 golang 服务平滑重启小结

golang 服务平滑重启小结标签： graceful endless supervisor defunct背景golang 程序平滑重启框架supervisor 出现 defunct 原因使用 master/worker 模式背景在业务快速增长中，前期只是验证模式是否可行，初期忽略程序发布重启带来的暂短停机影响。当模式实验成熟之后会逐渐放量，此时我们的发布停机带来的影响就会大...

2019-10-19 18:45:01 606 2

原创 Elasticsearch 评分排序

背景通过脚本改变评分背景近期有一个需求，需要对优惠券可用商品列表加个排序，只针对面值类的券不包括折扣券。需求是这样的，假设有一张面值券 50 块钱，可用商品列表 A 100、B 40、C 10，当用户查询当前券可用商品列表的时候优先将卡券可以直接抵扣且不需要用户在额外支付的商品排在前面。C 10B 40A 100其实排序有很多侧重，比如：1.根据用户利益最大化原则，排序...

2019-02-23 19:46:15 861 1

原创 zookeeper 实现分布式锁安全用法

zookeeper 实现分布式锁安全用法标签： zookeeper sessionExpire connectionLoss 分布式锁背景ConnectionLoss 链接丢失SessionExpired 会话过期绕开 zookeeper broker 进行状态通知leader 选举与zkNode 断开做好幂等静态扩容、动态扩容背景分布式锁现在用的越来越多，通常用来协调多...

2019-01-26 12:59:48 284 1

原创诡异的druid链接池链接断开故障经验总结

诡异的druid链接池链接断开故障经验总结标签： druid mysql mysqlReplication haproxy shardingJDBC背景症状排查修复背景最近在陆续做机房升级相关工作，配合DBA对产线数据库链接方式做个调整，将原来直接链接读库的地址切换到统一的读负载均衡的代理 haproxy 上，方便机柜和服务器的搬迁。切换之后线上时不时的会发生 discard...

2019-01-19 14:24:39 3964 2

原创 RabbitMQ 可靠投递

RabbitMQ 可靠投递标签： RabbitMQ shovel-plugin ConfirmCallback RabbitMQ消息投递背景confirmCallback 确认模式returnCallback 未投递到 queue 退回模式shovel-plugin 跨机房可靠投递背景在使用 RabbitMQ 的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败...

2018-07-28 12:00:13 430 1

原创数据分表小结

数据分表小结标签： sharding 数据表拆分背景分库、分表带来的后遗症分表策略一些注意事项背景最近一段时间内结束了数据库表拆分项目，这里做个简单的小结。本次拆分主要包括订单和优惠券两大块，这两块都是覆盖全集团所有分子公司所有业务线。随着公司的业务飞速发展，不管是存储的要求，还是写入、读取的性都基本上到了警戒水位。订单是交易的核心，优惠券是营销的核心，这...

2018-07-21 17:11:42 244

原创微服务架构—自动化测试全链路设计

微服务架构—自动化测试全链路设计标签：microServices autoTest mock unitTest testTrace背景被忽视的软件工程环节 - DEVTESTOPS微服务架构下测试复杂度和效率问题开发阶段 unitTest mock 外部依赖连调阶段 mock 外部依赖自动化测试阶段 mock 需求autoTest Mock Gateway 浮出水面轻量级版...

2018-07-08 14:48:42 1928 1

原创上海线下技术交流

标签：上海线下技术交流会作者：王清培(Plen wang) 沪江Java资深架构师、营销云平台负责人备注：上海地区技术线下交流，本次聚会AA制，要的就是热爱技术，交流技术，不是凑热闹。特此留念。...

2018-04-17 10:17:39 405

原创花旗银行金融研发部培训留念

标签：花旗金融培训作者：王清培(Plen wang) 沪江Java资深架构师、营销云平台负责人受邀给花旗金融（上海）培训，一直没时间整理，特此留念。

2018-04-17 10:12:09 957

原创 Redis 数据结构与内存管理策略（下）

Redis 数据结构与内存管理策略（下）标签： Redis Redis数据结构 Redis内存管理策略 Redis数据类型 Redis类型映射Redis 数据类型特点与使用场景 String、List、Hash、Set、Zset案例：沪江团购系统大促 hot-top 接口 cache 设计Redis 内存数据结构与编码 OBJECT encoding key、DEBUG OBJECT ke

2018-01-27 09:49:18 358

原创 Redis 数据结构与内存管理策略（上）

Redis 数据结构与内存管理策略（上）标签： Redis Redis数据结构 Redis内存管理策略 Redis数据类型 Redis类型映射Redis 数据类型特点与使用场景 String、List、Hash、Set、Zset案例：沪江团购系统大促 hot-top 接口 cache 设计Redis 内存数据结构与编码 OBJECT encoding key、DEBUG OBJECT ke

2018-01-21 11:17:54 532

原创后端服务性能压测实践

后端服务性能压测实践标签（空格分隔）：性能压测后端服务压测实践作者：王清培(Plen wang) 背景环境检测压力机及压力工具检测Linux openfiles limit 设置排查周边依赖空接口压测检测聚合报告中 throughput 计算压测及性能排查方法关注各纬度 logLinux 常规命令性能排查两种方式（从上往下、从下往上）总结背景最近大半年内有过两次

2017-12-02 09:53:56 914

原创 spring rest 容易被忽视的后端服务 chunked 性能问题

容易被忽视的后端服务 chunked 性能问题标签（空格分隔）： springboot springmvc chunked背景spring boot 创建的默认 spring mvc 项目集成 JAX-RS 规范框架 Jersey背景在之前的一次性能压测的时候我们发现一个细节问题，我们使用 spring boot 创建的 web rest 项目，使用默认 spring mvc 作为 web

2017-11-26 12:37:57 1902

原创聊下 git 多账户问题

聊下 git 多账户问题标签（空格分隔）：git github gitlab git多账户背景git 多账号配置ssh 多密钥对配置背景在使用 git 的时候我们都会面临多账户问题，比较常见的就是公司内部的 gitlab，开源平台 github ，我们都需要在一台电脑上同时使用，这需要解决两个问题。git 多账号配置git config –global user.name 设置全局用户名

2017-11-18 14:09:44 258

原创性能压测诡异的Requests/second 响应刺尖问题

最近一段时间都在忙着转java项目最后的冲刺，前期的coding翻代码、debug、fixbug都逐渐收尾，进入上线前的性能压测。虽然不是大促前的性能压测要求，但是为了安全起见，需要摸个底心里有个数。毕竟这次转java的服务都是集团核心公共服务(主要是订单域服务)。（等我们顺利上线了，我再来好好总结下其中的坎坷和壮举。）废话不多说了，直接进入主题。由于这次压测主要重点是关注正向的两

2017-09-23 14:50:05 543

原创 redis 使用总结

最近一段时间与redis接触比较频繁。发现有些东西还是工作中经常会用到的，自己也花了点时间巩固下。本篇文章主要是以总结性的方式梳理，因为redis的主题很大，任何一个技术点展开都是几篇文章的量。也可以说这篇文章是个概览。 1.redis基本数据结构与短结构压缩了解redis的数据结构有助于了解每种数据结构的优劣势，方便设计合理的cache结构。 1.1.redis提供5种数据结构 1.S

2017-07-29 15:48:43 344

原创 Java 并发编程内部分享PPT分享

.NET程序员转向JAVA领域，必备技术首当其冲就是JAVA Concurrency 并发编程。最近系统性的学习了 Doug Lea 《JAVA并发编程实战》一书。这书很有嚼劲，进入JAVA技术体系必看书籍之一。看完之后，在公司内部做了一个简单的分享，主要是普及下.NET程序员转向Java技术后对于并发的基本认识。PPT中有大量的实例代码，可以自己debug。

2017-07-15 12:01:58 3981

原创 alibaba druid 在springboot start autoconfig下的bug

alibaba druid 在springboot start autoconfig下的bug标签（空格分隔）：druid springboot start autoconfig背景发现、分析过程总结背景最近在使用alibaba druid进行多数据源连接的时候无意中发现一个小bug，已经提交github issue 官方已经fix。issue 地址：https://github.com/a

2017-07-08 13:02:25 2757

原创 redis-lock

redis-lockredis setnx cmmandjava object condition queue 条件队列retrycount 带有重试次数限制object wait time 带有超时时间的waitdelete lock 删除远程锁acquire lock 申请lock release lock 释放lockdemo 演示锁的粒度问题，锁分解、锁分段github

2017-06-18 14:27:15 936

原创记5.28大促压测的性能优化(线程池相关问题)

目录： 1.环境介绍 2.症状 3.诊断 4.结论 5.解决 6.对比java实现废话就不多说了，本文分享下博主在5.28大促压测期间解决的一个性能问题，觉得这个还是比较有意思的，值得总结拿出来分享下。博主所服务的部门是作为公共业务平台，公共业务平台支持上层所有业务系统（2C、UGC、直播等）。平台中核心之一的就是订单域相关服务，下单服务、查单服务、支付回调服务，当然结算页暂时

2017-06-04 15:49:13 822 1

原创浅谈微服务的来龙去脉

浅谈微服务的来龙去脉背景介绍微服务怎么来的微服务是进化出来的微服务不是银弹作者：王清培(Plen wang) 沪江公共业务平台应用架构师转载至沪江技术学院微信公众号背景介绍最近一段时间公共业务平台在进行大面积的重构，对原来的技术栈进行迁移，逐渐往java、go、node.js等开源、自由为主的技术体系中过度。虽然这主要是替换技术框架，但也是我们应用系统

2017-06-03 08:41:13 893 1

原创 RabbitMQ 高可用集群搭建及电商平台使用经验总结

面向EDA（事件驱动架构）的方式来设计你的消息 AMQP routing key的设计 RabbitMQ cluster搭建 Mirror queue policy设置两个不错的RabbitMQ plugin 大型应用插件(Sharding、Rederation) Queue镜像失败手动同步各集群配置同步方式（RabbitMQ export\im

2016-12-10 19:53:39 6808 1

原创 WebAPi的可视化输出模式(RabbitMQ、消息补偿相关）所有webapi似乎都缺失的一个功能

最近的工作我在做一个有关于消息发送和接受封装工作。大概流程是这样的，消息中间件是采用rabbitmq，为了保证消息的绝对无丢失，我们需要在发送和接受前对消息进行DB落地。在发送前我会先进行DB的插入，单表插入，所以在性能上也是能接受的，单表插入做了压测基本上是一到两毫秒的时间，加上消息的发送（有ACK）再加上集群是两个节点的高可用（一个磁盘持久化节点），单台TPS基本上是在2000-3000左右。

2016-11-27 20:18:48 1584 1

java并发编程内部分享PPT

上下文原型框架

PrintThemp(模板打印)

卡拉OK点歌系统(C#+Access+Com)

空空如也