- 博客(932)
- 资源 (8)
- 问答 (4)
- 收藏
- 关注
RSS订阅
原创 副业，程序猿的第二职业，聊聊我是怎么做的
首先自我介绍一下，我是一名90后，从事的是java开发的工作，和大多程序猿一样，加班熬过夜，赶过项目工期，撕过产品。副业的初衷我知道踏下心来钻研本专业会有收获,但又实在没有太多兴趣。只好努努力,跟着兴致走,多一个选择,多一份抵抗风险的能力。不管从事什么行业，除了做好自己本职工作以外，还会有一些空闲的时间来做一些其他事情，与其说是副业,不如说是一个成年人在生活挤压下的心理疏导。就算不那么成功...
2020-05-05 10:35:33
24907
36
原创 高效率编写Dockerfile需要绕过的一些坑
前言在日常的开发和运维中，我们时长会使用Dockerfile脚本制作镜像。其实编写一个Dockerfile文件用到的标签并不会太多，但是不同的Dockerfile在制作后产生的镜像大小是不尽相同的，这篇文章就来梳理一下，编写脚本过程中，容易犯的错误和躺的坑。一、拉取最新的镜像在从镜像仓库拉取镜像时，不指定任何版本的情况下，默认会拉取最新（latest）的版本。这在我们构建集群和复用时会造成...
2020-03-03 18:11:49
2982
1
原创 【实战】 elasticsearch 写入速度提升的案例分享
文章首发投稿至InfoQ,【侠梦的开发笔记】公众号，欢迎关注https://www.infoq.cn/article/t7b52mbzxqkwrrdpVqD2基本配置基本配置，5台配置为 24C 125G 17T 的主机，每台主机上搭建了一个elasticsearch节点。采用的elasticsearch集群版本为7.1.1。管理工具包括kibana和cerebro。...
2019-10-11 16:10:28
3166
转载 1亿条数据批量插入 MySQL，哪种方式最快？
来源:blog.csdn.net/q6834850/article/details/73726707利用JAVA向Mysql插入一亿数量级数据—效率测评这几天研究mysql优化中查询效率时，发现测试的数据太少（10万级别），利用 EXPLAIN 比较不同的 SQL 语句，不能够得到比较有效的测评数据，大多模棱两可，不敢通过这些数据下定论。所以通过随机生成人的姓名、年龄、性别、电话、email、地址...
2024-03-25 22:01:01
86
转载 京东开源框架！ JD-hotkey
JD-hotkey 是京东 APP 后台热数据探测框架，历经多次高压压测和 2020 年京东 618 大促考验。在上线运行的这段时间内，每天探测的key数量数十亿计，精准捕获了大量爬虫、刷子用户，另准确探测大量热门商品并毫秒级推送到各个服务端内存，大幅降低了热数据对数据层的查询压力，提升了应用性能。该框架历经多次压测，性能指标主要有两个：1 探测性能：8核单机worker端每秒可接收处理16万个...
2024-03-24 21:54:58
56
转载 SpringBoot接口防抖(防重复提交)，轻松搞定
作为一名老码农，在开发后端Java业务系统，包括各种管理后台和小程序等。在这些项目中，我设计过单/多租户体系系统，对接过许多开放平台，也搞过消息中心这类较为复杂的应用，但幸运的是，我至今还没有遇到过线上系统由于代码崩溃导致资损的情况。这其中的原因有三点：一是业务系统本身并不复杂；二是我一直遵循某大厂代码规约，在开发过程中尽可能按规约编写代码；三是经过多年的开发经验积累，我成为了一名熟练工，掌握了一...
2024-03-17 22:00:18
61
转载 支撑每秒600 万订单无压力，SpringBoot + Disruptor 太猛了！
工作中遇到项目使用Disruptor做消息队列，对你没看错，不是Kafka也不是rabbitmq。Disruptor有个最大的优点就是快，还有一点它是开源的哦，下面做个简单的记录。Disruptor介绍Disruptor 是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于 Disruptor 开发的系统单线程...
2024-03-16 22:28:13
35
转载 MyBatis使用不当导致程序内存溢出（OOM）
继上次线上 CPU 出现了报警，这次服务又开始整活了，风平浪静了没几天，看生产日志服务的运行的时候，频繁的出现 OutOfMemoryError，就是我们俗称的 OOM，这可还行！频繁的 OOM 直接会造成服务处于一个不可用的情况，最严重的一天，它重启了 5 次。我通过 Skywalking 查看链路调用，基本全报红了，基本处于一个瘫痪状态，因为生产该服务是分布式部署，k8s 故障恢复当即对该服务...
2024-03-15 23:00:08
154
转载 【建议收藏】通过租户id实现的SaaS方案
概况项目开发到一半，用户突然提出需要多个分公司共同使用，这种需要将系统设计成SaaS架构，将各个分公司的数据进行隔离。SaaS实现的方案独立数据库每个企业 独立的物理数据库，隔离性好，成本高。共享数据库、独立schema就是一台物理机，多个逻辑数据库，oracle叫做schema，mysql叫做database，每个企业独立的schema。共享数据库、数据库表(本次采用)：在表中添加“企业”或者“...
2024-03-14 21:30:08
47
转载 这是我见过最全的权限系统设计方案！
1为什么需要权限管理日常工作中权限的问题时时刻刻伴随着我们，程序员新入职一家公司需要找人开通各种权限，比如网络连接的权限、编码下载提交的权限、监控平台登录的权限、运营平台查数据的权限等等。在很多时候我们会觉得这么多繁杂的申请给工作带来不便，并且如果突然想要查一些数据，发现没有申请过权限，需要再走审批流程，时间拉得会很长。那为什么还需要这么严格的权限管理呢？举个例子，一家支付公司有运营后台，运营后台...
2024-03-06 20:00:08
130
转载 SpringBoot 使用 RedisTemplate Cluster集群的正确姿势（万字图文）
前言Redis就不多做介绍了，直接进入正题，通过本篇将学习到（代码地址：https://gitee.com/chaitou/leilema.git）：Redis常见功能Redis高可用分布式Springboot集成RedisTemplate的正确姿势集成Spring Cache常见误区(瑞士军刀开瓶盖)初学者往往认为Redis就是缓存，这其实是个误区，仅仅拿Redis当缓存好比拿瑞士军刀开瓶盖，但...
2024-03-05 21:57:39
111
转载 redis集群之主从复制+哨兵模式+cluster群集详解
redis集群类型redis集群模式主要有以下几种方式：主从复制（redis2.8版本之前的模式）Redis Sentinel 哨兵模式（redis2.8及之后的模式）Redis Cluster集群模式（客户端sharding）（redis3.0版本之后）Jedis sharding集群（客户端sharding）利用中间件代理在这里主要讲述主从复制、哨兵模式、Redis Cluster集群这三种方...
2024-03-04 21:17:15
39
转载 性能优化的十种手段，建议收藏
最近看到一个关于性能优化的不错的文章。作者写了上中下三篇，由浅入深的写了关于性能优化的方方面面，并不仅仅局限于代码层面。我看了之后还是很有收获的，同时也惊叹于作者扎实的技术能力与思考能力。于是借花献佛，把作者的三篇整理合并之后分享给大家。希望你也能有所收获。上篇引言：取与舍 软件设计开发某种意义上是“取”与“舍”的艺术。关于性能方面，就像建筑设计成抗震9度需要额外的成本一样，高性能软件系统也意味着...
2023-11-22 21:00:09
208
转载 为什么Redis这么快？5分钟成为Redis高手
Redis简介Redis 是 C 语言开发的一个开源高性能键值对的内存数据库，可以用来做数据库、缓存、消息中间件等场景，是一种 NoSQL（not-only sql，非关系型数据库）的数据库。Redis特点优秀的性能，数据是存储在内存中，读写速度非常快，可支持并发10W QPS。单线程单进程，是线程安全的，采用 IO 多路复用可作为分布式锁支持十种数据类型支持数据持久化可以作为消息中间件使用，支持...
2023-11-21 22:09:57
174
转载 大型 SaaS 平台产品架构设计
当我们去搜索“架构”，可以得到很多的架构图片，比如组织架构、业务架构、数据架构、技术架构、安全架构、产品架构、部署架构等。什么是架构，通常大家说架构一般指软件架构，架构是指软件的基础结构，创造这些基础结构的准则，以及对这些结构的描述。在这个定义基础上，我们可以简单理解为架构往往是对事物主体的结构性描述。产品架构是对产品的一种结构性描述。一般可以包括前端系统、业务管理、运营管理、基础支撑等子产品或子...
2023-11-20 20:00:39
175
转载 10 大架构特征/非功能需求
想象一下，你正在买一辆汽车。您需要哪些基本功能？车辆应该将人从 A 点运送到 B 点。但我们还考虑它的安全性、舒适性、可维护性、易维修等。您也可以寻找电动版本或更快的百里加速。为什么？为了避免在交付主功能时可能发生的意外，比如安全地将一个人从 A 点带到 B 点。同样，就像汽车、摩托车或房屋一样，软件也有其非功能性需求（Non-Functional Requirements，NFR），称为“架构...
2023-11-19 21:24:09
116
转载 美团、工行、农行、平安等技术大佬聚首，拆解运维转型与数据库改造丨XCOPS广州站...
当下，智能化运维模式成为了企业推进数字化转型的“强引擎”。为了更聚焦于企业级智能运维能力的加速构建与进阶，结合生成式AI技术的引入和应用，助力企业智能运维能力成熟度向更高阶迈进，“Gdevops全球敏捷运维峰会”全面升级并正式更名为“XCOPS智能运维管理人年会”，旨在为赋能全行业数智化转型打造高层次、高质量的交流平台，携手政府、高校、企业打造智能运维领域标杆盛会，基于在业界、媒体界积累的巨大影响...
2023-11-15 18:00:53
30
转载 美团、工行、农行、平安等技术大佬聚首，拆解运维转型与数据库改造丨XCOPS广州站...
当下，智能化运维模式成为了企业推进数字化转型的“强引擎”。为了更聚焦于企业级智能运维能力的加速构建与进阶，结合生成式AI技术的引入和应用，助力企业智能运维能力成熟度向更高阶迈进，“Gdevops全球敏捷运维峰会”全面升级并正式更名为“XCOPS智能运维管理人年会”，旨在为赋能全行业数智化转型打造高层次、高质量的交流平台，携手政府、高校、企业打造智能运维领域标杆盛会，基于在业界、媒体界积累的巨大影响...
2023-11-15 18:00:53
53
转载 京东一面：MySQL 中的 distinct 和 group by 哪个效率更高？太刁钻了吧！
先说大致的结论（完整结论在文末）：在语义相同，有索引的情况下：group by和distinct都能使用索引，效率相同。在语义相同，无索引的情况下：distinct效率高于group by。原因是distinct 和 group by都会进行分组操作，但group by可能会进行排序，触发filesort，导致sql执行效率低下。基于这个结论，你可能会问：为什么在语义相同，有索引的情况下，grou...
2023-11-14 21:47:51
77
转载 7张图大总结：SQL脚本大全！
鉴于社区读者后台留言参考，今天分享我们将回归基础，为大家带来数据开发最基础的内容——SQL查询语句大全，干货满满，希望大家有所收获！基础查询基础查询02 字符串\数字\日期时间字符串\数字\日期时间03 聚合数据查询聚合数据查询04 子查询子查询05 联接\组合查询联接\组合查询06 高级查询高级查询07 更新数据更新数据来源：infoQ 责编：大数据梦想家 转载请保留此申明参考资料：《SQL...
2023-11-03 20:46:27
67
转载 面试题：如何保证缓存与数据库的双写一致性？
前语：不要为了读文章而读文章，一定要带着问题来读文章，勤思考。在此，建议大家为本公众号加“星标”。如文章写得好，望大家阅读后在右下边“在看”处点个赞，以示鼓励！作者：你是我的海啸 来源：http://t.cn/EoydKCF# 面试官心理分析你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？# 面试题剖析一般来说，如果允许...
2023-11-02 22:00:09
65
转载 微服务设计、拆分原则
一 前言微服务是一种架构风格。一个大型的复杂软件应用，由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好的完成该任务。那么关于微服务的设计原则有哪些呢？如下:AKF 拆分原则前后端分离原则无状态服务RestFul 的通信风格二 AKF 拆分原则有句挺流行的话:没有什么事是一顿烧烤解决不了的，如果有，那就两顿....。这跟我们之前设...
2023-11-01 21:49:08
79
转载 SQL数据分析10大常用功能（附面试原题解答）
SQL，数据分析岗的必备技能，你可以不懂Python，R，不懂可视化，不懂机器学习。但SQL，你必须懂。要不然领导让你跑个数据来汇......，哦不，你不懂SQL都无法入职数据分析岗，更别说领导了。SQL难吗？说实话，要写好，很难很难。但要通过SQL笔试这关，并不难。相信大伙都使用过Excel，用SQL实现excel 常用操作去学，感觉会比较具体。我自身也刚入数据岗不久，本文也是为自己巩固一下SQ...
2023-10-23 22:00:46
85
转载 都在叨叨云原生，一文全方位了解什么是云原生？
根据大多数定义，云原生是一种软件设计、实施和部署方法，旨在充分利用基于云的服务和交付模型。云原生[1]应用程序通常也使用分布式架构运行。这意味着应用程序功能被分解为多个服务，然后分布在托管环境中，而不是整合到单个服务器上。有点令人困惑的是，云原生应用程序不一定在云中运行。可以根据云原生原则构建应用程序，并使用Kubernetes[2]等平台将其部署在本地，该平台模仿云环境的分布式、基于服务的交付模...
2023-10-22 21:05:47
50
转载 Redis实现分页+多条件模糊查询组合方案
导言Redis是一个高效的内存数据库，它支持包括String、List、Set、SortedSet和Hash等数据类型的存储，在Redis中通常根据数据的key查询其value值，Redis没有模糊条件查询，在面对一些需要分页、排序以及条件查询的场景时(如评论，时间线，检索等)，只凭借Redis所提供的功能就不太好不处理了。本文不对Redis的特性做过多赘述。由于之前基于业务问题需要实现基于Red...
2023-10-19 22:01:39
186
转载 又一个 SQL 神器，开源了！
结构化数据的计算处理一直以 SQL 为主。不过随着技术的不断发展，现在经常为了满足扩展性的需要而使用 Java 来处理数据。这样可以显著降低数据库与应用的耦合性（数据库仅用于存储），整体架构更加灵活，应用扩展和维护都比较方便。而在大数据时代，计算性能又是避不开的话题，一项技术如果跑得太慢会把其他所有好处都抵消掉。一个后端工程师老生常谈的问题是：Java 和 SQL 做数据运算哪个更快？SQL 数据...
2023-10-18 21:45:11
108
转载 一文读懂 MySQL 中的各种锁
1 MySQL 锁简介1.1 什么是锁锁是计算机用以协调多个进程间并发访问同一共享资源的一种机制。MySQL中为了保证数据访问的一致性与有效性等功能，实现了锁机制，MySQL中的锁是在服务器层或者存储引擎层实现的。1.2 锁用来解决什么问题锁是用来解决并发事务的访问问题，我们已经知道事务并发执行时可能带来的各种问题，最大的一个难点是：一方面要最大程度地利用数据库的并发访问，另外一方面还要确保每个用...
2023-10-17 22:00:27
49
转载 日志搞不定？手把手教你如何使用Log4j2
今天我们讲解一个最年轻的日志插件，即Log4j2。Log4j2目前应用非常广泛，各方面较之前辈Log4j 都有不小的提升，不过要想利用好他，还得经过一定的学习，尤其是搞清楚它的种种配置，下面就让我们开始今天的进阶之旅。一、引入依赖我们可以使用以下依赖为我们项目引入Log4j2框架<!--Log4j2自带的日志门面--><dependency><groupI...
2023-10-16 20:42:55
427
转载 支付宝系统架构参考（架构图）
转自微信公众号支付圈支付宝是中国支付行业的一个标兵，无论是业务能力还是产品创都引领者中国支付行业的前沿，作为支付业务的基础系统的复杂性和稳定性是支付业务是否能够及时快速安全处理的根本，在此收集了支付宝的系统架构图包含：清算 客服 处理 资金 财务 等等 供其他支付公司进行参考！本文为网络收集信息，虽然不属于支付宝的最新系统架构信息，但是作为支付行业的龙头，架构系统依然值得学习！支付宝的开源分布...
2023-09-15 20:00:23
599
转载 要想做好架构可视化，你必须弄懂这十个关系
嘉宾 | 钟敬 编辑 | 李忠良 在企业数字化转型过程中，做好企业级架构的治理至关重要。而架构的可视化是其中关键的一环。围绕可视化的架构，干系人能够更好地理解和沟通企业中不同组织、系统和技术组件的结构和关系。以便不断对企业的系统架构进行优化。在 ArcSummit 全球架构师峰会（上海站）2023 上，InfoQ 邀请了 Thoughtworks 首席咨询师钟敬，他以《企业级架构可视化实践》...
2023-09-14 21:25:23
136
转载 腾讯开源了一款 Markdown 编辑器，易扩展、功能全，很好用！
介绍Cherry Markdown Editor 是一款 Javascript Markdown 编辑器，具有开箱即用、轻量简洁、易于扩展等特点. 它可以运行在浏览器或服务端(NodeJs).开箱即用开发者可以使用非常简单的方式调用并实例化 Cherry Markdown 编辑器，实例化的编辑器默认支持大部分常用的 markdown 语法（如标题、目录、流程图、公式等）。易于拓展当 Cherry ...
2023-09-13 22:00:24
481
转载 如何画好『数据流图』和『业务流程图』
前言数据流图（Data Flow Diagram, DFD）是一种便于用户理解和分析系统数据流程的图形工具，他摆脱了系统和具体内容，精确的在逻辑上描述系统的功能、输入、输出和数据存储等，是系统逻辑模型的重要组成部分一、数据流图组成部分数据流：是由一组固定成分的数据组成，表示数据的流向，除了流向数据存储或从数据存储流出的数据不必命名外，每个数据流必须要有一个合适的名字，以反映该数据流的含义加工：加工...
2023-09-12 21:33:28
166
转载 Netty+SpringBoot 打造一个 TCP 长连接通讯方案
作者：ReWinD00来源：blog.csdn.net/u013615903/article/details/129044283项目背景最近公司某物联网项目需要使用socket长连接进行消息通讯，捣鼓了一版代码上线，结果BUG不断，本猿寝食难安，于是求助度娘，数日未眠项目终于平稳运行了，本着开源共享的精神，本猿把项目代码提炼成了一个demo项目，尽量摒弃了其中丑陋的业务部分，希望与同学们共同学习进...
2023-09-08 22:00:09
148
转载 优雅停机，学到了！
公司项目是用 consul 进行注册的，在发布微服务的时候，总是会导致调用方出现一定几率的调用失败。一开始百思不得其解，后来咨询了资深的同事才知道：原来是服务下线的时候没有优雅停机，没有去 consul 将自己下线再停机，导致调用方拿到了旧的调用地址，导致调用失败！看来优雅停机还是一个蛮重要的知识点，可不能忽略，今天就让我们来盘盘它吧！什么是优雅停机？在 Linux 世界里，一切都是资源。当我们启...
2023-09-07 23:47:03
131
转载 SpringBoot+Actuator，打造一款强大的监控和管理系统
0.前言背景：一直零散的使用着Spring Boot 的各种组件和特性，从未系统性的学习和总结，本次借着这个机会搞一波。共同学习，一起进步。哈哈Spring Boot Actuator 是一个强大的监控和管理框架，它提供了一系列的监控端点，可以用于获取应用程序的状态、度量指标、健康检查、配置信息等。Actuator 的监控端点可以通过 HTTP 请求访问，并返回有关应用程序运行时信息的响应。使用 ...
2023-08-25 22:00:18
441
转载 【必看】一键生成数据库文档的利器，堪称数据库界的Swagger
告别混乱代码：SpringBoot 后端接口规范13 秒插入 30 万条数据，批量插入正确的姿势！Hbase常用命令速查SpringBoot 调用外部接口的三种方式Spring Boot + minio 实现高性能存储服务！解锁新能力别再用 offset 和 limit 分页了，性能太差！顶级公司Netflix是如何做监控的？简介screw(螺丝钉) ，一款简洁好用的数据库表结构文档工具，支持M...
2023-08-24 20:31:17
627
转载 告别混乱代码：SpringBoot 后端接口规范
作者：魅Lemon来源：blog.csdn.net/lemon_TT/article/details/108309900一、前言一个后端接口大致分为四个部分组成：接口地址（url）、接口请求方式（get、post等）、请求数据（request）、响应数据（response）。虽然说后端接口的编写并没有统一规范要求，而且如何构建这几个部分每个公司要求都不同，没有什么“一定是最好的”标准，但其中最重要...
2023-08-23 22:00:22
77
转载 13 秒插入 30 万条数据，批量插入正确的姿势！
共饮一杯无来源：blog.csdn.net/qq_35427589/article/details/129665307本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。30万条数据插入插入数据库验证实体类、mapper和配置文件定义User实体mapper接口mapper.xml文件jdbc.propertiessqlMapConfig.xml不分批次直接梭哈循环逐条插入M...
2023-08-22 22:26:19
94
转载 SpringBoot 调用外部接口的三种方式
作者：Chelsea来源：blog.csdn.net/Chelsea__/article/details/1266894951、简介SpringBoot不仅继承了Spring框架原有的优秀特性，而且还通过简化配置来进一步简化了Spring应用的整个搭建和开发过程。在Spring-Boot项目开发中，存在着本模块的代码需要访问外面模块接口，或外部url链接的需求, 比如在apaas开发过程中需要封装...
2023-08-17 21:00:39
54
转载 别再用 offset 和 limit 分页了，性能太差！
来源：163.com/dy/article/HCJG9IQC0545M7H6.html不需要担心数据库性能优化问题的日子已经一去不复返了。随着时代的进步，随着野心勃勃的企业想要变成下一个 Facebook，随着为机器学习预测收集尽可能多数据的想法的出现，作为开发人员，我们要不断地打磨我们的 API，让它们提供可靠和有效的端点，从而毫不费力地浏览海量数据。如果你做过后台开发或数据库架构，你可能是这么...
2023-08-16 20:37:20
72
Dubbo面试题汇集与答案.pdf
2020-04-06
restEasy3.0.18+jboss7案例
2016-11-05
springmvc方法中用hibernate存储一个对象前后，session就变失效了
2016-10-06
部分安卓手机移动端微信网页初始化时不能隐藏多个div
2016-08-15
在微信开发中，一个页面如何跳转到公众号首页?
2016-07-30
使用七牛上传，在手机浏览器中为什么不能预览图片到网页？
2016-07-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人