反作弊

原创 全区域治理-功能提取(简易版初稿)

转载 日常问题排查集锦-持续添加中

日常Bug排查系列都是一些简单Bug排查。问题虽小，但经常遇到，了解这些问题，会让我们少走点弯路，提升效率。说不定有些问题你遇到过哦:)怎么排查CPU飙升日常Bug排查-流量全部下线日常Bug排查-Nginx重复请求？日常Bug排查-应用Commit报错事务并没有回滚日常问题排查-调用超时日常Bug排查-抛异常不回滚日常Bug排查-消息不消费Raid卡性能导致io告警ntp导致的时钟回拨日常Bug排查-系统失去响应-Redis使用不当日常Bug排查-请求偶尔超时-磁盘故障机器内存耗尽

转载 技术驱动与工程师发展

今天被群友问如何看待工程师自嘲是码农和搬运工，当时我的回答是：不是所有的财务同学都能成为财务总监、CFO不是所有的HR都是能成为人力总监、VP世界的人才/精英结构永远都是金字塔型的，这是普世规律。我们做的是努力上升到更高层次。那么由这个热议引发，我想谈谈技术驱动和工程师的发展路径问题。1生产力首先人人类历史上关于生产力认识的三次里程碑： 第一里程碑：生产力是征服和改造自然的能力。出自《马克思恩格斯全集》。 第二里程碑：科学技术是第一生产力。出自邓小平著作的《邓小平文选》。

原创 devops的诞生及其思想(推理得出)

devops

转载 业务分析到架构设计（上）

前言：在过去的若干年工作中，一直尝试找寻找业务场景和架构设计之间关系，并且梳理出清晰有效的映射方法供大家理解以及实践采用。这个过程是不断摸索的过程，也很艰难，也算小有理解，继续的探究也难有突破，所以整理浅见，希望对行业同仁有所帮助。上篇按照我理解和分析业务的方式讲解如何逐步分析业务结构。这个部分是帮助技术部门理解2件事情，一件事是业务需求密度的来源，一件事是业务需求动态性和多态性的来源。针对该部分我的方法是：分析业务构成要素、分析业务规模要素、分析业务形态要素、分析业务稳态要素。中篇旨在围绕业务未来尝

原创 devops概况图(1)--基于现状向docker转换

主要解决这三点1、系统，很多项目、linux环境网络不通、或者缺这缺那。想在中间加一个运维标准层，来进行统一容错这些因素。2、开发人员会画大量的时间搞运维工作，想将运维工作进行弱化处理，无需到处找资料3、我运维体系是否可以更加健全、信息量更大、后续运维操作更轻松、一键操作...

原创 事件文本处理流程图

转载 实时数仓Hologres如何支持超大规模部署与运维

2021年11月23日至12月3日，中国信息通信研究院（以下简称“中国信通院”）对第13批分布式分析型数据库共计27款产品进行了大数据产品能力评测。阿里云实时数仓Hologres（原阿里云交互式分析）在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测（大规模），并以8192个节点刷新了通过该评测现有参评的规模记录。在本次评测中，Hologres是目前通过中国信通院大数据产品分布式分析型数据库大规模性能评测的规模最大的MPP数据仓库产品。通过该评测，证明了阿里云实时数仓

转载 Redis 7.0 Multi Part AOF的设计和实现

Redis 作为一种非常流行的内存数据库，通过将数据保存在内存中，Redis 得以拥有极高的读写性能。但是一旦进程退出，Redis 的数据就会全部丢失。为了解决这个问题，Redis 提供了 RDB 和 AOF 两种持久化方案，将内存中的数据保存到磁盘中，避免数据丢失。本文将重点讨论AOF持久化方案，以及其存在的一些问题，并探讨在Redis 7.0 (已发布RC1) 中Multi Part AOF（下文简称为MP-AOF，本特性由阿里云数据库Tair团队贡献）设计和实现细节。一 AOFAOF( app

转载 从0到1：美团端侧CDN容灾解决方案

CDN已经成为互联网重要的基建之一，越来越多的网络服务离不开CDN，它的稳定性也直接影响到业务的可用性。CDN的容灾一直由美团的SRE团队在负责，在端侧鲜有方案和实践。本文结合美团外卖业务中的具体实践，介绍了一种在端侧感知CDN可用性状况并进行自动容灾切换的方案，通过该方案可有效降低业务对CDN异常的敏感，提高业务的可用性，同时降低CDN运维压力。希望本方案能够对被CDN问题所困扰的同学有所帮助或者启发。前言背景目标与场景3.1 核心目标3.2 适用场景Phoenix 方案

转载 从Linux源码看Socket(TCP)的accept

从Linux源码看Socket(TCP)的accept前言笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码，是一件Exciting的事情。 今天笔者就从Linux源码的角度看下Server端的Socket在进行Accept的时候到底做了哪些事情(基于Linux 3.10内核)。一个最简单的Server端例子众所周知，一个Server端Socket的建立，需要socket、bind、listen、accept四个步骤。今天，笔者就聚焦于accept。代码如下:void start_s

转载 自己动手写SQL执行引擎

自己动手写SQL执行引擎前言在阅读了大量关于数据库的资料后，笔者情不自禁产生了一个造数据库轮子的想法。来验证一下自己对于数据库底层原理的掌握是否牢靠。在笔者的github中给这个database起名为Freedom。整体结构既然造轮子，那当然得从前端的网络协议交互到后端的文件存储全部给撸一遍。下面是Freedom实现的整体结构，里面包含了实现的大致模块:最终存储结构当然是使用经典的B+树结构。当然在B+树和文件系统block块之间的转换则通过Buffer(Page) Manager来进行。当然了

转载 SpringBoot启动全流程源码解析

SpringBoot启动过程流程图源码解析首先，我们先来看下SpringBoot项目的启动类@SpringBootApplication　　public class SpringDemoApplication {　　　　public static void main(String[] args) {　　　　SpringApplication.run(SpringDemoApplication.class, args);　　　　}　　}一个是@SpringBootApplication，参

转载 JVM原理与深度调优

什么是jvmjvm是java虚拟机 运行在用户态、通过应用程序实现java代码跨平台、与平台无关、实际上是"一次编译，到处执行"1.从微观来说编译出来的是字节码！去到哪个平台都能用，只要有那个平台的JDK就可以运行！字码好比是一个人，平台好比为国家，JDK好比这个国家的语言！只要这个人（字节码）有了这个国家的语言（JDK）就可以在这个国家（平台）生活下去。2.JDK 是整个Java的核心，包括了Java运行环境（Java Runtime Envirnment），一堆Java工具和Java基础的类库(r

原创 云原生、微服务、容器、DevOps概念

云原生云原生是指专门为在云平台部署和运行而设计的应用及架构，包括十二项基本要素，分别是：1.同一应用对应同一套基准代码，并能多次部署；2.显式声明第三方依赖；3.将配置存储至环境变量；4.将后端服务作为松耦合的资源；5.严格分离构建阶段与运行阶段；6.将应用作为无状态的进程运行；7.通过端口绑定对外发布服务；8.能够通过水平伸缩应用程序进程来实现并发；9.可以快速启动和关闭应用；10.要保持开发环境与生产环境等价；11.使用事件流处理日志；12.将后台管理任务当做一次性进程运行。

原创 论国内java未来2022-2026年的变化

我认为在未来几年，java领域会发生如下几样变化：1、低代码平台我们过往做电商，那么就是几千家公司甚至更多的公司去做电商；过往做app，同样几千家甚至更多的公司去做app。 然而大家是否发现这里存在一个很致命的问题，那就是大家都在重复做一件事，然后做无意义的比拼； 烧钱去开发软件、招聘大量的研发人员去重复开发软件。未来低代码 + 一套代码复制改改形成一套新的软件，会成为主流。 任何一个理念一处，高技术能力的程序员作为食物链最顶端的存在，降维打击所有没有高技术人才的程序员。 开发一套程序、多家运营商

原创 论对元宇宙的看法

最近看facebook(meta)公司的市值已经跌了万亿美元，作为行外人或许想法可以随波逐流，对于技术人员应当要有自己的看法。元宇宙其实是我们互联网最本质的说法，互联网建设之初、目的为万物互联、信息互通；而后人们对了质量有更高的要求，在信息互通的基础上有了更深层次的追求，而后有了电脑的盛行；最后大家觉得还是不够方便，有了智能机、甚至是可折叠手机的到来。 而元宇宙所说的理念，我认为注定会到来。元宇宙并非一个新的理念，即虚拟世界、即现实与虚拟世界的映射，这一点在几年前我也有一定的想法，想必这个世界上的人也

原创 汇总java市面上所有的锁名词

一、乐观锁/悲观锁乐观锁：我们开发时，默认为乐观锁日常不会更改数据，偶尔更改，那么便会以读为主。 以读为主，那怎么控制同一条数据被重复更改，而且顺序更改呢。 那就有CAS(compare and swith)、这类做法的实现手段为，version、time、或之前拿过来的目标值和要更改数据时的目标值是否是一样。悲观锁：我们开发时，默认为悲观锁会经常更改数据，为了性能更优，我们会对该代码片段进行上锁。例如我们日常用到的sychornized、ReentrantLock、redislock。二、公平锁/非

原创 区域治理-产品化（实施篇）

原创 全区域治理(商业版)

原创 架构体系浅层规划

原创 数据加工架构图

原创 技术架构图

原创 执行方案--交付型项目如何过渡实现项目顺利重装

一、行为方式及意义保持当下：保持当前的项目交付管理方式,保证当前部门盈利方式正常运作；过渡方式：在部门整体行为发生调整时，采用合理的方式实现过渡、保证大家手头上工作的正常进行与新业务的持续升级一个大系统：系统全部风格统一、资源统一、涵盖面更广、系统附属设施更加健全；多角度复利行为：使当前工作方式规范化，可形成资源积累；该行为可以减少2个以上项目一部分的重复工作、并可实现资源的复利行为；持续迭代优化：在前三者成立的情况下，持续精细优化系统所涉及到的功能模块销售的蜕变：产品变更引导销售方式的多维度

原创 低代码平台(一网统管)-大方向(四个版本)

可实现公司整体技术架构的梳理

原创 架构-顺势而为、不拘于形

最近入职中国电子科技集团，在做项目的过程中，发现大家忙忙碌碌、都在拼搏努力、却不一定非常高效。因此昨天花了两小时开发、两小时优化一个简单功能，配置型模板查询。仿照写出BI的一部分，来满足当前各种简单报表查询的逻辑。【功能满足阶段】源于查询比较简单、改动比较频繁、并发比较低，因此先采用读取数据库的形式、缓存降低qps形式，来满足功能的需求。这样，原先需要半天一天开发的功能、只需要10分钟就可以配置完成。【功能安全检测方面】源于做好预编译功能，及其他sql防注入等问题，统一做好控制，则安全方面可以支持。【

原创 记录过往-飞笛智投核心技术的创建

2016年,与领导自创完整的标签体系、融入联想、降噪等功能、进行检索、权重等。而今形成成为200多人公司的核心技术，感觉欣慰，先做留念。凡是过往,皆为序章 凡是未来,皆有可期！报道链接:http://m.21jingji.com/article/20171111/22f01052323fd55377f0003ea1f52d0e.htmlhttps://m.21jingji.com/article/20170924/herald/e75bdd8af9c15756e09523c2ef7e57a2.htm

原创 APP日活提升方案规划

海都APP，是一款政府媒体的APP，具备政策性的与其他几十或几百个区域 强制使用或合作的软件系统。目前瓶颈为日活上不去，需要通过多种手段来提升APP的日活。

原创 反内卷

最近大家都经常提到一个词，“反内卷”造成这个词的产生，是因为事物不再稀缺，竞争力减少导致的

原创 二维码扫码功能流程图

原创 合同签署概要设计(技术方面)

原创 稳定性回归完善理论图

原创 产品为什么会火的思考,持续更新中

最近在思考为什么有的软件火、有的软件没人用。 得出一个结论，叫 必要性需求。 产品只有在必要的时候才会被人追捧、不在乎细节。。。。。。。。而必要性都一致的情况下、则产品体验占据很大的比例...

原创 契约锁宣讲会

欢迎咨询相关技术方案，需付一定费用微信号 sunnyrulerqq号 1245812397一、防伪打印功能如何防伪1、一重防伪 防伪打印机(远程控制、光栅防伪技术打印纸质合同中 必须通过对应的光栅片叠加到合同上才能看到防伪码)点击打印按钮，发送到打印机下2、 二重防伪 二维码 电子档 签署信息、电子信息、防伪码信息二、智能印控系统(授权给别人进行用印)1、组成 蓝牙、摄像、机械模块锁死印控仪、GPS、指纹、无限通讯2、流程(1)发起物理用印申请(2)远程审批(h5)(3

原创 电子签合同有哪些优化方式，持续更新中......

欢迎咨询相关技术方案，需付一定费用微信号 sunnyrulerqq号 1245812397加微信付费，可进行的技术指导1、合同发起 (1)文件上传如何变快? (2)切图如何更快更稳定? (3)盖的印章如何不模糊?2、合同签署 (1)发起和签署怎么可以节约一次文件上传的时间? (2)签署如何保证不丢章? (3)签署如何秒签? (4)文件上传如何更快?

原创 论证电子签有效性

一、保障电子签合同的有效性的思想 同一个人，用代表自己的一种身份，去签署一份文件。文件签署前后、未被篡改、则为有效。二、保障电子签合同的有效性的法律法规1、《中华人民共和国电子签名法》 https://baike.baidu.com/item/中华人民共和国电子签名法 第十三条电子签名同时符合下列条件的，视为可靠的电子签名： （一）电子签名制作数据用于电子签名时，属于电子签名人专有； （二）签署时电子签名制作数据仅由电子签名人控制； （三）签署后对电子签名的任何改动能

原创 模板信息提取阶段方案一

一、数据采集1.采集地点数据(可做)通过各方面的api、网络爬虫、数据免费提供中心、数据字典等。//要求地点数据 包含1000w+,1周实现尽量采用ztree的方式，对所有的地点数据进行结构化2.时间数据提取(可做)//采集所有关于节日节气的数据表结构如下name beginTime endTime defaultTime二、信息识别建立类别1 A A1 A2 A3 + B1 B2 B3…+ D1 D2 D3 D4各个类别建立ztree树状图形式(已经实现)三、信息提取(1)采用

原创 标签系统架构重构

一、改版原因:1.数据结构混乱，对外输出结构不明确2.代码结构不规范、项目没有分层3.缓存数据缺乏维护4.数据处理、项目运行情况缺乏监控，找问题难5.页面操作不友好6.项目不稳定，很难进一步扩展业务和加入新思路二、处理方案1.重建人工打标签表结构考虑人工打标签存在数据量大，查询次数不多，插入速度缓慢。用关系型数据库作为磁盘数据源，编写按规律分表的多工具类2.业务分离(7个小模块或项目)(1)数据库交互层(2)策略引擎(3)数据反馈层，供外部接口调用，和数据处理反馈包含订阅功能(

原创 论架构师的素养

真正的架构师是一个怎样的角色?• 在很久之前，我一直认为，架构师只负责技术，技术精通、架构理念超前• 能单独承担起一亿用户、几十万或百万并发的架构才算是架构师• 最近搜索沟通力对于程序员的重要性，查到这些内容，关于架构师的素养，特别分享并做下记录，便于你我后续阅读架构师素养沟通能力：各个方面都要了解，人人想法及规划都要知道，了解产品思想，用了什么方法实现的组织能力：组织推动各种技术的改进及功能的完善谈判代表：左右两难的时候的调解人设计模块及业务：通过图形化设计发现开发后才会发现的业务问题

原创 个人的文件迁移方案记录--字节跳动文件EA团队迁移

个人在法大大耗时两周实现的文件迁移程序，负责将字节跳动主播签约合同的几T文件迁移到新的文件平台中。