- 博客(321)
- 资源 (111)
- 收藏
- 关注
RSS订阅原创 go包下载时报proxyconnect tcp: dial tcp 127.0.0.1:80: connectex错误的解决方案
goland 设置里Http Proxy 不知道为什么默认是Manual proxy configuration,改为No proxy 后正常了”各种排查，google，折腾半天，没弄好，最后查到一篇文章，提到。我开始以为是我配置GOPROXY的原因，
2024-04-03 20:05:01
756
转载 Mysql中B+tree叶子节点链表结构解析
MySQL数据库中innodb引擎的B+Tree的底部到底时单向链表还是双向链表？在网上搜索这类问题，得到的方案有两种，一种是单向，一种是双向。所以到底哪个是对的呢？今天就来彻底解密真实情况 页的概念 Mysql的innodb是以页为存储单位的，每个B+Tree的叶子节点都是一个页的大小的倍数，默认一页的大小是16K 页结构如下图所示 也就是每一个页都包含两个页指针，一个是previous page指针，指向上一个页，一个是next page指针，指向下一个页。...
2022-05-26 09:56:21
3825
3
转载 SOA架构和微服务架构的区别
场景: 如果我们打开支付宝首页，去看我们的余额，它会展示你的总资产，昨日收益、累计收益等信息。假如这个页面所展示的信息，都来自各个不同的系统/应用，我们通过各个接口把这些数据展示出来。如果我们现在要在前端页面展示这几项数据的话，我们应该怎么去展示呢？ 在这种情况下，我们不可能让客户端与6个不同的应用/系统都一一去通信来去完成数据的展示。而是6个应用/系统之间进行彼此通信来完成调用，最后客户端只需要调用一个接口来获取数据即可，而不是与每一个应用/系统进行通信。我们的架构可能是如...
2022-05-21 21:20:19
2701
原创 redis的hashtag、槽、故障转移、热点等问题
1、了解一下hashtag的概念以及在cluster集群模式下的使用2、hash槽在迁移过程中的读写冲突的解决方案3、高并发下槽的访问冲突等注意问题点4、redis的cluster选举方案5、为什么只有16384个槽附2注意点：2.5、迁移过程中的读写冲突因为migrate命令是同步阻塞的，因此不会存在一个key正在被迁移又同时被读写的情况，但由于一个slot下可能有部分key被迁移完成，部分key正在等待迁移的情况，因此如果读写的key所属的slot正在被迁移，redis-clu
2022-05-21 15:54:12
1077
转载 联合索引在B+树上的存储结构及数据查找方式
引言上一篇文章《MySQL索引那些事》主要讲了MySQL索引的底层原理，且对比了B+Tree作为索引底层数据结构相对于其他数据结构（二叉树、红黑树、B树）的优势，最后还通过图示的方式描述了索引的存储结构。但都是基于单值索引，由于文章篇幅原因也只是在文末略提了一下联合索引，并没有大篇幅的展开讨论，所以这篇文章就单独去讲一下联合索引在B+树上的存储结构。本文主要讲解的内容有：联合索引在B+树上的存储结构 联合索引的查找方式 为什么会有最左前缀匹配原则在分享这篇文章之前，我在网上查了关于MySQ
2022-05-19 00:29:36
986
转载 消息幂等通用解决方案的思考（RocketMQ）
【本文转载，觉得思考和解决问题的思路不错，逐步递进，值得学习和借鉴。如转载有问题，请及时联系我删除】消息中间件是分布式系统常用的组件，无论是异步化、解耦、削峰等都有广泛的应用价值。我们通常会认为，消息中间件是一个可靠的组件——这里所谓的可靠是指，只要我把消息成功投递到了消息中间件，消息就不会丢失，即消息肯定会至少保证消息能被消费者成功消费一次，这是消息中间件最基本的特性之一，也就是我们常说的“AT LEAST ONCE”，即消息至少会被“成功消费一遍”。举个例子，一个消息M发送到了消息中间件，消息投
2022-05-04 14:52:43
189
转载 关于滴滴智能调度的分析和思考
写这篇分析的背景是，工作上正在经历一个智能调度平台的搭建和设计，希望通过对于滴滴调度系统进行调研，来得出一些可借鉴的、优秀的设计方案。本质上来讲，一个好的调度系统，就是要解决资源最优利用的问题，这个在之前的文章做过简单的介绍,见《调度系统的数学定义》。它山之石，可以攻玉。01 滴滴的智能调度是什么智能调度是整个滴滴的智能大脑和决策系统。核心思想是“激活闲置资源、中心调度、高效匹配”。智能调度结合了大数据与机器学习，搭建滴滴交通和决策大脑，去年成立的滴滴研究院正在从事相
2022-05-03 21:32:00
2676
转载 订单系统从0到1设计思路
|| 目录 概述 订单系统核心功能 订单系统的发展 最后 1概 述本文主要讲述了在传统电商企业中，订单系统应承载的角色，就订单系统所包含的主要功能模块梳理了设计思路，并对订单系统未来的发展做了一些思考。1. 订单系统在企业中的角色在搭建企业订单系统之前，需要先梳理企业整体业务系统之间的关系和订单系统上下游关系，只有划分清业务系统边界，才能确定订单系统的职责与功能，进而保证各系统之间高效简洁的工作。2. 订单系统与各业务系统的关系（1）.
2022-05-03 19:52:37
202
转载 瞬时高并发抢购系统设计方案浅析
【本文转载，如有问题，请及时联系我删除】目录 业务背景 业务架构设计 网络拓扑架构设计 秒杀业务流量洪峰 架构设计优化 总结 背景大家好，这篇文章给大家介绍一个非常经典的去大厂面试经常被问的一个问题，就是瞬时高并发抢购问题。通常来说，大厂开发的系统经常会遇到一些类似电商秒杀抢购、景点门票高并发抢购、特殊商品（比如口罩）高并发抢购、类似 12306 的高并发抢票类的系统。所以经常会问这一类高并发抢购类的问题，这个时候，
2022-05-03 16:42:56
511
转载 关于Redis分布式锁的8个问题
【本文转载自公众号文章，觉得文章写的很不错，放在自己空间供以后学习回顾，如涉及侵权，请联系我删除，感谢】在分布式系统中，由于 redis 分布式锁相对于更简单和高效，成为了分布式锁的首先，被我们用到了很多实际业务场景当中。但不是说用了 redis 分布式锁，就可以高枕无忧了，如果没有用好或者用对，也会引来一些意想不到的问题。今天我们就一起聊聊 redis 分布式锁的一些坑，给有需要的朋友一个参考：非原子操作使用 redis 的分布式锁，我们首先想到的可能是 setNx 命
2022-05-03 16:27:49
5337
2
转载 Mac通过brew安装graphviz的踩坑记录
一、先贴错误brew install openssl==> Downloading https://......curl: (22) The requested URL returned error: 404Trying a mirror...==> Downloading https://homebrew.bintray.com/bottles/openssl%401.1-1.1.1j.big_su-#O#- # # ...
2022-03-16 16:51:12
1917
原创 关于goland2021.1无法debug的问题解决方案
来到这里的看官估计要喷我了，心想估计又是千篇一律的复制的文章，这里告诉你，让您失望了。初转go，发现无法debug根本没法干活，难受，旁边的小老弟dubug的飞起，咱老干部在这干着急啊，幸好时间已经是周五了，决定在家一定要好好搞一搞这玩意。IDE的部分问题没截图（没心情啊，失落），除问题时的配置我大概说一下：go version: go1.16.8 darwin/amd64goland:2021.1.2，依稀记得看版本信息里有个x86_64mac:11.5.1,M1当我debug我的
2021-10-23 16:20:10
7418
转载 详解 MySql InnoDB 中意向锁的作用
前言InnoDB 支持多粒度锁（multiple granularity locking），它允许行级锁与表级锁共存，而意向锁就是其中的一种表锁。意向锁（Intention Locks）需要强调一下，意向锁是一种不与行级锁冲突表级锁，这一点非常重要。意向锁分为两种：意向共享锁（intention shared lock, IS）：事务有意向对表中的某些行加共享锁（S锁） -- 事务要获取某些行的 S 锁，必须先获得表的 IS 锁。SELECT column FROM table ..
2021-08-01 17:26:04
486
转载 什么叫“线程安全”
不是线程的安全面试官问：“什么是线程安全”，如果你不能很好的回答，那就请往下看吧。论语中有句话叫“学而优则仕”，相信很多人都觉得是“学习好了可以做官”。然而，这样理解却是错的。切记望文生义。同理，“线程安全”也不是指线程的安全，而是指内存的安全。为什么如此说呢？这和操作系统有关。目前主流操作系统都是多任务的，即多个进程同时运行。为了保证安全，每个进程只能访问分配给自己的内存空间，而不能访问别的进程的，这是由操作系统保障的。在每个进程的内存空间中都会有一块特殊的公共区域，通常称为堆（内存）。进程..
2021-07-26 00:33:32
245
转载 索引失效原理，终于有人讲明白了
前言吊打面试官又来啦，今天我们讲讲MySQL索引为什么会失效，很多文章和培训机构的教程，都只会告诉你，在什么情况下索引会失效。比如：没遵循最佳左前缀法则、范围查询的右边会失效、like查询用不到索引等等但是没有一个人告诉你，索引失效的原理是什么，老哥今天就告诉大家，让你们知其然，还要知其所以然。单值索引B+树图单值索引在B+树的结构里，一个节点只存一个键值对联合索引开局一张图，由数据库的a字段和b字段组成一个联合索引。MySQL技术内幕 Inn..
2021-07-24 16:15:00
320
1
转载 深入理解乐观锁与悲观锁
在数据库的锁机制中介绍过，数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。无论是悲观锁还是乐观锁，都是人们定义出来的概念，可以认为是一种思想。其实不仅仅是关系型数据库系统中有乐观锁和悲观锁的概念，像memcache、hibernate、tair等都有类似的概念。针对于不同的业务场景，应该选用不同的并发控制方式。所以，不要把乐观并发控制和悲
2021-03-27 20:35:22
145
转载 漫谈MySql中的事务
最近一直在做订单类的项目，使用了事务。我们的数据库选用的是MySql，存储引擎选用innoDB，innoDB对事务有着良好的支持。这篇文章我们一起来扒一扒事务相关的知识。为什么要有事务？ 事务广泛的运用于订单系统、银行系统等多种场景。如果有以下一个场景：A用户和B用户是银行的储户。现在A要给B转账500元。那么需要做以下几件事： 1. 检查A的账户余额>500元； 2. A账户扣除500元； 3. B账...
2021-03-27 20:12:42
104
原创 负载均衡中的LVS与Ngnix的区别
最近看到这样的一个问题，同时又经常被人问到，一直没有好好梳理，今天看了一些文章，大概理明白了这俩的差异。首先说一下，lvs属于四层负载均衡的实现之一，而Nginx则属于七层负载均衡的实现之一。所以，问题就落到了四层与七层的具体差异上。一、四层负载均衡（基于IP+端口的负载均衡）所谓四层负载均衡，也就是主要通过报文中的目标地址和端口，再加上负载均衡设备设置的服务器选择方式，决定最终选择的内部服务器。layer4在三层负载均衡（IP层，即网络层）的基础上，通过发布三层的 IP 地址.
2021-03-22 00:38:11
1275
1
原创 php垃圾回收相关
阅读了几篇关于php垃圾回收的文章以及php5.3～php7的变化，个人总结了几点。php5.3~php7这个阶段，将变量的定义分成了zval_struct { zval_value value; zend_uint ref_count_gc; zend_uchar is_ref_gc; zend_uchar type;}zvalue_value { long; double; struct { } str; H...
2021-03-21 15:24:43
130
原创 TCP优化相关
先上图，本文重点：具体的优化可参考文章：https://xie.infoq.cn/article/681d093ffc06d594de54992b9
2021-03-17 20:50:11
74
转载 MySQL单表数据不要超过500万行：是经验数值，还是黄金铁律？
今天，探讨一个有趣的话题：MySQL 单表数据达到多少时才需要考虑分库分表？有人说 2000 万行，也有人说 500 万行。那么，你觉得这个数值多少才合适呢？曾经在中国互联网技术圈广为流传着这么一个说法：MySQL 单表数据量大于 2000 万行，性能会明显下降。事实上，这个传闻据说最早起源于百度。具体情况大概是这样的，当年的 DBA 测试 MySQL性能时发现，当单表的量在 2000 万行量级的时候，SQL 操作的性能急剧下降，因此，结论由此而来。然后又据说百度的工程师流动到业界的其它公司，..
2021-03-07 12:27:34
221
转载 mysql中count的相关知识总结
相关知识引入COUNT(*)是SQL92定义的标准统计行数的语法，所以MySQL对他进行了很多优化，MyISAM中会直接把表的总行数单独记录下来供COUNT(*)查询，而InnoDB则会在扫表的时候选择最小的索引来降低成本。当然，这些优化的前提都是没有进行where和group的条件查询。同时，count（*）也是阿里强制的，那到底count(*)，count(1)，count(主键ID)，count(字段)这几种方式存在什么差别呢？（以下为摘录自：mysql的count）Count(*)的实现方式
2021-03-07 12:09:42
148
转载 关于缓存冷启动以及缓存预热的相关方案分析
在研读关于缓存相关的文章过程中，发现和缓存冷启动以及缓存预热这几点还讲解的可以，虽然说的有点笼统，但是方案大致还算明白了，以下为摘录内容，可以研读。1.缓存冷启动以及缓存预热解决方案当系统第一次启动，大量请求涌入，此时的缓存为空，可能会导致DB崩溃，进而让系统不可用，同样当redis所有缓存数据异常丢失，也会导致该问题。因此，可以提前放入数据到redis避免上述冷启动的问题，当然也不可能是全量数据，可以根据类似于当天的具体访问情况，实时统计出访问频率较高的热数据，这里热数据也比较多，需要多个服务并行
2021-03-04 23:56:02
681
1
原创 关于脑裂问题的学习
脑裂问题一般指的是采用主从（master-slave）架构的分布式系统中，出现了多个活动的主节点的情况。但正常情况下，集群中应该只有一个活动主节点。下面来说一下相关的解决方案，主要以下几种：1.法定人数/多数机制（Quorum）2.隔离机制（Fencing）3.冗余通信机制（Redundant communication）4.纪元机制（实际就是集群每次选举出一个Leader时，都会自增纪元值，类似一个id）关于这四种方式的相关文章：文章1；文章2再具体说一说我们常见的中间件都用了哪些
2021-02-27 19:28:16
462
1
转载 php多进程应用举例
在解决工作上一个关于php多进程问题的时候，发现了一篇比较有趣的关于php多进程应用举例的文章，为防丢，特转载。（原文链接（排版比csdn好看些，建议看原文）：http://dwyjr.cn/posts/php/fork.html#toc-heading-3）PHP多进程pcntl_fork()函数成功执行时会在父进程返回子进程的进程id(pid)，因为系统的初始进程init进程的pid为1，后来产生进程的pid都会大于此进程，所以我们可以通过判断pcntl_fork()的返回值大于1来确实当前
2021-02-26 00:58:15
188
转载 分布式系统需要解决的几大问题
架构演进中单体架构的高难度演进和技术升级我可能没有经历过，目前很多场景很多需求，都需要分布式系统去解决，不过大多数情况下我们可能不需要使用分布式相关的服务，但是业务的发展可能需要我们提前了解相关的技术作为技术储备，随时迎难而上。本篇文章作为分布式理论的一篇随笔完全自己手敲去理解分布式系统需要解决的问题，后面可能会深入某些分布式系统做一些理论上的阐述。一、节点信任分布式系统的特性导致每个处于分布式系统中的节点都可能时刻处于不同的状态，因此如果需要设计一个分布式系统或者需要学习研究一个分布式系统，其.
2021-02-21 15:32:24
2921
转载 使用Redis分布式锁的一系列问题以及解决方案
1.解决主从架构的redis分布式锁主节点宕机锁丢失的问题普通实现说道Redis分布式锁大部分人都会想到:setnx+lua，或者知道set key value px milliseconds nx。后一种方式的核心实现命令如下:-获取锁(unique_value可以是UUID等)SET resource_name unique_value NX PX 30000 - 释放锁(lua脚本中，一定要比较value，防止误解锁)if redis.call("get",KEYS[1])
2021-02-17 20:03:48
1813
转载 关于支付系统的设计与学习
本文主要是针对大愚talk所讲解的支付系统进行收集。其博文讲解的都浅显易懂，感觉能从整体有一个好的理解，不错的学习文章1.第三方支付的流程分析与总结2.coder，你会设计交易系统吗(概念篇)？3.coder，你会设计交易系统吗(实干篇)？...
2021-02-17 18:18:57
152
转载 高并发架构的TCP知识介绍
做为一个有追求的程序员，不能只满足增删改查，我们要对系统全方面无死角掌控。掌握了这些基本的网络知识后，相信一方面日常排错中会事半功倍，另一方面日常架构中不得不考虑的高并发问题，理解了这些底层协议也是会如虎添翼。本文不会单纯给大家讲讲TCP三次握手、四次挥手就完事了。如果只是哪样的话，我直接贴几个连接就完事了。我希望把实际工作中的很多点能够串起来讲给大家。当然为了文章完整，我依然会从 三次握手 起头。再说TCP状态变更过程不管是三次握手、还是四次挥手，他们都是完成了TCP不同状态的切换。进而影响各
2021-02-15 11:36:38
296
转载 线上大量CLOSE_WAIT的原因深入分析
这一次重启真的无法解决问题了：一次 MySQL 主动关闭，导致服务出现大量 CLOSE_WAIT 的全流程排查过程。近日遇到一个线上服务 socket 资源被不断打满的情况。通过各种工具分析线上问题,定位到问题代码。这里对该问题发现、修复过程进行一下复盘总结。先看两张图。一张图是服务正常时监控到的 socket 状态，另一张当然就是异常啦！图一：正常时监控图二：异常时监控从图中的表现情况来看，就是从 04:00 开始，socket 资源不断上涨...
2021-02-15 11:32:58
1680
2
转载 AOF与RDB的优缺点对比
首先要先说下redis持久化的意义： redis持久化的意义主要在于故障恢复，比如你部署一个redis，作为缓存有可能里边有一些比较重要的数据，如果没有持久化的时候，redis遇到灾难性故障的时候就会丢失所有的数据。 多以持久化是必不可少的。1.RDB和AOF两种持久化机制的介绍 RDB持久化机制对redis中的数据执行周期性的持久化。 AOF持久化机制对每条写入命令作为日志，以append-only模式写入一个日志文件中，在redis重启的时候，可以通过AOF写入的指令来重新构建整个数据集。 通过RD
2021-01-18 00:34:23
1709
转载 MySQL InnoDB 的加锁分析
前面写了一篇 MySQL 的 2PL 文章《8 张图，给你完整的剖析 MySQL 两阶段加锁（2PL）协议》，群里有人@我关于 MySQL 的加锁问题，事实上 MySQL 的加锁过程非常的复杂，2PL 只是一个最简单，最容易理解的一个！今天，再介绍几种加锁的思路，如有误忽喷！推荐大家阅读高性能 MySQL。背景MySQL/InnoDB的加锁分析，一直是一个比较困难的话题。我在工作过程中，经常会有同事咨询这方面的问题。同时，微博上也经常会收到MySQL锁相关的私信，让我帮助解决一些死锁的问题。本文，准
2021-01-17 23:29:01
188
原创 RPC与HTTP的区别与联系
直接入正题吧，经过收罗文章，个人理解大概有以下几点：1.本质区别 http是协议，rpc是方法，rpc的实现可能也会用到http http在应用层，rpc在传输层（长连接，少了三次握手，不过http2.0也可以链接复用了） http中所使用的报文中有效字节数仅仅占约 30%，也就是70%的时间用于传输元数据废编码。当然实际情况下报文内容可能会比这个长，但是报头所占的比例也是非常可观的。而rpc仅通过序列化发送有效数据，省去了很多无效的数据，提高传输效率。 h...
2021-01-17 21:20:42
15186
1
转载 Skip List--跳表（全网最详细的跳表文章没有之一）
跳表是一种神奇的数据结构，因为几乎所有版本的大学本科教材上都没有跳表这种数据结构，而且神书《算法导论》、《算法第四版》这两本书中也没有介绍跳表。但是跳表插入、删除、查找元素的时间复杂度跟红黑树都是一样量级的，时间复杂度都是O(logn)，而且跳表有一个特性是红黑树无法匹敌的（具体什么特性后面会提到）。所以在工业中，跳表也会经常被用到。废话不多说了，开始今天的跳表学习。通过本文，你能 get 到以下知识：什么是跳表？ 跳表的查找、插入、删除元素的流程 跳表查找、插入、删除元素的时间复杂度 跳表插
2021-01-04 14:45:31
874
原创 关于mysql事务和隔离级别以及并发控制问题原理解析
最近在碰到和Mysql事务、锁、隔离级别等相关的知识点，这里作一个汇总，主要是分析mysql在有共享锁，排他锁的情形下，是如何保证其高并发性能（主要利用了存储引擎的MVCC多版本并发控制），下面列出作具体说明参考链接：一致性非锁定读与一致性锁定读（易于理解）；MYSQL一致性非锁定读和锁定读；理解 MySQL 一致性非锁定读原理；漫谈MySql中的事务（非常易懂）另外，还有一个问题，就是关于事务隔离级别是怎么解决对应问题的。如RC如何解决不可重复读问题：利用的是快照的一致性非锁定读.
2020-12-29 10:11:33
184
摄像机现场标定算法研究（哈工大论文）
2019-01-23
相机标定的新方法（电子科大文珑银等人论文）
2019-01-23
模式识别与机器学习（马春鹏， Pattern Recognition and Machine Learning 中文高清完整版）
2018-12-29
完全自主研发的粒子群算法来求解约束多目标优化万能matlab_code
2018-12-02
基于SVM电力系统短期负荷预测的其中一个例程
2018-11-10
tap/tun模块对应的内核模块文件
2014-07-15
在win7（32bit）下编译openssl完整过程--所需软件
2014-05-08
配合apache(2.2.x)+openssl(0.9.6->1.0.1升级)过程博文环境搭建的资源
2014-05-07
IDApro advance5 0 配合看雪xsystem的附件
2014-04-16
sulley安装所需要的一些软件[更新版]（为我相应的博文定制）
2013-12-25
sulley安装所需要的一些软件（为我相应的博文定制）
2013-12-16
大数据，数据挖掘的相关论文
2013-08-10
安装双系统所需要的软件和工具
2013-08-03
关于java文件上传中用到的一些JAR包
2013-07-26
red5配置文章中提到的一些软件等资源
2013-05-30
成功配置red5经验WORD文章带图片
2013-05-30
制作好的EXE以及相关DEMO文件
2012-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人