pushiqiang-CSDN博客

原创云计算之虚拟化技术概述（KVM/Xen/Hyper-V/VMware）

虚拟化是云计算的基础。简单来说，虚拟化就是在一台物理服务器上，运行多台“虚拟服务器”。这种虚拟服务器，也叫虚拟机（VM，Virtual Machine）。从表面来看，这些虚拟机都是独立的服务器，但实际上，它们共享物理服务器的CPU、内存、硬件、网卡等资源。物理机，通常称为“宿主机（Host）”。虚拟机，则称为“客户机（Guest）”。谁来完成物理资源虚拟化的工作呢？就是大名鼎鼎的 Hypervisor。

2022-11-20 17:28:09 14106 1

原创关于在python项目中使用连接池的问题

对于项目中经常使用到的（数据库）连接池等场景，在一些中大型的Python项目中可能需要特别关注。由于连接池等对象既不是进程安全的也不是线程安全的，所以在初始化配置和使用连接池的时候需要明确项目的运行架构，正确安全的配置和使用。...........................

2022-07-13 18:36:52 971

原创 python性能优化和源码保护-编译整个项目

Python是一门动态解释型语言，由于GIL（全局解释器锁）、GC机制等特性，python运算效率很低。同时由于python程序没有静态编译的过程，项目代码以py源码的方式交付，任何人都可以获取和修改源代码，无法做到相应的安全保护。针对这两个问题，可以将Python源代码编译生成C/C++扩展模块的形式（Windows平台生成.pyd文件，Linux生成.so文件），以动态链接库的方式调用。python调用C/C++扩展函数的时候，GIL会被锁定，直到这个函数结束。由于这期间没有python的字节码

2022-05-12 16:49:30 1168 4

原创分布式链路追踪系统 - Jaeger在flask/django中的使用

链路追踪分布式链路追踪，也称为分布式请求追踪，是一种用于分析和监视应用程序的方法，特别是那些使用微服务体系结构构建的应用程序; 分布式追踪有助于查明故障发生的位置以及导致性能低下的原因，开发人员可以使用分布式跟踪来帮助调试和优化他们的代码。链路追踪系统核心步骤一般有三个：代码埋点，数据存储、查询展示。在数据采集过程，需要侵入用户代码做埋点，不同系统的API不兼容会导致切换追踪系统需要做很大的改动。为了解决这个问题，诞生了opentracing 规范。 +-------------+ +---

2021-03-06 21:35:01 2672

原创 API网关介绍及选型(kong)

API网关是一个服务器，是系统的唯一入口。从面向对象设计的角度看，它与外观模式类似。API网关封装了系统内部架构，为每个客户端提供一个定制的API。它可能还具有其它职责，如身份验证、监控、负载均衡、缓存、请求分片与管理、静态响应处理。API网关方式的核心要点是，所有的客户端和消费端都通过统一的网关接入微服务，在网关层处理所有的非业务功能。通常，网关也是提供REST/HTTP的访问API。服务端通...

2019-07-13 09:47:46 8731

原创 Django shell调试models输出的SQL语句

在settings.py里,配置如下logging:LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'handlers': { 'console':{ 'level':'DEBUG', 'class':'logging.Stream...

2018-04-10 22:14:28 3211

原创 ubuntu16下快速安装k8s教程与应用示例(django)

安装Kubernetes是公认的对运维和DevOps而言最棘手的问题之一。因为Kubernetes可以在各种平台和操作系统上运行，所以在安装过程中需要考虑很多因素。在这篇文章中，我将介绍一种新的、用于在裸机、虚拟机、公私有云上安装Kubernetes的轻量级工具——Rancher Kubernetes Engine（RKE）。RKE是一个用Golang编写的Kubernetes安装程序，极为简...

2018-04-10 20:56:05 2640

翻译 Dockerfile教程

ref: https://docs.docker.com/engine/reference/builder/#usageDockerfileDocker可以通过读取Dockerfile指令自动生成镜像。Dockerfile文件是一个文本文档，其中包含用户可以在命令行上调用以构建镜像的所有命令。通过使用docker build，用户可以创建一个自动构建，它会连续执行Dockerfil...

2018-02-27 21:39:39 5153

翻译 Centrifugo(实时消息服务器)介绍+demo

Centrifugo是一个。它与语言无关，可以与任何语言编写的应用程序后端（Python，Ruby，Perl，PHP，Javascript，Java，Objective-C等）结合使用。Centrifugo作为单独的服务运行，并保持从应用程序客户端（从Web浏览器或其他环境，如iOS或Android应用程序）持续的WebSocket或SockJS连接。当发生某些事件时，您可以使用Centrifugo

2017-12-09 21:38:58 8174

原创 docker-compose教程（安装，使用, 快速入门）

教程基于ubuntu下最新的compose版本3参考：https://docs.docker.com/compose/overview/1.Compose介绍Docker Compose是一个用来定义和运行复杂应用的Docker工具。一个使用Docker容器的应用，通常由多个容器组成。使用Docker Compose不再需要使用shell脚本来启动容器。Compose 通过一个配...

2017-12-03 22:31:45 781728 71

原创 Ansible常用模块介绍

ansible 默认提供了很多模块来供我们使用。在 Linux 中，我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块，通过 ansible-doc -s 模块名又可以查看该模块有哪些参数可以使用。官网文档：http://docs.ansible.com/ansible/latest/list_of_all_modules.htmlAnsible常

2017-10-16 14:48:15 33802 11

翻译非常好的Ansible入门教程（超简单）

Ansible是一个配置管理和配置工具，类似于Chef，Puppet或Salt。这是一款很简单也很容易入门的部署工具，它使用SSH连接到服务器并运行配置的任务，服务器上不用安装任何多余的软件，只需要开启ssh，所有工作都交给client端的ansible负责。关于Ansible的一个好处是，将bash脚本转换为可执行任务是非常容易的。我们可以编写自己的配置程序，但是Ansible更加干净，因为它

2017-09-28 17:19:31 133990 9

原创 Django数据库连接池（mysql）

都知道django每次请求都会连接数据库和释放数据库连接。Django为每个请求使用新的数据库连接。一开始这个方法行得通。然而随着服务器上的负载的增加,创建/销毁连接数据库开始花大量的时间。要避免这个，你可以使用数据库连接池，这里使用SQLAlchemy的连接池。使Django持久化数据库连接。但这种方法会改变django的代码。对框架有侵入方法 1实现方法如下：　　把django/db/bac...............

2016-04-14 16:40:08 14229

转载 Redis最佳实践：7个维度+43条使用规范，带你彻底玩转Redis | 附最佳实践清单

这篇文章我想和你聊一聊 Redis 的最佳实践。你的项目或许已经使用 Redis 很长时间了，但在使用过程中，你可能还会或多或少地遇到以下问题：我的 Redis 内存为什么增长这么快？为什么我的 Redis 操作延迟变大了？如何降低 Redis 故障发生的频率？日常运维 Redis 需要注意什么？部署 Redis 时，如何做好资源规划？Redis 监控重点要关注哪些指标？

2022-09-29 15:02:39 626

原创 RabbitMQ集群部署

RabbitMQ集群镜像模式部署rabbitmq集群模式有2种普通集群模式（无高可用性）: 默认模式，以两个节点（rabbit01、rabbit02）为例来进行说明。对于Queue来说，消息实体只存在于其中一个节点rabbit01（或者rabbit02），rabbit01和rabbit02两个节点仅有相同的元数据，即队列的结构。当消息进入rabbit01节点的Queue后，consumer从rabbit02节点消费时，RabbitMQ会临时在rabbit01、rabbit02间进行消息传输，把A中的

2022-01-07 10:56:09 2415

转载混沌工程(Chaos Engineering) 总结

Netflix工程师创建了Chaos Monkey，使用该工具可以在整个系统中在随机位置引发故障。正如GitHub上的工具维护者所说，“Chaos Monkey会随机终止在生产环境中运行的虚拟机实例和容器。”通过Chaos Monkey，工程师可以快速了解他们正在构建的服务是否健壮，是否可以弹性扩容，是否可以处理计划外的故障。2012年，Netflix开源了Chaos Monkey。今天，许多公司(包括谷歌，亚马逊，IBM，耐克等），都采用某种形式的混沌工程来提高现代架构的可靠性。 Netflix甚至将其

2021-09-12 15:37:06 1511

转载单点登录SSO、OAuth、LDAP、CAS的流程与应用

单点登录 - SSO 现阶段互联网中拥有着大量的应用系统，极大地提升了大家的工作效率与生活质量。然而大量的应用系统拥有着不同的认证与授权模式，这使得用户需要大量记忆用户名与口令，并多次登录和注册所需要使用的系统，这使得用户的使用体验非常的糟糕。因此，单点登录系统（SSO，Single Sign-On）应运而生。单点登录 - SSO常见的应用有两种情况：在一个单位中，需要使用多个功能不同的系统应用，比如企业会有专门的财务系统，销售的CRM系统，人事的OA、邮箱系统，如果每个系统...

2021-08-29 17:25:45 1711

转载 LDAP 协议入门（轻量目录访问协议）

什么是 LDAP？LDAP 的全称是 Lightweight Directory Access Protocol，「轻量目录访问协议」。划重点，LDAP「是一个协议」，约定了 Client 与 Server 之间的信息交互格式、使用的端口号、认证方式等内容。而「LDAP 协议的实现」，有着众多版本，例如微软的 Active Directory 是 LDAP 在 Windows 上的实现，AD 实现了 LDAP 所需的树形数据库、具体如何解析请求数据并到数据库查询然后返回结果等功能。再例如 Ope..

2021-08-29 17:08:48 2524

转载后端技术体系框架

这边我推荐我看过的一本书曾宪杰《大型网站系统与Java中间件实践》，对于后端的一些服务如何从单机到分布式讲解是非常深入的，让你能够对后端各个层次的中间件框架有着进一步的理解。1、后端技术体系框架使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示：这里的后端基础设施主要指的是应用在线上稳定

2021-08-28 23:14:43 7706

转载一致性Hash算法

先从历史的角度来一步步分析，探讨一下到底什么是Hash一致性算法！一、Redis集群的使用我们在使用Redis的时候，为了保证Redis的高可用，提高Redis的读写性能，最简单的方式我们会做主从复制，组成Master-Master或者Master-Slave的形式，或者搭建Redis集群，进行数据的读写分离，类似于数据库的主从复制和读写分离。如下所示：同样类似于数据库，当单表数据大于500W的时候需要对其进行分库分表，当数据量很大的时候（标准可能不一样，要看Redis服务器容量）我们同样可

2021-08-28 21:49:32 114

转载什么是云原生？这回终于有人讲明白了

伴随云计算的滚滚浪潮，云原生(CloudNative)的概念应运而生，云原生很火，火得一塌糊涂，都0202年了，如果你还不懂云原生，那真的out了。大家言必称云原生，却鲜少有人告诉你到底什么是云原生，若是找资料来看，读完大多会感觉云绕雾罩，一知半解，总之虚得很；甚至会让你一度怀疑自己的智商，不过我对于读不懂的文章，一律归因于写文章的人太蠢，当然这不一定是事实，但这样的思考方式能让我避免陷入自我怀疑的负面情绪。云原生之所以解释不清楚，是因为云原生没有确切的定义，云原生一直在发展变化之中，解释权不归

2021-08-07 20:57:28 8058 5

转载万字长文带你入门Istio

1. 简介在本教程中，我们将介绍服务网格的基础知识，并了解它如何实现分布式系统架构。我们将主要关注Istio，它是服务网格的一种具体实现。在此过程中，我们将介绍Istio的核心架构。2. 什么是服务网格?在过去的几十年中，我们已经看到了单体应用程序开始拆分为较小的应用程序。此外，诸如Docker之类的容器化技术和诸如Kubernetes之类的编排系统加速了这一变化。尽管在像Kubernetes这样的分布式系统上采用微服务架构有许多优势，但它也具有相当的复杂性。由于分布式服务必须相互通信，因

2021-08-07 20:36:32 483

转载浅谈协方差矩阵

一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标

2021-07-18 15:25:27 698

原创 ZMQ学习笔记

ZMQ简介官方： “ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层，像框架一样的一个socket library，他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分，之后进入Linux内核”。现在还未看到它们的成功。但是，它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一层封装。ZMQ让编写高性能网络应用程序极为简单和有趣。”与其他消息中间件相比，ZMQ并不像是一个传

2021-06-14 00:26:03 3732

原创 ULID - 一种比UUID更好的方案

为什么不选择UUID在分布式场景下，很多人选择了 UUID 作为 ID ，UUID 目前有 5 个版本，分别是：版本1：依赖于时间戳和 MAC 地址，容易被攻击；版本2：将版本 1 的时间戳前四位换为 POSIX 的 UID 或 GID，问题同上；版本3：基于 MD5 哈希算法生成，生成随机分布的ID需要唯一的种子，这可能导致许多数据结构碎片化；版本4：基于随机数或伪随机数生成，除了随机性外没有提供其他信息；版本5：通过 SHA-1 哈希算法生成，生成随机分布的ID需要唯一的种子，这可能导致许多

2021-05-28 17:52:43 5876 6

翻译在Docker容器中正确配置Gunicorn

Gunicorn是用于Python应用程序的通用WSGI服务器，但是大多数在Docker容器中使用的gunicorn配置都是错误的。在容器中运行gunicorn与在虚拟机或物理服务器上运行不同，并且还需要考虑Linux环境之间的差异。因此，为了保持你的Gunicorn设置正确和高效，在本文中，我将介绍：防止由于heartbeats心跳而导致缓慢。正确配置worker数。正确输出日志到标准输出。为什么Gunicorn“有时会挂半分钟”Gunicorn的master进程启动一个或多个worker

2021-05-23 17:46:37 3624 1

原创 django orm实现乐观锁

乐观锁乐观锁是相对悲观锁而言的，乐观锁假设数据一般情况下不会造成冲突，所以在数据进行提交更新的时候，才会正式对数据的冲突与否进行检测，如果发现冲突了，则返回给用户错误的信息，让用户决定如何去做。乐观锁适用于读操作多的场景，这样可以提高程序的吞吐量。乐观锁机制采取了更加宽松的加锁机制，也是为了避免数据库幻读、业务处理时间过长等原因引起数据处理错误的一种机制，但乐观锁不会刻意使用数据库本身的锁机制，而是依据数据本身来保证数据的正确性。乐观并发控制相信事务之间的数据竞争(data race)的概率是比较小的

2021-03-27 22:36:33 812

转载领域驱动设计在美团点评业务系统的实践

至少30年以前，一些软件设计人员就已经意识到领域建模和设计的重要性，并形成一种思潮，Eric Evans将其定义为领域驱动设计（Domain-Driven Design，简称DDD）。在互联网开发“小步快跑，迭代试错”的大环境下，DDD似乎是一种比较“古老而缓慢”的思想。然而，由于互联网公司也逐渐深入实体经济，业务日益复杂，我们在开发中也越来越多地遇到传统行业软件开发中所面临的问题。本文就先来讲一下这些问题，然后再尝试在实践中用DDD的思想来解决这些问题。过度耦合业务初期，我们的功能大都非常简单，普

2021-03-25 21:41:50 403

转载阿里盒马领域驱动设计实践

前言设计是把双刃剑，没有最好的，也没有更好的，而是条条大路到杭州。同时不设计和过度设计都是有问题的，恰到好处的设计才是我们追求的极致。DDD（Domain-Driven Design，领域驱动设计）只是一个流派，谈不上压倒性优势，更不是完美无缺。我更想跟大家分享的是我们是否关注设计本身，不管什么流派的设计，有设计就是好的。从我看到的代码上来讲，阿里集团内部大部分代码都不属于 DDD 类型，有设计的也不多，更多的像“面条代码”，从端上一条线杀到数据库完成一个操作，仅有的一些设计集中在数据库上。我

2021-03-25 21:39:52 236

原创 cassandra基本概念(连接池、分页查询)和使用实践(python)

cassandra基本概念和使用实践(python)基本概念Builder ≠ Cluster ≠ Session ≠ Connection ≠ StatementCluster.Builder：用于配置和创建集群Cluster：操作集群，控制连接节点和一些属性，项目中只需要定义一个Cluster 四种Retry重试策略(对数据库的操作失败后的重试)DefaultRetryPolicy没有查询到数据，或者写入时超时的情况下进行重新查询DowngradingConsistencyRetr

2020-10-16 11:19:14 1845 1

原创 crontab定时任务和日志

在Unix和类Unix的操作系统之中，crontab命令常用于设置周期性被执行的指令，也可以理解为设置定时任务。1.安装cronapt-get install cron设置crontab定时任务crontab -e*/1 * * * * /usr/bin/python /python/asch-check.py编辑输入以上(表示1分钟执行一次asch-check.py脚本)启动：service cron startcrontab中的定时任务有时候没有成功执行，什么原因呢？这时就需要

2020-07-30 09:46:10 3489

转载 Docker 空间使用分析与清理

用户在使用 Docker 部署业务一段时间后，可能会发现宿主节点的磁盘容量持续增长，甚至将磁盘空间耗尽进而引发宿主机异常，进而对业务造成影响。本文先对 Docker 的空间分析与清理进行说明，然后对容器的磁盘容量限制与使用建议做简要说明。典型问题场景用户发现 Docker 宿主机的磁盘空间使用率非常高。通过 du 逐层分析，发现是 Volume 或 overlay2 等目录占用了过高空间...

2020-05-08 14:23:59 1673 1

转载 jinja2模板渲染移除空白（空格、制表符、换行符等）

ref:https://www.kancloud.cn/manual/jinja2/70455例如：{% if xxx %} # 空行 1something...{% endif %} # 空行 2 # 空行 3{% if xxx %} # 空行 4something...{% endif %} # 空行 5 ...

2020-02-29 21:37:07 7865

原创 mysql树形结构查询子节点

查询所有子节点需求：在树形的节点关系下，比如菜单树或者文件目录树，要想获取某个节点的所有子节点，或者所有父类节点，在知道节点树最大层级的情况下id, parent_ideg: 已知节点树深度不超过10，查询所有子节点如下select org.id as id, concat('[', concat_ws(',', group_concat(distinct ...

2019-11-18 10:25:06 1344

转载 Django单元测试类和测试数据回滚

Django单元测试每个测试用例中写入数据库的测试数据在用例执行完后都会被撤销，这是通过事务回滚或者manage.py flush实现的。TestCase与TransactionTestCase都是继承自SimpleTestCase，两者主要的区别在于：TestCase在测试开始时，判断当前连接的数据库是否支持事务特性，如支持，则开启事务操作；在测试结束时，同样判断是否支持事务特性，如支持，...

2019-09-26 16:38:39 835

原创基于kong + oauth2 + acl的用户访问权限管理

需求说明对admin进行分组管理，不同的用户有访问不同api（服务）的权限，类似django admin的用户组功能由于认证系统是完全可信的内部系统，简单起见使用密码授权方式在网关层做接入权限管控，而非后端应用的业务权限启动kong# 启动kong使用的数据库postgres/cassandradocker run -d --name kong-database \ -...

2019-07-13 09:53:23 9261 3

原创 git cherry-pick & revert

git cherry-pickgit cherry-pick : 将某个分支的某个或几个commit(s)提交到当前分支（操作的对象是commit）eg:git checkout Bgit cherry-pick 0771a0c107dbf4c 将上面A分支的commit id为 0771a0c107dbf4c96806d22bbc6ef4c58dfe7075 的提交（合并）添加到...

2019-05-31 11:09:13 4947

原创关于改变 django select_related的join连表方式（inner join/ left join）

关于改变 django select_related的join连表方式（inner join/ left join）django可以使用select_related预加载外键对象，但在没有指定 null=True的情况下，select_related会使用inner join连表查询，这样可能会造成数据缺失（外键对象数据不存在的情况下）eg：author = models.ForeignKe...

2019-04-12 13:52:05 5173 3

原创 Django原生sql使用Paginator分页

使用Django肯定经常使用Paginator分页，很便捷。但是他可接受的分页对象必须是django orm的查询集或者list、tuple。当需要使用原生sql查询数据，分页就无法使用Paginator。Paginator其实只需要实现两个方法count和__getitem__就可以自定义一个让Paginator分页器支持的对象，然后就可以使用Paginator分页了，不需要单独对原生sql写...

2018-12-19 21:45:08 2446 3

转载 Git push与pull的默认行为

一直以来对git push与git pull命令的默认行为感觉混乱，今天抽空总结下。git push通常对于一个本地的新建分支，例如git checkout -b develop, 在develop分支commit了代码之后，如果直接执行git push命令，develop分支将不会被push到远程仓库（但此时git push操作有可能会推送一些代码到远程仓库，这取决于我们本地git co...

2018-08-10 10:05:04 625