hunyxv的博客

原创 测试使用 MySQL Community C/C++

C/C++ 连接、使用mysql库

原创 手动构建一个简单的docker

手动构建 dockerUTS 命名空间隔离IPC 命名空间隔离PID 命名空间隔离MOUNT 命名空间隔离USER 命名空间隔离NET 命名空间隔离fork 一个进程，并利用 cgroup 限制其内存大小在隔离的命名空间中 fork 一个进程，使用 ps、top 仅可看到当前命名空间中的进程信息使用 cgroup 对隔离命名空间中的进程的 cpu配额、memory大小等，进行限制更换进程的 rootfs使用 OverlayFS 加载基础镜像，并支持挂载数据卷...

原创 zrpc --- 一款简单易用的 RPC 框架

zrpc简介zrpc 是一款简单易用的 RPC 框架。其支持以下4种请求类型的 RPC 方法：请求-响应流式请求流式响应双向流式zrpc 依赖 ZeroMQ 库安装 zeromq, 在 release 下载并编译安装：tar -zxvf zeromq-4.x.x.tar.gzcd zeromq-4.x.x./configuremake && make install # 编译后生成的库文件 在目录 /usr/local/lib 下，将其移动到 /usr/lib

原创 关于 FAT12 文件系统

fat12 软盘.mdfat12FAT12是DOS时代就开始使用的文件系统(File System)，直到现在仍然在软盘上使用，FAT12软盘的被格式化后为：有两个磁头，每个磁头80个柱面（磁道），每个柱面有18个扇区，每个扇区512个字节空间。所以标准软盘的总空间为：2 * 80 * 18 * 512B = 1474560B = 1440K = 1.44M2: 两个磁头（磁盘两面嘛）80: 80个磁道（柱面）18: 每个磁道被分为 18 个扇区512: 每个扇区 512B（byte）下面

原创 2. 通过启动区的 JMP 指令执行一个helloworld程序.md

通过启动区的 JMP 指令执行一个helloworld程序.md启动程序制作流程简单逻辑：通过 INT 0x13 中断码，读取磁盘指定扇区的内容至内存，在启动区程序中通过 JMP [内存地址] 跳转至指定地址执行 helloworld 程序。编译程序，生成二进制代码（启动程序、helloworld程序）；制作启动镜像（boot.img）；挂载启动镜像，将 helloworld.o 放入到镜像中；通过二进制编辑器查看 helloworld.o 在镜像中的偏移量;如上图 地址0x2600 位

原创 1. 制作软盘启动镜像.md

做一个软盘启动镜像-.img.md代码显示 ”hello world!“; hello-os; TAB=4 ORG 0x7c00 ; 指明程序装载地址,至于为什么是这个地址看 <计算机启动过程>这节; 标准 FAT12 格式软盘专用的代码 Stand FAT12 format floppy code JMP entry DB 0x90 DB "HELLOIPL" ; 启动扇区的名字（8字节） DW 512 ; 每个扇区（sector）大小（

原创 赫夫曼树 和 赫夫曼树编码

赫夫曼树代码在：github.com赫夫曼（Huffman）树，又称最优树，是一类带权路径长度最短的树。树的路径和路径长度：从树中一个节点到另一个节点之间的分支构成这两个节点之间的路径，路径上的分支数目乘坐路径长度。树的路径长度是从树根到每一个节点的路径长度之和。带权路径长度：从该节点到树根之间的路径长度与节点上权的乘积，树的带权路径长度为树中所有叶子结点的带权路径长度之和，通常记作： $ WPL=\sum_{k = 1}^{n}w_kl_k $。例如下面三颗树的路径长度为：(a) WPL

原创 golang 设计模式（创建型模式， 结构型模式，行为型模式）

七大原则开闭原则依赖倒置原则（依赖反转原则）单一职责原则接口隔离原则迪米特法则里氏代换原则合成复用原则创建型模式简单工厂模式工厂模式抽象工厂模式结构型模式适配器模式装饰者模式&装饰器外观模式组合模式享元模式桥接模式代理模式行为型模式责任链模式命令模式观察者模式解释器模式状态模式策略模式模板模式迭代器模式中介者模式备忘录模式

原创 fasthttp 是如何启动 goroutine 来处理请求的

首先，在 fasthttp 中大量的使用了 sync.Pool 来缓存某些对象，已达到对象复用、减小 GC 压力的目的。 fasthttp 并不像官方 net/http 一样，创建一个 gorountine 来处理一个 http 请求，而是创建可复用的 gorountine ，并且数量会随着负载的大小伸缩。查看自动伸缩如何实现的从 fasthttp.ListenAndServe 入手:func (s *Server) ListenAndServe(addr string) error { ln

原创 context: goroutine 上下文

文章目录Context 接口context 包中包含如下几种衍生的子 Context使用 context.WithCancel 控制子 groutine 结束通过 context.WithValue 来传值超时取消 context.WithTimeout截止时间 context.WithTimeout 和 超时时间类似控制多层 goroutine 结束Context 接口type Context interface { // 最后期限 返回期限时间 ok Deadline() (dea

原创 go test 单元测试

文章目录go test [flag] flag 有：打印/报告T 类型 普通测试用例B 类型 压力测试测试控制台输出的例子补充覆盖率使用Short标记可跳过的测试用例go test [flag] flag 有：go help testflag 查看有那些 flag：-args: 测试函数接收命令行参数，注意：该参数后所有参数会被当做命令行参数传递给测试用例，正确使用方式举例：go test -v -run TestFibOnce b_test.go -args "in 7" expected=13；

原创 线性回归

线性回归就是对输入特征加权求和，再加上一个偏置项（也称为截距项）的常数，得到的结果就是预测值。公式如下：y^=θ0+θ1x1+θ2x2+...+θnxn\hat{y} = \theta_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_ny^​=θ0​+θ1​x1​+θ2​x2​+...+θn​xn​y^\hat{y}y^​ 是预测值nnn 是特征数量xix_ixi​ 是第 i 个特征θj\theta_jθj​ 是第 j 个模型参数（θ0\the

原创 线程模型 与 gorountine 的关系

文章目录用户级线程模型内核级线程模型两级线程模型Goroutinegoroutine 的调度线程的实现模型主要有3种：内核级线程模型、用户级线程模型 和 两级线程模型（也称混合型线程模型），它们之间最大的差异就在于用户线程与内核调度实体（KSE，Kernel Scheduling Entity）之间的对应关系上。而所谓的内核调度实体 KSE 就是指可以被操作系统内核调度器调度的对象实体，简单来说...

原创 aiomysql + sqlalchemy(ORM) 配合使用

官方文档：https://aiomysql.readthedocs.io/en/latest/sa.html (过时)其他教程：https://gzm1997.github.io/2018/05/26/%E4%BD%BF%E7%94%A8%E5%BC%82%E6%AD%A5ORM-aiomysql-sa/项目地址：https://github.com/aio-libs/aiomysqlimp...

原创 树莓派 3B+ 安装 OpenWrt 作为中继路由器.md

家里有一个闲置的树莓派,已经吃灰很久了,家里的电信路由器wifi时而连不上…所以打算使用树莓派作为中继路由器来使用.1. 下载 OpenWrt 镜像,并制作镜像盘镜像下载地址: https://downloads.openwrt.org/snapshots/targets/brcm2708/bcm2710/镜像盘制作工具: balenaEtcher 或 Win32DiskImager2....

原创 go base64 编码.md

文章目录两个默认的编/解码器：异常类 CorruptInputError编解码类 Encoding函数 NewEncoding方法 DecodedLen 返回n字节解码后字符串最大长度方法 Decode 解码到一个 []byte方法 DecodeString 数据为 string 类型，解码返回 []byte方法 EncodedLen 返回编码后的长度方法 EncodeToString 编码为...

原创 go文件操作

https://studygolang.com/static/pkgdoc/pkg/os.htm#File文章目录文件对象 os.File函数 Create函数 Open函数 OpenFile函数 NewFile函数Pipe方法 Name方法 Stat 获取 文件信息方法 Fd 返回文件描述符方法 Chdir 改变当前目录为 f方法 Chmod 修改文件模式方法 Chown 修改文件的所属...

转载 go 错误与异常及处理

https://www.jianshu.com/p/f30da01eea97文章目录错误与异常错误处理正确姿势1 失败的原因只有一个时，不使用error2 没有失败时，不使用error3 error应放在返回值类型列表的最后4 错误值统一定义5 错误逐层传递时，层层都加日志6 错误处理使用defer7 当尝试几次可以避免失败时，不要立即返回错误8 当上层函数不关心错误时，建议不返回error...

原创 go 正则表达式

文章目录将 正则表达式字符串 转义为普通字符串：检测字符串中是否含有匹配在 pattern 的子序列正则表达式对象 Regexp函数 Complie函数 CompliePOSIX函数 MustCompile函数 MustCompliePOSIX方法 String方法 LiteralPrefix方法 NumSubexp方法 SubexpNames方法 Longest方法 Match方法 MatchS...

原创 happyhbase: python 调用 hbase 接口包.md

happyhbase 文档地址注意：创建 连接时注意兼容，通过参数 compat 设置兼容级别（默认 0.98， thrift 的版本）,具体看这里https://happybase.readthedocs.io/en/latest/api.html#connectionimport happybaseimport timehbase = happybase.Connection(ho...

原创 上传几张之前看flask 源码时画的结构图

原创 python 函数参数的 ‘*’和‘/’ 的意义.md

/ 之前的参数都是 positional-only(位置) 参数，不能 写出参数的 name* 之后的参数都是 keyword-only(命名参数) 参数，必须 写出参数的 name比如，我们用参数签名的方法来举例：from inspect import Signature, Parameterparms = [Parameter('x', Parameter.POSITIONAL_O...

原创 asyncio 是如何处理io事件的.md

asyncio 是如何利用事件循环来监控和处理io事件的，看源代码：# asyncio.streams.pyasync def open_connection(host=None, port=None, *, loop=None, limit=_DEFAULT_LIMIT, **kwds): """A wrapper for crea...

原创 asyncio

文章目录例子：开始看源代码例子解析例子：In [1]: import asyncioIn [2]: async def f(i): ...: await asyncio.sleep(i) ...: print(i) ...: In [3]: async def func(): ...: tasks = [] ...: ...

原创 awaitable 可等待对象.md

能在 await 表达式中使用的对象。可以是 coroutine 或是具有 __await__() 方法的对象。参见 PEP 492。注意可等待对象有两种：coroutine，在上节中有讲；具有 __await__() 方法的对象，只要一个类实现了__await__方法，那么通过它构造出来的实例就是一个Awaitable。下面这段代码就是 awaitable 抽象基类：class A...

原创 python coroutine协程

python3.7In [8]: async def funcc(): ...: print('2333') ...: return '2333'In [14]: x = funcc()In [15]: try: ...: x.send(None) ...: except StopIteration as exc: .....

原创 flask send_file 下载文件，断点续传.md

函数包含在 flask.helpers文件中：def send_file( filename_or_fp, mimetype=None, as_attachment=False, attachment_filename=None, add_etags=True, cache_timeout=None, conditional=False,...

原创 Local、LocalStack、LocalManager和LocalProxy 实现协程/线程间数据隔离

文章目录LocalLocalStackLocalManagerLocalProxyLocalLocal 对 dict 做了一层封装：{id:{...}, id:{...}, ...}，每次存储或取出数据时，根据当前id来进行操作。# get_ident 是优先获取协程id的（若当前环境安装了 greenlet）class Local(object): __slots__ = ("_...

原创 zerorpc 详解.md

zerorpc 是利用 zeroMQ消息队列 + msgpack 消息序列化(二进制) 来实现类似 grpc 的功能，跨语言远程调用。主要使用到 zeroMQ 的通信模式是 ROUTER–DEALER，模拟 grpc 的 请求-响应式 和 应答流式 RPC ：zerorpc 还支持 PUSH–PULL 通信模式的远程调用zerorpc 的 UML 图（大体）：Server 端向 Cl...

原创 git 的简单使用

文章目录推送改动分支更新与合并log删除已提交的某个文件撤销 与 回退git add 后撤销：git commit 后撤销：git push 撤销：git merge 撤销：放弃本地所有改动图形化工具内建的图形化 git：gitkgit-gui#创建新仓库创建新文件夹，打开，然后执行git init以创建新的 git 仓库。#检出仓库执行如下命令以创建一个本地仓库的克隆版本：git ...

原创 linux报No space left on device错误

视频分帧 报错 No space left on device出现这个错误第一反应是空间满了。df -h 一看却发现还有挺多没有用df -i 一看发现是inodes空间满了inode 是什么磁盘的最小单位是扇区，操作系统对磁盘最小操作单位是块，多个扇区组成的块就是文件读写最小单位。inode 中存放的就是文件的元信息：inode id文件类型文件链接数目（多少个文件名 指向...

原创 在 k8s 中使用 GPU 资源

k8s-device-plugin github: https://github.com/NVIDIA/k8s-device-plugin注意事项：从Kubernetes 1.8开始，官方推荐使用Device Plugins方式来使用GPU。需要在Node上pre-install NVIDIA Driver，并建议通过Daemonset部署NVIDIA Device Plugin，完成后K...

转载 在 Kubernetes 中挂载 cifs 网络文件共享协议的卷

kubernetes 插件地址： https://github.com/fstab/cifs安装：Kubernetes提供了Flexvolume，这是一种插件机制，使用户可以编写自己的驱动程序。Kubernetes 在默认的情况下在 /usr/libexec/kubernetes/kubelet-plugins/volume/exec/ 下搜索第三方插件。在该目录下创建文件夹 fstab~...

原创 docker 基础概念 Linux Namespace

Linux Namespace 是 Linux 提供的一种内核级别环境隔离方法，以前的 Unix 有一个叫 chroot 的系统调用，针对正在运作的软件行程和它的子进程，改变它外显的根目录，使它不能访问给它指定的目录以外路径。Linux 的 Namespace 在此基础上，提供了对 UTS、IPC、Mount、PID、Network、User 等的隔离机制。UTS NamespaceUTS(U...

原创 Kubernetes 学习笔记汇总

Kuberneteskubectl 常用的命令：# 使用 kubectl get xxx -o json|yaml|wide|name... 查看详细信息#1.获取节点列表：kubectl get nodes #2.创建：kubectl create -f webserver.yaml#3.查看创建的状态，状态为Pending【准备中】,Running状态【已经创建成功】：kub...

原创 elasticsearch mapping 映射

Mapping 作用定义index 中的字段名、字段的类型，包括相关 配置setting如果没有手动配置mapping， Elasticsearch 默认会自动解析出类型，以每个字段第一次出现为准。手动配置 mappingPUT /user/{ "mappings": { "doc": { "properties": { "name...

原创 es 索引的存储 .md

首先介绍几个es中支持的索引存储方式：1.simplefs：简单的粗盘存放， 这种方式会有大量的磁盘IO，因此索引的建立和索引非常依赖磁盘的性能；2.niofs:使用 NIO 方式读写索引；NIO 是 java New IO 的简称，NIO 与传统 IO 相比是面向数据块的、非阻塞的；3.mmapfs：存储分片信息到文件系统然后通过映射文件到虚拟地址空间中；详情看这里...

原创 非对称加密算法 RSA

非对称加密算法 RSA如何计算得到 N E D1 求 N2 求 L （在生成密钥对过程中使用）3 求 E4 求 D实例生成密钥对加密解密74mod127^4 mod 1274mod12 很好算但 7xmod12=87^x mod 12 = 87xmod12=8 ,xxx 如何求就比较复杂，特别是当是数字特别大时，求离散对数非常困难耗时。RSA 加密就是利用的这点。在 RSA 加密中，明...

原创 elasticsearch docker 安装ik分词器

elasticsearch docker 安装ik分词器：Dockerfile：FROM elasticsearch:6.7.0# 注意 es与ik 版本要对应RUN ./bin/elasticsearch-plugin install --batch https://github.com/medcl/elasticsearch-analysis-ik/releases/download...

原创 elasticsearch docker集群

准备好镜像（装好中文分词等插件）搭建 docker 镜像仓库编写 docker-compose.ymldocker swarm docker stack deploy -c docker-compose.yml es_demo 发布服务安装可视化工具 kibana 要与 es 同一网络docker-compose.ymlversion: '3'services: elas...