- 博客(65)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 《MYsql数据库》-----总述
程序员都会sql数据库。但是有时候不常常使用的话会忘记。而跳槽找工作的时候面试官又喜欢问数据库。故整理一个数据库的知识笔记，以备忘。本《MYsql数据库》这系的文章笔记分3层。一：总结数据库的各个结构的数据库，数据表，数据列，数据行基本增删改查。二：着重总结数据行查三：总结存储过程，函数，视图，java中调用mysql语句四：总结游标，触发器，事物等...
2019-01-27 12:06:19
213
原创 《MY数据结构与算法》----总述
如图，数据结构分为物理结构与逻辑结构，而我们编码主要针对逻辑结构，但是也要了解其物理结构。我们每种逻辑结构基本都要实现结构的创建，销毁，增删改查，排序等操作。用于实现这些操作的方法，一般即为我们所谓的算法。 本次数据结构与算法的总结思路为： 本来想以逻辑结构为主线，介绍各个逻辑结构使用的物理结构，并介绍其中的各个操作。（很显然，各种不同的逻辑结构，其各种操作的难...
2018-08-01 16:19:29
193
原创 《MY网络基础知识》----总述
学习了一段时间的网络知识，现在对自己的网络知识做一个总结。本博客的阅读思路为分模块阅读，本博客中分为三块：整体架构：在其中对比了OSI,TCP/IP与五层模型；介绍了各层的相互关系和协作；并简单介绍了各层的作用。各层简介：介绍各层引入的原因，各层对应的网络设备。各层协议：介绍协议的引入原因，协议的工作原理，以及协议相关的知识（跟具体协议有关无法统一概括）。注：博客仅属于楼主对自...
2018-07-29 18:53:52
255
原创 ffmpeg初体验
2. 将字体(如宋体：simsun.ttc，默认字体：Arial)放入linux路径下。1.在Windows系统的字体文件位置 C:\Windows\Fonts。找到任意一份中文的比如宋体字体。然后再执行上面的视频加字幕文件，就欧克了。准备字幕文件：test.srt。准备视频 myok.mp4。但是加了字幕，字幕时乱码。是啊 要不让新来的俘虏。视频加字幕，生成新视频。
2024-04-22 17:51:55
295
原创 10分钟nginx配置https，运行一个自己的网站
前置条件：1.已有云服务器，我用过的腾讯云服务器2.域名已经购买，并且已经完成备案，3.ssl证书已申请，我是在腾讯云申请的步骤1.wget http://nginx.org/download/nginx-1.18.0.tar.gztar -zxvf nginx-1.18.0.tar.gz yum -y install pcre pcre-devel zlib zlib-develyum -y install make zlib zlib-devel gcc-c++ l
2021-11-06 16:37:00
508
原创 解决mysql安装，初始化时-bash ./mysqld No such file or directory.
今天安装mysql，再解压缩包创建目录，配置文件等操作执行完后。执行初始化MySQL，发现竟然报这样的错误，我当前目录下不正是有此文件吗？ls还能看到，为啥会这样报？原因：mysql
2021-06-17 12:06:01
2992
原创 腾讯云服务器 centos7安装MySQL
今天买了个腾讯云服务器，准备搭个个人网站，安装个mysql花了我3个多小时，气死人了。操。1.首先centos选型，我开始选择的默认操作系统，centos8，网上搜索c
2021-06-17 12:00:51
364
2
原创 主机网卡接受到另一张网卡（IP）的arp包，进行了响应
主机vm1有两张网卡网卡eth0：IP 10.222.0.44/16网卡eth1：IP 10.142.0.44/16主机vm2网卡
2021-06-09 11:03:39
534
golang通用的http client
type ApiInfoReq struct { Method string `json:"method"` Url string `json:"url"` Data []byte `json:"data"` Header map[string]interface{} `json:"header"` Cookies map[string]string `json:"cookies"`}type ApiInfoResp struct { StatusCode int `json:"sta..
2021-06-08 19:34:26
732
原创 golang使用vendor报错cannot find package “_/xxx“
原因：golang使用vendor不能import 相对路径的包，即import "../xxx"。修改方式1.将../xxx导包f
2021-06-08 19:11:45
1943
原创 beego使用及源码分析一（contraller注册路由控制器与http server服务器实现）
本文以最简单的使用方式，来阅读beego源码，探索beego的底层实现细节，一窥其庐山真面目，需要两部分基础，一是golang的net/http server 的基础，二是反射reflect基础，net/http server 的基础用于了解beego的底层http服务器的实现，reflect基础用于了解beego注册控制器和url映射调用方法后，beego底层是如何进行调用的。一：beego使用示例router.go文件package routersimport ( ...
2021-05-27 07:48:00
673
原创 golang的反射--reflact标准库分析
一：反射介绍反射包中的所有方法基本都是围绕着 Type 和 Value 这两个类型设计的。 我们通过reflect.TypeOf 、 reflect.ValueOf 可以将一个普通的变量转换成『反射』 包中提供的 Type 和 Value ， 随后就可以使用反射包中的方法对它们进行复杂的操作。二：反射的type（常见于结构体获取结构体tag）通过反射得到结构体类型后，也可以针对结构体的某个字段进行type和value的反射。结构体的type结构体的type都是StructFiel.
2021-05-27 07:28:07
368
2
原创 golang的http server使用及原理
golang的http server使用参考标准库手册有明确说明http://doc.golang.ltd/使用方式1：http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "Hello, %q", html.EscapeString(r.URL.Path))})http.ListenAndServe(":8080", nil)使用方式2：type FooHan
2021-05-27 06:48:43
1082
1
原创 golang的gmp调度
GMP模型Goroutine主要概念如下：G（Goroutine）: 即Go协程， 每个go关键字都会创建一个协程。M（Machine）： 工作线程， 在Go中称为Machine。P(Processor): 处理器（Go中定义的一个摡念， 不是指CPU）， 包含运行Go代码的必要资源， 也有调度goroutine的能力。M必须拥有P才可以执行G中的代码， P有一个由G组成的队列， P可以调度G交由M执行。P的个数在程序启动时决定， 默认情况下等同于CPU的核数， 由于M必须持有一个P才可以
2021-05-26 15:23:53
171
原创 golang的并发控制技术使用及原理（二：Mutex，RWMutex，Once）
go的并发控制手段有channel，waitgroup，context，sync包中的rwlock,lock,pool,Once,cond,map等。channel，waitgroup，context，在另一篇文章中已有这里主要是Mutex，RWMutex，Once的实现原理一：Mutex底层结构type Mutex struct { state int32 sema uint32}一个信号量用来挂起和唤醒当前协程，一个32位的状态用来标识互斥锁的状态。Lo...
2021-05-26 15:08:47
335
原创 golang的并发控制技术及原理（一：channel,waitgroup,context）
go的并发控制手段有channel，waitgroup，context，sync包中的rwlock,lock,pool,Once,cond,map等在另一篇文章介绍。这篇文章将介绍这些并发控制技术的使用方式以及实现原理一：channel对于channel的使用方式和实现原理，另一篇文章已有介绍，这里就不再多赘述。二：waitgroupsync.WaitGroup用来解决携程间的同步阻塞等待的问题。可以用于一个goroutine阻塞等待n个goroutine也可以...
2021-05-26 08:08:01
958
3
原创 golang基础数据结构的底层原理（slice，channel，map）
golang其他数据类型如Int，float等，跟大多数编程语言类似，主要介绍slice，channel，map的底层实现逻辑：一：sliceSlice又称动态数组， 依托数组实现， 可以方便的进行扩容、 传递等， 实际使用中比数组更灵活。底层数据结构：type slice struct { array unsafe.Pointer len int cap int}slice的创建创建切片的过程就是初始化该结构的过程。创建切片的方式有3种：（1）sliceOne :
2021-05-26 07:42:22
1849
原创 golang 数据结构
一.数组1.初始化arr1 := [3]int{1, 2, 3}arr2 := [...]int{1, 2, 3}上述两种声明方式在运行期间得到的结果是完全相同的，后一种声明方式在编译期间就会被『转换』成为前一种。2.数据存储当元素数量小于或者等于 4 个时，会直接将数组中的元素放置在栈上； 当元素数量大于 4 个时，会将数组中的元素放置到静态区再搬到堆上并在运行时取出；总结起来，如果数组中元素的个数小于或者等于 4 个，那么所有的变量会直接在栈上初始化，如果数组元素大于 4 个
2021-05-24 19:01:15
126
原创 Linux上go语言搭建环境
每次想在电脑上搞个Linux环境，没有搞个笔记，很麻烦，于是自己记录一下。一：先安装虚拟机1.下载虚拟机https://www.virtualbox.org/下载virtualBox虚拟机。下载最新的吧，免得总会有许多奇怪的问题。https://download.virtualbox.org/virtualbox/6.0.24/VirtualBox-6.0.24-139119-Win.exe这次我下载的是这个。还有我这个虚拟机直接安装再默认目录。之前没安装再默认目录老是出现奇怪的问题..
2020-09-20 23:13:24
232
原创 linux 后台开发必熟练的命令
1.抓包 tcpdump2.路由, ip ,ifconfig，tracepath3.发起请求：curl , wget4.Nginx 配置5.grep , awk ,等6.docker命令，docker的macvlan配置7.shell 脚本条件语句串写8.shell下执行mysql命令9.ansible工具使用配合ssh配置免密登录10.OpenSSL使用11.防火墙打开与关闭...
2020-09-01 15:34:51
343
原创 linux cpu性能调优套路（一）
uptime 发现平均负载升高# -d 参数表示高亮显示变化的区域$ watch -d uptime..., load average: 1.00, 0.75, 0.39mpstat可查看各个CPU核心的使用率# -P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据$ mpstat -P ALL 5Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU)13:30:06 CPU %usr %nice ...
2020-06-01 21:01:40
717
原创 关于方案设计的一点笔记
来梳理设计思路2.用来指导文档撰写设计的第一性原理:为什么需要做设计:1.项目比较复杂，又有比较严苛的质量、性能、效率、扩展性等要求2.如果不写设计文档，光在脑子里想，想不明白。即使想出来了，也容易遗漏细节，造成灾难性结果3.系统太过庞大，单人无法实现，需要多人密切配合二、设计的“第一性原理所以，我认为设计的“第一性原则”，就是以最高的效率消除复杂性带来的风险三、怎么做:一条基本原...
2020-05-07 21:31:01
286
原创 Linux之iptables（四）iptables数据包命中规则后的执行动作
如图：4 便是iptables数据包命中规则后的执行动作，用-j选项来指定，后跟具体的动作。常用的动作：1.ACCEPT,DROP,REJECT常用语filter表，用于配置黑白名单2.SNAT,DNAT常用于nat表，用于配置nat转换3.当然还有其他的动作，如LOG,MASQUERADE,REDIRECT等。。。这些不常用，自己作为开发也不搞运维，了解就好。这...
2020-04-13 14:56:20
865
原创 Linux之iptables（三）iptables的匹配条件
如上图，iptables命令风格，第一部分指定表名，第二部分指定对规则的增删改查的动作。第三部分指定规则的匹配条件，第四部分指定数据包匹配该规则时执行的动作。其中：命令的第一部分第二部分没啥好说的了，现在总结第三部分，匹配条件。一：-s 匹配报文的原地址#示例如下1.匹配多个IPiptables-tfilter-IINPUT-s192.168.1.111...
2020-04-06 18:11:20
454
原创 Linux之iptables（二）iptables的规则操作
1.查看规则iptables -t 表名 -L查看对应的表的所有规则，-t标识要操作的表，-L标识列出规则，也就是查看规程，当省略-t，默认标识操作filter表iptables -t 表名 -L 链名查看对应表的对应的链的规则，iptables -t 表名 -vL多了个-v，仅标识显示更详细的字段信息。iptables -t 表名 -nL多了个-n 表示解析规则...
2020-04-06 17:29:59
343
原创 Linux 之iptables （1）相关概念
一：数据包经过内核的流向到本机的数据包：prerouting->input流经过本机的数据包：prerouting->forward->postrouting本机发出的数据包：output->postrouting数据包需要经过以上链的一一允许，才能流通。二：规则表以上的5条链prerouting，input，forward，outpu...
2020-04-06 14:08:02
220
原创 利用ansiable一键部署ssh免密登录
#!/bin/bash -etmpdir="/tmp/tmp-devops"mkdir $tmpdircat >$tmpdir/ssh-expect.sh <<EOF#!/usr/bin/expect -fset pwd [lindex \$argv 0]set node [lindex \$argv 1]set timeout -1spawn ssh...
2020-03-08 12:28:32
385
原创 利用OpenSSH配置 Linux上用scp从windows上拷贝文件（文件夹）
背景：编译环境在Linux，编码环境在windows，每次编码完要讲代码拷贝到Linux，路径浅还能接受，路径深，总会因为路径打乱思路与降低效率，这能忍？解决方法：利用OpenSSH 。在Linux上执行编译脚本，直接用scp拷贝到指定目录，然后再编译，再scp到运行环境，一次喝成，岂不快哉？1.安装sshhttps://www.mls-software.com/opensshd.ht...
2019-07-29 19:55:37
1010
转载 hive的分析函数（NTILE,ROW_NUMBER,RANK,DENSE_RANK）
本文中介绍前几个序列函数，NTILE,ROW_NUMBER,RANK,DENSE_RANK，下面会一一解释各自的用途。Hive版本为 apache-hive-0.13.1注意： 序列函数不支持WINDOW子句。（什么是WINDOW子句，点此查看前面的文章 ）数据准备：注：此文章转载自http://lxw1234.com/archives/2015/04/176.htm，刚看的时候...
2019-02-23 22:06:20
347
转载 hive常用函数大全
hive是工作中常用来进行ETL和数据分析的。要想熟练使用还需要熟悉常用函数一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual wher...
2019-02-22 22:34:20
246
原创 写mapreduce 出现 : java.lang.NoSuchFieldError: IBM_JAVA
今天写MR不小心出现了这样一个错误。后面搜索了一下，网上相关的错误信息较少。解决方法：这个错误应该是maven搞错了。我把maven重新精简了一下就OK了。下次再出现这样的错误，就该MAVEN...
2019-01-28 21:41:20
695
2
原创 《MY大数据开发笔记》Reduce中，将key添加到集合，集合中全部元素一致的问题。
写股票分析的MR，结果出现各种各样的问题。其中之一就是将自己自定义的stockComboKey.在reduce的时候，将其添加到集合中，传入Tool.analyze()方法中进行分析。结果全部都是一样的数据。 后面经过我多次验证。发现原来自己一直忽视了一个重要的问题。那就是reduce函数的key，valuekey是单例对象。value是一个集合所以遍历value的时候...
2019-01-24 11:31:07
228
原创 《MY大数据开发笔记》----hive知识点总结
hive的作用：hive最初的设计目的是为了给哪些精通sql但是不熟悉Hadoop的分析师，用来分析大规模的结构化的数据文件而设计的。首先最重要的一点：hive的使用和关系型数据库的使用方式类似（类sql语句），那我们为什么不使用关系型数据库而使用hive？1.hive能分析超大数据规模的数据。2.hive用于分析存储在文件中的结构化的数据。而关系型数据库不能。所以hive最初...
2019-01-21 12:52:29
686
原创 嵌入式web server ----（1）环境搭建
一：源码下载 goahead-4.0.1官网下载网址： http://embedthis.com/goahead/download.html 二：将下载后的goahead-4.0.1-src.tgz拷贝到ubuntu三：解压goahead-4.0.1-src.tgz tar -xvf goahead-4.0.1-src.tgz四：编译 (1)cd...
2019-01-20 10:12:46
2262
原创 《MY大数据开发笔记》----hive必须理解和明白的知识点
一：hive是什么Hive起源于Facebook，它使得针对Hadoop进行SQL查询成为可能，从而非程序员也可以方便地使用。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化...
2019-01-15 11:10:59
229
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人