weixin_36228538的博客

原创 Protobuf 笔记

一、什么是ProtobufProtobuf是一个序列化工具，可以进行高效的序列化，可以将类/结构体(structured data)序列化成二进制。其实，Protobuf就是一个编译器，它将我们写好的.proto文件进行编译，得到目标语言的代码文件，文件中包括根据.proto文件生成的structured data，以及对这些structured data进行系列化和反序列化的函数。二、Python使用Protobuf三、Golang使用Protobuf使用步骤：下载Protobuf 编译器：

原创 Docker 笔记

一、Docker 基本概念Docker 中有三个基本概念：镜像(Image)、容器(Container)、仓库(Repository) 。镜像和容器的关系，就像是代码文件和进程的关系，镜像是静态的文件，容器是镜像运行时的实体。仓库就是用来保存镜像的, 类似于git。我们可以从中心仓库下载镜像，也可以从自建仓库下载。目前 Docker 官方维护了一个中心仓库 Docker Hub, 类似于github。docker中概念类比的概念镜像 vs. 容器代码文件 vs. 进程中心

原创 Centos防火墙开放端口

今天在服务器上启动了一个http服务，代码中绑定的端口号是9706，没有绑定IP。但是出现了一个问题，就是服务只能在本地访问，在别的机器上访问不了。在别的机器上telnet这个端口也是不通的, 如下（ip脱敏处理了）：$ telnet <server-ip> 9707Trying <server-ip>...telnet: connect to address <server-ip>: Connection refusedtelnet: Unable to c

原创 Golang 包管理 & proxy

go path: GoLang的一个环境变量go root: GoLang的安装路径go modules：GoLang的包管理工具Go Modules之前在Go 1.11引入Go module之前，GoLang是没有包管理的。Go编译器有如下几点规定：代码必须新建在这个路径下：/GOPATH/srcimport 包时，编译器先在/GOPATH/src目录下找，找不到的话，在/GOROOT/src目录下找。注：使用这种方式要将go环境变量GO111MODULE设置为offGo modu.

原创 Golang类型系统

学习一门语言最重要的就是搞清变量和内存的对应关系Variables are the names given to a memory location where the actual data is stored。Go数据类型分类Go数据类型根据零值的不同可以分成基础类型和泛指针类型两大类。泛指针类型的零值是nil基础类型包括：布尔型、整型、浮点型、字符串、数组泛指针类型包括：指针、slice、map、channel、function、interface什么是零值？当变量被声明，但是没有初

原创 算法题：最少出牌次数

题目来源阿里巴巴2020实习生招聘在线笔试（3月20日场）题目描述有一叠扑克牌，每张牌介于1和10之间，有四种出牌方法：单牌对子顺子：如12345连对：如112233给10个数，表示1-10每种牌有几张，问最少要多少次能出完输入样例1 1 1 2 2 2 2 2 1 1输出样例3样例说明：出三个顺子：12345，45678，678910思路：枚举+回溯剪枝下面...

原创 【Flink、YARN】架构及工作原理

参考：http://lionheartwang.github.io/blog/2018/03/05/flink-framwork-introduction/https://blog.csdn.net/bingduanlbd/article/details/51880019Flink 架构Flink是一个流式计算框架,Flink框架的架构是Master-Slaver风格的，如下图所示：Fli...

原创 【Flink】基本概念

一. Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。1. Flink 应用相关概念：Streams（流），分为有限数据流与无限数据流，unbounded stream 是有始无终的数据流，即无限数据流；而 bounded str...

原创 【scala】笔记

Listscala> val strList = List("Hadoop", "Spark", "Flink")strList: List[String] = List(Hadoop, Spark, Flink)# head返回列表第一个元素的值scala> strList.headres45: String = Hadoop# tail返回列表除第一个元素以外的其他...

原创 【scala】 函数总结

字面量字面量：直接在源代码里书写的‘值’，例如：整数字面量：10，34L浮点数字面量：3.14， 4.56F布尔型字面量：false, true字符串字面量：“hello world”字符字面量：‘A’, ‘\u0045’, ‘’’(转义）变量scala声明一个变量的基本语法：val 变量名：变量类型 = 初始值var 变量名：变量类型 = 初始值初始值可以是字...

原创 【python】IO 文件读写

使用Python内置的open()函数，传入文件名和标示符，即可以打开一个文件进行读或者写，若文件以‘UTF-8’编码（默认），标示符采用’r’读，‘w’写，若文件是二进制文件（例如：图像，视频），采用’rb’读，‘wb‘写。 open函数返回打开的文件对象。注意：以'w'模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。如果我们希望追加到文件末尾怎么办？可以传入'a'...

原创 【python】 函数参数

python函数可以定义下面几种参数：位置参数默认参数可变参数关键字参数可变关键字参数python中函数名其实就是指向一个函数对象的引用，完全可以把函数名赋给一个变量，相当于给这个函数起了一个“别名”：>>> a = abs # 变量a指向abs函数>>> a(-1) # 所以也可以通过a调用abs函数11 默认参数默认参数必须执行...

原创 tmux命令

Tmux 是一个用于在终端窗口中运行多个终端会话的工具，即终端复用软件（terminal multiplexer）。在 Tmux 中可以根据不同的工作任务创建不同的会话，每个会话又可以创建多个窗口来完成不同的工作，每个窗口又可以分割成很多小窗口。这些功能都是非常实用的。会话, 窗口, 窗格根据 Tmux 的定义，在开启了 Tmux 服务器后，会首先创建一个会话，而这个会话则会首先创建一个窗口，...

原创 【python】可变对象和不可变对象

python中的变量是没有类型的，有类型的是“对象”，而不是变量变量没有类型，那么就意味着它可以随意指向任何对象。python中的变量相当于一个指针。可变对象：list dict set不可变对象：tuple string int float bool变量赋值当将一个变量a赋值给另一个变量b时，无论变量a指向的是可变对象还是不可变对象，变量b指向变量a指向的对象。例：>&gt...

原创 字符编码--ASCII、Unicode和UTF-8

本着节约的精神，出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果要传输的文本包含大量英文字符，用UTF-8编码就能节省空间。现在计算机系统通用的字符编码工作方式在计算机内存中，统一使用Unicode编码，当...

原创 【Python】变量在计算机内存中的表示

当我们写：a = 'ABC'时，Python解释器干了两件事情：在内存中创建了一个ABC的字符串；在内存中创建了一个名为a的变量，并把它指向ABC。也可以把一个变量a赋值给另一个变量b，这个操作实际上是把变量b指向变量a所指向的数据.例子：a = 'ABC'b = aa = 'XYZ'print(b)执行结果为：ABC可以通过id()函数获取对象的内存地址：...

原创 数据库操作--mysql

登陆mysql：$mysql -u root -p 然后输入密码退出mysql：mysql > \q 或者quit 或者exit显示数据库：show databases;选择连接其中一个数据库：use <数据库名>显示数据库中的表：show tables;新建数据库：create database <数据库名字>;新建数据表...

原创 【python module】 signal

python使用singal模块杀死进程list.remove(item)os.kill(process_instance.pid, signal.SIGKILL)获取进程pid:1, 在进程中执行os.getpid()2, 进程对象执行process_instance.pid获取进程name:process_instance.nameimport multiprocessin...

原创 multiprocessing 多进程变量理解

from multiprocessing import Processimport osimport constdef fun(): print("Son Process %s, aList is "%(os.getpid()),const.aList) const.aList = [-num for num in const.aList] print("Son Process %s...

原创 Python多进程（multiprocessing模块）

1. multiprocessing1.1. Process类multiprocessing模块提供了一个Process类来代表一个进程对象。栗子：from multiprocessing import Processimport os# 子进程要执行的代码def run_proc(name): print('Run child process %s (%s)...' % ...

原创 NLTK模块

NLTK 定义了一个使用Python 进行NLP 编程的基础工具。它提供重新表示自然语言处理相关数据的基本类，词性标注、文法分析、文本分类等任务的标准接口以及这些任务的标准实现，可以组合起来解决复杂的问题。语言处理任务与相应NLTK 模块以及功能描述:语言处理任务NLTK模块功能访问语料库corpus语料库与词典的标准化接口字符串处理tokenize, ste...

原创 爬虫（request模块和beautifulsoup模块）

原文1. requests 模块Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库，其在Python内置模块的基础上...

原创 gcc编译器

gcc命令使用GNU推出的基于C/C++的编译器，是开放源代码领域应用最广泛的编译器，具有功能强大，编译代码支持性能优化等特点。目前，GCC可以用来编译C/C++、FORTRAN、JAVA、OBJC、ADA等语言的程序，可根据需要选择安装支持的语言。语法gcc(选项)(参数)选项-o：指定生成的输出文件；-E：仅执行编译预处理；-S：将C代码转换为汇编代码；-wall：显示警告...

原创 网络流算法

网络流问题最关键的是建图，图建立好了之后，就可以用EK或者DINIC算法来解决问题了。例题：POJ 3281 DiningDescription有N头牛，F种食物，D种饮料，第i头牛喜欢Fi种食物，Di种饮料,已知一头牛最多能吃一种食物和一种饮料，每种饮料或食物最多能被一头牛吃，求以上条件下，最多能有多少头牛能吃到他所喜爱的食物和饮料Input第一行为三个整数N,F,D分别表示牛数，...

原创 python基础

模块在Python中，一个.py文件就称之为一个模块（Module）。导入模块中函数的方式：方式一：import 模块名使用时：模块名.函数名()方式二 :from 模块名 import 函数　　　　　使用时：函数名()包假设我们的abc和xyz这两个模块名字与其他模块冲突了，于是我们可以通过包来组织模块，避免冲突。方法是选择一个顶层包名，比如mycompany，按照如下目...

原创 lscpu命令

lscpu命令用来显示cpu的相关信息。lscpu从sysfs和/proc/cpuinfo收集cpu体系结构信息，命令的输出比较易读 。命令输出的信息包含cpu数量，线程，核数，套接字和Nom-Uniform Memeor Access(NUMA)，缓存等。例如下图：[fdpc_1801213753@mu01 ~]$ lscpuArchitecture: x86_64...

原创 conda基本操作

# 要查看所有环境的列表conda info --envs # 创建一个名为“env_name”的新环境，其中包含Python 3.5conda create --name env_name python=3.5 # 激活某个环境source activate env_name # 停用环境并返回基础环境source deactivate # 删除某个环境conda env...

转载 JS脚本-网页鼠标连点

获取网页元素找到按钮的id或者唯一的class在console中选中该按钮： var button=document.querySelector(&amp;quot;#/. + calss/id&amp;quot;)写一个定时器 var timer = setInterval( function () { button.click() },1000) //1000ms执...

转载 Shell 基本运算符

原生bash不支持简单的数学运算，但是可以通过其他命令来实现，例如 awk 和 expr，expr 最常用。例如两个数相加(注意:使用的是反引号 ` 而不是单引号 ';表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2)：#!/bin/bashval=`expr 2 + 2 `echo “两数之和为 : $val”关系运算符a=10b=20if [...

转载 Shell脚本

Shell 脚本（shell script），是一种为 shell 编写的脚本程序。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell变量定义变量时，变量名不加美元符号(注意：变量名和等号之间不能有空格)；使用一个定义过的变量，要在变量名前面加美元符号即可。例如：your_name="qinjx"echo $your_nameec...

原创 Makefile

make命令执行时，需要一个 makefile 文件，以告诉make命令如何去编译和链接程序。makefile的规则target … : prerequisites …(TAB键）command……target可以是一个object file(目标文件)，也可以是一个执行文件，还可以是一个标签（label）。prerequisites就是，要生成那个target所需要的文件或是目...

原创 MPI编程

MPI = Message Passing Interface是一组由学术界和工业界联合发展的、面向主流并行计算机的、标准化和可移植的消息传递接口标准。定义了若干核心库函数的语法和涵义;独立于编程语言，支持 C/C++、Fortran 语言的绑定;独立于平台，学术界和厂商发展了若干高效、可靠的实现版;支撑和推动了高性能计算软硬件生态的发展。MPI的一个主要的实现版本：MPICH。...

转载 并行编程模型

转载 分布式计算课程笔记-集群（cluster）

概念节点 (node):指一台完整的主机，可以认为是服务器的别名。例 如:管理节点，计算节点，GPU 节点。集群 (cluster)：一组节点 (node) 经过局域网互联形成的计算机群。 节点之间相互通信有比较低的延迟。作业调度系统–SLURM本质目标:在用户程序互不影响的条件下让各个程序按照指定的规则运行。用户只需要提交任务，不需要实时盯着屏幕看，非常适合批处理或离线任务。SLUR...

转载 MapReduce(combiner)

在偏数据敏感的分布式处理中，一个重要的性能瓶颈是中间结果的网络传输。就拿Hadoop来说，它将Mapper 处理的中间结果在本地磁盘上存储(该过程还涉及到序列化)，然后通过网络传输给Reducer。这里磁盘和网络的延时会极大的影响MapReduce 的执行效率。很容易想到的解决方案就是如何减少中间结果的大小来提高效率。而本地聚集(local aggregation)可以减少中间结果的产生，从而能提...

原创 Hadoop学习笔记

HadoopHadoop是一个实现了MapReduce和GFS技术的开源平台。Hadoop 1.x项目包含了许多子项目，最主要的两个子项目是HDFS和MapReduce,HDFS（Hadoop分布式文件系统）是一个可以存储极大数据集的文件系统，建立在通过向外拓展方式构建的主机集群上。MapReduce是一个数据处理范式，应用于任意规模的大数据集。MapReduce任务直接在存储所需数据的HD...