zhzsdiligence的博客

转载 mysql基础

1.mysql安装5.6 安装步骤：$> groupadd mysql$> useradd -r -g mysql -s /bin/false mysql$> cd /usr/local$> tar zxvf /path/to/mysql-VERSION-OS.tar.gz$> ln -s full-path-to-mysql-VERSION-OS mysql$> cd mysql$> scripts/mysql_install_db --user=

转载 zookeeper 入门

分布式系统的特点:分布性:分布式系统中的多台计算机都会在空间上随意分布，同时，它们的分布情况也会随时变动对等性:集群中的每个工作节点的角色是一样的。注意副本这个概念并发性:多个机器可能同时操作一个数据库或者存储系统，可能引发数据不一致的问题缺乏全局时钟:分布式系统中的多个主机上的事件的先后顺序很难界定故障总发生（服务器宕机，网络拥堵和延迟)﹔组成分布式系统的所有计算机，都有可能发生任何形式的故障。先注意两个概念的区别:传统集群:大量兄弟组成团队，大家做一样的事，只是这些事的数量比较大分布

原创 Hadoop 编译

创建编译后的目录mkdir -p /export/server安装依赖环境安装gccapt updateapt install build-essential

原创 大数据学习中出现的问题

1. spark 访问 hadoop 出现拒绝连接错误原因：hadoop 的 core-site.xml 文件中配置的是<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 我们使用netstat -anlp | grep 9000 看下端口如果我们在.

转载 MapReduce 优化

Reduce 阶段梳理

原创 SparkCore

1.RDD1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据（计算）抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算（分区同时计算）的集合。1.2 RDD的属性一组分区（Partition），即数据集的基本组成单位;当读取文件很大时，文件需要切片，对应每个切片就对应一个Rdd的一个分区。一个计算每个分区的函数;（每个分区都有一个计算函数） RDD之间的依赖关系;（例如word

原创 贝叶斯网络

原创 正则表达式

python 案例

转载 推荐系统入门

1. 概述2. 架构3. 推荐算法3.1 推荐模型构建流程

转载 Spark 入门

1. 环境搭建1.1 本地模式(开箱即用)1.1.1 准备工作1.1.2 原理1.1.3 操作1.1.4 WordCount 示例1.2 Standalone 独立集群1.2.1 原理1.2.2 环境搭建与启动1.2.3 测试

原创 聚类算法

聚类算法概述K-means

原创 双向循环链表

转载 Yarn 应用开发和代码解析

1. Yarn 应用开发概述1.1 Yarn Client开发1.2 Yarn AppMaster开发1.2.1 AM与RM交互1.2.2 AM 与NM 交互2. Yarn 编程库2.1 服务库2.2 事件库2.3 状态机库2.4 应用客户端库2.5 AM-RM 编程库2.6 NM 编程库...

原创 4.1 向量范数

1. 定义2. 无穷范数3. 1范数4. 2范数5.例题6. 向量范数等价7. 向量按范数收敛8. 矩阵范数

原创 顺序队列

1. 头文件#ifndef __SEQUEUE_H__#define __SEQUEUE_H__#include <stdio.h>#include <stdlib.h>#define MAXQUEUESIZE 10typedef int dadatype;typedef struct{ dadatype data[MAXQUEUESIZE]; int front;//队头下标 int rear;//队尾下标}sequeue;//初始化exte

原创 容器外观察容器内的进程

可以通过用户名观察容器内运行程序的用户的UID, 会与容器外主机UID的用户对应，在主机top查看进程时，就可以看到容器内现在都有谁在运行程序。问题：如果主机/etc/passwd中，没有对应的UID用户会怎么显示。一开始，产生了极其错误的想法：先在主机上创建一个使用容器的普通用户，假设为zhangsan. UID为1000。 由于登录容器的用户是root, 把容器内/etc/passwd中的root的UID修改为1000.这样当容器内运行程序时，主机的top会显示User为张三。但是修

原创 3.2 不变因子和初等因子

1. 行列式因子1.1 定义1.2 定理2. 不变因子

原创 3.1 λ––矩阵

1. λ 矩阵1.1定义1.2 秩1.3 单位模阵1.4 定理1.5 初等变换1.6 λ 矩阵的等价1.7 一个引理1.8 Smith 标准型

转载 Yarn 监控管理和资源管理

1. Yarn 监控管理1.1 Web UI 界面1.2 JobHistoryServer1.3 TimeLine Server

原创 顺序栈

1. 定义头文件#ifndef __SQSTACK_H__#define __SQSTACK_H__#include <stdio.h>#include <stdlib.h>typedef int datatype;typedef struct { datatype *data; int maxlen; // 栈的长度 int top; //栈顶指针}sqstack;//创建栈 sqstack* stack_create(int len);//

原创 顺序表

1. 头文件#ifndef __SEQLIST_H__#define __SEQLIST_H__#define MAXSIZE 100typedef int data_t;typedef struct { data_t data[MAXSIZE]; int last;// 数据的下标 }seqlist_t;seqlist_t* create_seqlist(void);void clear_seqlist(seqlist_t *L);int is_empty_seqlist

转载 Hadoop Yarn 入门

1. Yarn 产生和发展简史

原创 2.4 特征值与特征向量

引入定义几何意义求法例题性质性质1性质3特征子空间对角矩阵圆盘定理不变子空间...

原创 Innodb 体系结构

物理结构逻辑结构

原创 数字运算处理

数字格式化public class DecimalFormatSimpleDemo { // 使用实例化对象时设置格式化模式 static public void SingleFormat(String pattern, double value) { // 实例化DecimalFormat对象 DecimalFormat myFormat = new DecimalFormat(pattern); String output = myFormat.format(value);

转载 MapReduce代码和优化

1. IDEA 配置2. Job 类2.1 Job.waitForCompletion2.2 Job. submitsubmit()：总共可分为两大步：第一步是和集群进行连接，第二步是往集群提交作业。connect() 就是为了与集群进行连接，底层使用了RPC协议，针对本地集群和Yarn集群两个不同的集群，给我们封装了localJobRunner和YARNRunner，两个真正的与集群通信的客户端。连接后，就可以提交作业了3. Ma..

原创 链表

1. 定义头文件#ifndef __LINKLIST_H__#define __LINKLIST_H__#include <stdio.h>#include <stdlib.h>typedef int datatype;typedef struct linklistnode{ datatype data; struct linklistnode *next;}linklist;linklist* create_linklist();//边输入边创建l

转载 MapReduce 高级

1. MapReduce Counter 计数器

原创 String字符串处理

1. 字符串创建2. 字符串连接3. 获取长度4. 字符串查找5. 获取指定索引位置的字符6. 字符串操作6.1 获取子字符串6.2 去除空格6.3 字符串替换6.4 判断字符串开头和结尾6.5 判断字符串是否相等6.6 字母大小写转换6.7 字符串分割7. 字符串格式化8. 正则表达式正则表达式位于：java.util.regex.Pattern8.1...

原创 2.3 线性变换与矩阵

1. 线性变换，基与基的像2. 线性变换的矩阵2.1 定义2.2 性质3. 向量像的计算公式4. 线性变换在不同基下的矩阵关系5. 相似矩阵5.1 定义5.2 性质...

原创 2.2 线性变换的运算

1. 线性变换的乘积1.1 定义1.2 性质2. 线性变换的加法2.1 定义2.2 性质2.3 运算规律3. 线性变换的数量乘法3.1 定义3.2 运算规律4.线性变换的逆变换4.1 定义4.2 性质5. 线性变换的多项式5.1 线性变换的幂5.2 线性变换的多项式...

原创 linux下安装软件

1. 安装jdk1. 下载jdkhttps://www.jb51.net/softs/551521.html2. 创建存放jdk的路径cd /opt/jdk/3. 解压到该路径tar -zxvf jdk...4. 配置环境变量sudo vi ~/.bashrc在文本末尾追加内容#set oracle jdk environmentexport JAVA_HOME=/usr/lib/jvm/jdk-14.0.1 ## 这里要注意目录要换成自己解压的jdk 目录

原创 2.1 线性变换

1. 线性变化定义2. 线性变换性质3. 线性变换值域与核3.1 定义3.2 性质3.3 值域的结构

原创 Docker容器创建后问题

1. 通过ssh 连接容器安装ssh：Ubuntu安装和配置ssh教程_future_ai的博客-CSDN博客_ubuntu安装ssh安装之前要看是否更换了apt源,并更新。cd /etc/aptecho "deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiversedeb-src http://mirrors.aliyun.com/ubuntu/ bionic main restric

原创 1.4 内积空间

1. 定义 与 性质1.1 定义1.2 长度1.2.1 定义1.2.2 性质1.3 夹角1.3.1 定义1.3.2 三角不等式1.3.3 正交1.4 度量矩阵注意：这里的结论1通常 用于求两组向量的内积。2.向量的正交性与Schmidt正交化方法2.1 正交向量组的定义2.2 正交向量组的性质2.3 正交基定义2.4 正交基性质2.5 标准正交基求法...

转载 Hadoop_MapReduce

1. 初始mapreduce1.1 MR的思想

原创 栈

1. 链式栈1.1 定义typedef int datatype;typedef struct node{ datatype data; struct node *next;}listnode,*linklist;注意：这里使用typedef 定义结构体，这时在后面定义的不是变量名，而是结构体类型（类似int ,char）。我们就可以用listnode s1来定义s1这个变量1.2 方法// 创建链式栈 linklist linkstack_create();//判断链式

原创 1.3 线性子空间

1. 定义2. 非空子集构成子空间2.1 定义2.2 定理

转载 Hadoop_HDFS源码分析

1. 源码编译

原创 1.2 基数，维和坐标

1. 线性相关和线性无关1.1 定义1.2 几个常用结论2. 线性空间的维与基2.1 线性空间的维2.2 线性空间的基2.3 维与基的关系3. 基变换3.1 定义3.2 过渡矩阵3.3 运算规律3.4 坐标变换公式...