凌云网络之昂chan-CSDN博客

原创数据仓库项目需求分析

一、简述数据仓库项目是一个复杂的过程，项目的开发涉及到多方面的问题和风险：技术风险、数据质量问题、项目管理问题，但最项目中中最隐蔽、最容易忽略、最难控制的一环，就是需求的调研和分析。需求分析不深入、不准确的结果就是系统完成后没有人愿意使用它。因此我们要采取有效的措施的来避免这种情况。二、需求分析的原则1、让用户参与，尽力让用户的高层参与，双方要紧密配合2、要迅速、全面的理解用户的业务及工作...

2019-07-01 08:32:21 1828

原创 YARN原理及其工作流程

一 YARN组成元素及其功能RM:YARN的管理者NM:YARN的执行者二 YARN工作原理首先数据上传到集群中.然后将写好的程序打成架包通过命令提交MR作业.提交到集群后由集群管理者MR开始调度分配资源.到HDFS读取数据执行MapReduce相关进程对数据进行计算三具体流程第一步: Client执行main()函数中runjob();开启作业第二步:client向RM发送作业...

2019-06-11 20:17:51 1439

原创使用hexo和git实现多地更新和配置博客源文件

使用hexo写博客的一个问题就是源文件都是在本地的，如果换了电脑需要更新博客时就会比较麻烦。目前，觉得比较靠谱的办法就是用github来管理了。主要的思路是利用git分支实现hexo生成的静态博客文件默认放在master分支上。hexo的源文件（部署环境文件）可以都放在hexo分支上（可以新创建一个hexo分支），换新电脑时，直接git clone hexo分支一、hexo搭建博客原...

2019-05-29 23:41:15 799

原创 MapReduce Shuffle 和 Spark Shuffle 详解

Shuffle简介下图是MapReduce Shuffle的官方流程：shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分...

2019-05-28 22:48:45 639

原创 HDFS 基本原理

随着互联网的发展，数据日益增多，增长超过了单机能够处理的上线，数据如何存储和处理成为了科技公司的难题，随着google的三篇论文的发布，大家终于找到了一个方案-分布式文件系统+MapReduce。Hadoop是参考google论文实现的，集成了分布式文件系统与分布式批处理平台。hadoop的设计目标是用来解决大文件海量存储和批处理的，为了避免单个节点故障导致数据丢失，设计副本冗余机制。本文将主要...

2019-05-28 19:36:15 203

原创 centos7下yum安装mysql5.7

1、构建下载仓库在/etc/yum.repos.d/下新建mysql-community.repo如下所示：# Enable to use MySQL 5.7[mysql57-community]name=MySQL 5.7 Community Serverbaseurl=https://repo.mysql.com/yum/mysql-5.7-community/el/7/$...

2018-10-24 16:14:12 189

原创关于centos7下yum安装报错问题解决方法Cannot find a valid baseurl for repo: base/7/x86_64

1、首先备份 CentOS-Base.repo sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 2.将yum源配置文件/etc/yum.repos.d/CentOS-Base.repo改为清华源，内容如下:# CentOS-Base.repo## The mirror s...

2018-10-24 15:50:51 33884 4

转载安装Metron

安装Metron欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Mark...

2018-09-20 12:39:20 1293

原创 Centos7上搭建Hadoop3.1.1集群

分配IP先在草稿纸上分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。IP 主机名 192.168.85.101 node1 192.168.85.102 node2 192.168.85.103 node3 再将以上表格内的内容写入/etc/hosts中（每个都要写）echo '192.168.85.101 node1' &g...

2018-08-22 18:52:47 5792 5

原创 linux查看日志文件内容命令tail、cat、tac、more、head、echo

linux查看日志文件内容命令tail、cat、tac、head、echotail -f test.log你会看到屏幕不断有内容被打印出来. 这时候中断第一个进程Ctrl-C,---------------------------linux 如何显示一个文件的某几行(中间几行)从第3000行开始，显示1000行。即显示3000~3999行cat filename | tail -...

2018-08-21 16:45:49 360 1

原创 hadoop3.1.1下MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法

Hadoop3.1.1下成功安装后，进行MapReduce操作出现错误：错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster解决办法：在命令行下输入如下命令，并将返回的地址复制。hadoop classpath# 编辑yarn-site.xmlvim yarn-site.xml添加如下内容&lt...

2018-08-15 20:14:06 17644 21

原创实验吧CTF密码学Writeup

1、变异凯撒对照ASCii码，差值递增a-f f-l Z-a _-g2、传统知识+古典密码六十甲子表辛卯，癸巳，丙戌，辛未，庚辰，癸酉，己卯，癸巳28+60 30+60 23+60 8+60 17+60 10+60 16+60 30+6088 90 83 68 77 70 76 90X Z S D M F L Z栅栏解密 XMZFSLDZ 凯撒解密 SHUANGYU3、tr...

2018-08-11 13:52:28 4644

原创 python pandas 中文件的读写——read_csv（）读取文件

read_csv()读取文件1.python读取文件的几种方式read_csv 从文件，url，文件型对象中加载带分隔符的数据。默认分隔符为逗号 read_table 从文件，url，文件型对象中加载带分隔符的数据。默认分隔符为制表符（“\t”） read_fwf 读取定宽列格式数据（也就是没有分隔符） read_cliboard 读取剪切板中的数据，可以看做read_table的剪...

2018-08-09 17:10:51 3919

原创 Linux学习之路- - - -73条日常shell命令汇总

1.检查远程端口是否对bash开放：echo >/dev/tcp/8.8.8.8/53 && echo "open"2.让进程转入后台：Ctrl + z3.将进程转到前台：fg4.产生随机的十六进制数，其中n是字符数：openssl rand -hex n5.在当前shell里执行一个文件里的命令：source /home/user/file.name6.截取前5个...

2018-08-09 14:25:18 417

原创 Linux学习之路- - - -vim使用

安装sudo apt-get install vim // Ubuntu其他平台，可以自行谷歌新手指南vimtutor // vim 教程上面是史上最简单，最全面的 Vim 基础教程，至今无人超越下面是作者基于上面的归纳移动光标# hjkl# 2w 向前移动两个单词# 3e 向前移动到第 3 个单词的末尾# 0 移动到行首# $ 当前行的末尾# gg ...

2018-08-09 14:09:19 146

原创 Linux学习之路- - - -97条必须掌握的命令

1.ls [选项] [目录名 | 列出相关目录下的所有目录和文件-a 列出包括.a开头的隐藏文件的所有文件-A 通-a，但不列出"."和".."-l 列出文件的详细信息-c 根据ctime排序显示-t 根据文件修改时间排序---color[=WHEN] 用色彩辨别文件类型 WHEN 可以是'never'、'always'或'auto'其中之一白色：表示普通文件 ...

2018-08-09 14:05:32 402

原创 centos7下搭建NAT和DHCP服务器

什么是NAT？NAT（Network address translation）即网络地址转换，作为一种过渡解决手段，可以用来减少对全球合法IP地址的需求。简单的说，NAT就是在内部专用网络中使用内部地址，而当内部节点要与外界网络发生联系时，就在边缘路由器或者防火墙处，将内部地址转换成全局地址，从而使得在外部公共网（Internet）上使用一个和数个合法IP地址正常传输数据。其中，这里的外网和...

2018-08-09 13:35:46 1721

原创 centos7 安装docker-ce社区版，最新版本docker，docker阿里云加速

直接用yum install docker -y安装的docker版本为1.12，但是docker发展很快，现在都18.06.0了。docker-ce是指docker的社区版卸载老版本的 docker 及其相关依赖安装 yum-utils，它提供了 yum-config-manager，可用来管理yum源添加yum源更新yum索引启动 docker验证是...

2018-08-09 11:19:09 344

原创 win10如何更改C盘下的用户名

1、修改注册表修改自己用户名对应的ProfileImagePath值，修改为你要改成的英文名字.HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\ProfileList的某一子项（S-1-5-21...开头的）2、注销并重新登录.系统会提示你使用的临时用户，弹出一个提示窗告诉你注销或者隐藏，不用理会.3、...

2018-08-07 13:17:28 7639