- 博客(25)
- 收藏
- 关注
RSS订阅原创 hive知识简单全面详解
1、认识Hive 1.1 Hive是建立在Hadoop上的数据仓库工具，可以借助提取、转化、加载技术存储、查询和分析查询在Hadoop中的大规模数据。使得开发人员使用相对简单的SQL语句，就可以操作Hadoop 处理海量数据。 对外提供HQL，在查询时HQL语句转换为MapReduce任务，在Hadoop层执行。 1.2 优点：提供了易于操作的类SQL查询语言HQL，不用再去写复杂的MapReduce程序，减少开发成本，上手快。利用MapRecuce计算引擎，HDFS作为存储系统，可以操作大数
2021-11-16 17:27:54
1495
原创 软件工程期末复习小结
1、软件分类：基于功能不同的系统软件、支撑软件、应用软件2、软件工程以关注质量为目标，其中过程、方法和工具是软件工程的三要素3、软件工程知识体系：软件需求：获取、分析、规格说明和确认软件设计：定义系统或组件的体系结构、组件、接口软件构建：编码、验证、单元测试、集成测试和调试软件测试：评价和改进产品的质量、标识产品的缺陷和问题软件维护：问题和改进的需要而修改代码和相关文档软件配置管理：控制系统地配置变更软件工程管理：结构管理、项目管理、度量程序软件工程过程：软件生命周期的定义、实现、评估、
2021-11-10 18:14:38
624
原创 大数据可视化技术应用学习目标与复习小结
大数据可视化技术与应用一、大数据可视化概述学习目标1.1 什么是大数据可视化：1.2 大数据可视化的类型1.3大数据可视化的标准1.4大数据可视化的作用1.5大数据可视化的特征二、大数据可视化原理学习目标2.1 光源种类，原色、间色、复色概念，关系2.2 可视化编码组成？可视化映射2.3简述数据可视化的流程2.4 解释格式塔原则2.5 可视化原则三、大数据可视化方法折线图和柱状图的区别？直方图和柱状图的区别文本可视化的过程什么是空间可视化四、数据可视化工具五、Excel数据可视化六、Tableau数据可视化
2021-11-03 17:22:48
3091
原创 YARN原理及工作流程详解
在集群部署方面，Yarn的各个组件是和Hadoop集群中的其他组件进行同一部署的在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时
2021-10-29 18:04:06
8077
1
原创 HDFS读写流程（全面深入理解）
1、HDFS写流程 （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。 （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。 （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
2021-10-27 18:55:15
3499
1
原创 MapReduce过程详解（非常全）
MapReduce算法执行过程（1）MapReduce框架使用InputFormat模块做Map前的预处理，比如验证输入的格式是否符合输入定义；然后，将输入的文件切分为逻辑上的多个InputSplit，InputSplit是MapReduce对文件进行处理和运算的实际单位（逻辑概念），每个InputSplit没有对文件进行实际切割，只是记录了要处理的数据的位置和长度。（2）InputSplit是逻辑切分，所以需要通过RecordReader(RR)根据InputSplit的信息来处理InputSplit
2021-10-26 10:58:14
7113
1
原创 第二天打开Xshell，Xshell突然连不上centOS虚拟机，为啥？？？
之前Xshell能连上CentOS虚拟机，网络一些配置啥的，我都调好了，也能ping通网络，虚拟编辑器和windows的虚拟网络设置都配好了总之之前一切都是配好，并且能用的第二天，我继续连接时候，我发现Xshell连不上了centos，？？？？？为什么？ why？起初，我以为是我虚拟机异常关闭导致，然后我又重新克隆了一台虚拟机，重配置里面的一些虚拟机名称，网络配置等等，后来随时我学到东西越来越多，虚拟机里的配好的文件也越来越多，如果我要删除的话，配置的东西太多，浪费的时间越久我打开xshell时显
2021-10-19 10:42:12
773
原创 chown、chmod后数字所表达的意思
-rw------- (600) 只有属主有读写权限。-rw-r–r-- (644) 只有属主有读写权限；而属组用户和其他用户只有读权限。-rwx------ (700) 只有属主有读、写、执行权限。-rwxr-xr-x (755) 属主有读、写、执行权限；群组用户和其他用户只有读、执行权限。-rwx–x--x (711) 属主有读、写、执行权限；而属组用户和其他用户只有执行权限。-rw-rw-rw- (666) 所有用户都有文件读、写权限。这种做法不可取。
2021-09-05 11:09:02
1036
原创 springboot切面
Springboot切面学习1、引入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></dependency>2、注解学习@Target({ElementType.TYPE})@Target用来表示注解作用范围，超过这个作用范围，编译的时候就会报错。（
2021-09-05 10:19:37
359
转载 HDFS shell全部命令详解
[xuyuan@hadoop102 ~]$ hadoop fsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] #是将一个或者多个文件添加到HDFS系统中。 [-cat [-ignoreCrc] <src> ...] #查看文件内容（可以查看本地和HDFS上的内容）。 [-checksum <src> ...] #查看校验码信息。（例子显示了MD5）
2021-09-05 09:05:46
318
原创 HDFS重点知识总结（JDK安装、SSH免密登录以及源码解析等）
1、Hadoop1.x、2.x、3.x区别Hadoop1.x组成Hadoop2.x组成MapReduce (计算+资源调度)MapRuduce（计算）Yarn（资源调度）HDFS（数据存储）HDFS（数据存储）Common（辅助工具）Common（辅助工具）Hadoop3.x在组成没有变化完全分布式！...
2021-09-05 08:30:20
176
原创 idea访问静态页面html报404
为什么报404呢？在网上查找了很多资料有人说是因为63342端口被占用了，要停掉端口号，也有人要在修改setting -> tools -> web browsers浏览器的路径还有人要修改解决办法：Setting --> Build, Execution, Deploment --> Debugger , 中的63342端口号，并勾选旁边的这两个选项。此时，我们就要根据自己的情况来判断到底采取哪一种方法而大家我看的这个下面的图片，这个路径是/blog0/blog，可见
2021-08-04 14:38:55
9851
4
转载 centOS通过yum安装docker此篇完全解决你的问题
找了好多好多，因为安装的是新版本，所以一直报错，最后按着这个成功安装好dockerhttps://www.cnblogs.com/yufeng218/p/8370670.html
2021-07-31 17:38:58
118
原创 后端Mybatisplus分页查询和前端thymeleaf框架分页接口的写法及Mybatis plus多表查询的实现
MyBbatis plus多种分页分页插件实体类和Mapper层单表分页和多表分页怎么写方法前端thymeleaf框架接口写法测试类!!!!从前端获取的字符串类型的字段 如何用Mybatis-plus进行分页???只实现两个表的连接查询这样写:Mybatisplus实现分页首先得引入分页插件,如果不引入肯定是不生效的啦!!分页插件首先引入分页插件@Configurationpublic class PageConfig { //这是旧的分页插件(mybatis-plus3.3.x版本及以下
2021-07-24 00:35:27
1262
2
转载 Git命令 仓库基础操作
git 命令仓库基本管理初始化一个Git仓库(以/home/gitee/test文件夹为例) $ cd /home/gitee/test #进入git文件夹 $ git init #初始化一个Git仓库将文件添加到Git的暂存区 $ git add "readme.txt" 注：使用git add -A或git add . 可以提交当前仓库的所有改动。查看仓库当前文件提交状态（A：提交成功；AM：文件在添加到缓存之后又有改动）$ git stat
2021-07-22 09:18:20
78
原创 o.s.web.servlet.PageNotFound : No mapping for GET XXXXX的问题
查了好久，检查了好久，最后发现直接url地址也访问不到静态文件。那么一定是被拦截了。可以去我们的拦截器下面，看看是不是加了 WebMvcConfigurationSupport。把 WebMvcConfigurationSupport换成 WebMvcConfigurerAdapter就可以了...
2021-07-14 16:53:11
6613
1
原创 vmware workstation 16 pro的下载安装
vmware workstation 16 pro的下载安装1、百度搜索版本，进入对应的官网，找到对应的版本进行下载，也可以直接点击下面的链接进行下载。https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html2、下载好的安装包3、根据安装图片提示进行安装最后只需要等待安装完成就好了，下面我将继续更新安装Linux系统（CentOS7）的内容。...
2021-07-09 10:13:33
1421
原创 安装Linux系统（CentOS7）的详细步骤
一、安装前准备1、安装成功后，界面如下2、 开启计算机虚拟化技术:（很多计算机时开启的，等创建虚拟机时提示未开启虚拟化，再操作也可以）1).开机长按F2(Fn+F2)(不同的电脑可能有所不同,百度搜索自己机型的开启BIOS方法)，进入BIOS；2).BIOS中依次选择：Advanced（高级）——CPU Configuration——Secure Virtual Machine，设置为：Enabled（启用）就行了3）保存退出，并重启计算机...
2021-07-08 14:49:53
725
原创 虚拟机CentOS7配置静态ip（过程最全，不出错）、时区设置以及linux基本命令
虚拟机CentOS7配置静态网卡、时区设置以及linux基本命令1、设置静态网卡（ip地址）（1）CentOS7开机时，要以root用户登陆：登录到桌面时，不要直接点击用户名，而是选择“not list"，然后输入root，输入密码即可进入。（2）打开终端，输入“ip addr”可以查看ip地址，查看网卡名称如下图所示，我的网卡名称是第二个：（3）输入“cd /etc/sysconfig/network-scripts/”按回车键确定，继续输入“ls”按回车键查看文件，确定网卡名称。（3）输
2021-07-08 11:54:44
432
原创 在idear中基于ssm框架做一个项目需要考虑的基本步骤
准备工作：1、建maven项目，在pom.xml引入相关依赖(依赖一般需要引入junit，数据库驱动，连接池，servlet，jsp，mybatis，mybatis-spring，spirng)，例外加下静态资源导出的代码2、在idear中连接数据库，并测试连接开始工作1、建立包的结构：用户层包、业务层包、控制层包2、resource下建xml核心配置文件，关联数据库database.properties（mybatis.configq去添加别名，这个类下的包增加实体类）3、增加实体类（实体类字
2021-06-01 10:18:26
125
原创 arraylist和linklist的区别（适用于面试，简明明了）
arraylist:1.底层实现是数组，开辟一段连续的内存空间存放数据2.插入、删除耗时，查询效率高linklist:1.底层实现是链表，随机开辟新空间存放元素，内存空间不连续2.插入、删除效率高，查询效率低...
2021-05-31 14:38:53
116
原创 spring中发现了以元素 ‘property‘ 开头的无效内容 可能的原因之一
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-04-25 10:19:43
1017
原创 YARN工作流程
在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时， RourerMamnger 的应用程序管理器会与该容器所在NodeManger
2020-12-30 12:26:44
265
2
原创 联想拯救者y7000电脑开机一直是锁屏界面，点一下就黑屏，无法进入输密码界面
开机时时锁屏界面，点一下就黑屏，一直循环，无法进入输密码的界面解决办法：拔掉电源，按开机键20秒，在插上电源开机
2020-12-30 10:03:28
10531
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人