- 博客(46)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 HIVE 总结 五 Hive 查询
HIVE 总结 五 Hive 查询本篇总结hive操作的查询,毕竟在工作中查询才是用的最多的.而hive的查询基本上跟MySQL的查询是一样的.文章目录HIVE 总结 五 Hive 查询1.基本查询2.分组查询3.jion4.排序1.基本查询语法SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition]
2020-08-01 16:07:08
2851
1
原创 HIVE 总结 四 Hive DML数据操作
HIVE 总结 四 Hive DML数据操作本篇总结hive操作的数据的语法语句,这是常用的sql语法,毕竟用的多的还是CRUD1.数据导入语法load data [local] inpath ‘数据的path’ [overwrite] into table student [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表（3）inpath:表示加
2020-08-01 09:12:21
427
原创 HIVE 总结 三 Hive DDL数据定义
HIVE 总结 三 Hive DDL数据定义本篇总结hive的数据定义,也就是表,库相关的操作命令关于hive的介绍,安装在前面两篇文章里面文章目录HIVE 总结 三 Hive DDL数据定义1.建库2.库的查询,修改,删除3.建表4.表的修改,删除,清除5.内部表(管理表)和外部表的区别1.建库语法CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][
2020-07-31 20:49:41
360
原创 HIVE 总结 二 Hive安装,配置,tez,及常用命令和数据类型
HIVE 总结 二 ,配置,tez,及常用命令和数据类型文章目录HIVE 总结 二 ,配置,tez,及常用命令和数据类型1.MySQL最小化安装在这里插入图片描述2.Hive 安装3.安装tez引擎4.启动Hive5.常用命令6.常见属性7.hive数据类型1.MySQL最小化安装检查系统上是否有残留的SQL,先进行卸载工作rpm -qa |grep mariadbsudo rpm -e --nodeps mariadb-libs将MySQL的安装包(.tar)拷贝到服务器上,进行解压
2020-07-30 14:53:21
475
原创 HIVE 总结 一 概述
HIVE 总结 一 概述基本概念由Facebook开源用于解决海量结构化日志的数据统计工具基于Hadoop的一个数据仓库工具,可以将结构化的数据映射为一张表,并提供类SQL的查询功能本质:是调用hadoop中yarn中container容器中的计算程序(引擎)Hive 处理的数据存储在HDFSHive 分析数据底层实现是MapReduce执行程序运行在yarn上优点SQL语法,简单易上手替换MapReduce编写,降低开发和学习成本基于hadoop,支持海量
2020-07-29 21:30:44
153
原创 Hadoop总结 六 HDFS 一 HDFS基础
Hadoop总结 六 HDFS 一 基础6.1 HDFS 概述HDFS 只是分布式文件管理系统中的一种HDFS 是一个文件系统,通过目录树定位文件,是分布式的HDFS 适合一次写入,多次读出的场景,且不支持文件的修改,适合文件存储和数据分析优点:1.高容错性数据自动保存多个副本,通过增加副本的形式提高容错性某个副本丢失,可以自动恢复2.适合处理大数据数据规模:能处理数据规模达到GB,TB,PB级别的数据文件规模:能够处理百万规模以上的文件数量3.可以构建在成本较低的
2020-07-28 23:53:12
141
原创 Hadoop总结 五 配置历史服务器 配置集群日志
Hadoop总结 五 配置历史服务器 配置集群日志5.1 配置历史服务器配置mapred-site.xml在该文件中增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop103:10020</value></property><!-- 历史服务器web端地址 -
2020-07-28 20:49:06
370
原创 Hadoop 总结 四 配置集群
Hadoop 总结 四 配置集群分析:至少需要三台虚拟机(主机)(关闭防火墙,静态IP,主机名称)需要安装好JDK,Hadoop,以及环境变量的配置需要配置好集群需要单点启动需要节点间ssh配置启动并测试集群虚拟机准备见前两章,并将hadoop103,hadoop104进行同样的配置编写集群分发脚本#scp 安全拷贝 方式#语法:scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname#例:在Hadoop102上将jdk
2020-07-28 20:31:13
163
原创 Hadoop 总结 三 hadoop目录结构以及运行模式
Hadoop 总结 三 hadoop目录结构以及运行模式3.1 hadoop目录结构#查看目录ll总用量 52drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bindrwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etcdrwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 includedrwxr-xr-x. 3 atguigu atguigu 4096
2020-07-28 18:55:27
161
原创 Hadoop 总结 二 环境搭建(二)
Hadoop 总结 二 环境搭建(二)2.3. 安装JDK ,Hadoop卸载自带的JDKrpm -qa | grep -i java | xargs -nl sudo rpm -e --nodeps上传JDK,Hadoop压缩包使用FTP工具上传到/opt/software目录下,版本选择JDK1.8,Hadoop3.2安装JDK#查看压缩包是否上传成功ll /opt/software#解压JDK到/opt/module文件夹下面tar -zxvf jdk-8..
2020-07-28 17:00:27
131
原创 Hadoop 总结 二 环境搭建(一)
Hadoop 总结 二 环境搭建(一)2.1. 准备虚拟机模板本系列采用Linux系统环境 CentOS-7版本基本参数配置内存3-4G,硬盘20G-50G,进行小规模的测试,cpu 2核心关于网络,如果是一台真实主机安装虚拟机那么就采用nat网络模式,如果是真实的主机那么保证外网互相能联通或者局域网内能联通.准备环境#1.测试能联网ping www.baidu.com#2.安装必要的组件yum install -y epel-releaseyum install
2020-07-28 16:11:26
169
原创 Hadoop 总结 一 入门介绍
Hadoop 总结 一 入门介绍1.1 是什么?Apache基金会的 分布式系统基础架构应用于海量数据的存储,分析,计算的问题广义上讲,Hadoop通常指----Hadoop生态圈,类似Java开发中所指的spring,及spring全家桶的概念.1.2 Hadoop优势高可靠性:Hadoop底层维护多个数据副本存在于不同的DataNode上,所以可能有节点挂掉,也不会导致数据丢失,这里排除绝对的意外情况,比如自然灾害,或者人为因素.高扩展性:在集群中分配任务数据,可以方便的扩展大量
2020-07-27 21:36:52
115
原创 Java实现排序算法之冒泡排序
值得键盘敲烂的代码- 冒泡排序排序算法冒泡排序冒泡排序动图：排序算法冒泡排序/*面试警告：总所周知，这是面试题中出现频率较高的题 举个栗子：使用冒泡算法把一个一列数字从小到大进行排列，请把代码描述一下*///脸滚键盘 造个数组int [] array =new int[]{123,31,4,5,45,56,5,6,675,67,67,13,24,235,34,5345};//进行冒泡排序，得搞清楚怎么个冒泡法//1. 比较相邻的元素。如果第一个比第二个大，就交换他们两个//2. 对每
2020-07-11 11:10:37
152
1
原创 充电时刻，通俗易懂的数据结构与算法之稀疏数组与二维数组的转换，附代码
稀疏数组目录：1.简介2.代码实现3.总结思考=======>内容部分1.简介所谓稀疏数组就是当数组中大部分的内容值都未被使用（或都为零），在数组中仅有少部分的空间使用。因此造成内存空间的浪费，为了节省内存空间，并且不影响数组中原有的内容值，我们可以使用稀疏数组去压缩数据。举个栗子：比如说围棋棋盘，五五子棋棋盘，需要存储下棋顺序和棋盘棋子的数据；大多数的棋...
2020-04-02 14:01:45
238
2
原创 jsp+servelt项目，web规范4.0，使用注解开发遇到的问题
1.问题描述当我使用javaweb4.0规范开发时，创建的servlet是这样的，然后当我启动的时候，就会抛出一下异常ContainerBase.addChild: start: 容器添加子程序org.apache.catalina.LifecycleException: Failed to start component 【阿帕奇，容器生命周期异常：启动组件失败】[Standa...
2019-12-12 15:32:57
596
2
原创 IDEA右键创建servlet，没有servlet选项的解决办法
IDEA右键创建servlet，没有servlet选项的解决办法1.问题描述 最近在写一个javaweb项目，使用的是jsp+servlet+sql server，但是在IDEA中创建好项目后，在搭建结构的时候，创建servlet文件去没有选项。在网上所搜半天，找到很多雷同的博客都说需要在dependencies中添加Tomcat中关于jsp和servlet的jar。但是我没有使用mav...
2019-12-12 14:59:21
36680
60
原创 解决IE浏览器打印iframe页面时字体等样式缩小的问题
解决IE浏览器打印iframe页面时字体等样式缩小的问题目录1.问题描述2.解决方案3.代码1.问题描述 问题主要集中于打印 iframe， 前端调用浏览器打印功能，在谷歌，火狐浏览器上预览打印内容，和真实打印内容都是页面的正常样式。但是在IE浏览器中调用打印，以及打印出来的内容样式就会发生改变，字体样式缩小，页面被缩放等。在百度诸多的文章后，找到了解决办法。2...
2019-11-20 11:09:30
1512
1
原创 记一次MySQL安装启动发生的问题解决“mysql: can't find messagefile './errmsg.sys'”
1.从同事那里拷贝的压缩包，解压之后就能用（在之前的电脑上），所以没有出现问题，但是在新的电脑上启动不了2.在D盘MySQL的解压目录下运行CMD工具，运行命令mysqld -install执行结果没有成功，解决方案：使用管理员打开方式打开cmd,再执行在执行成功后，在服务中已经能看到MySQL服务了3.使用命令行net start MySQL 启动服务：失败直接在服务中点...
2019-09-05 15:19:29
22827
8
原创 （闭关修炼第一周）MY SQL优化知识点 七 避免索引失效
避免索引失效 1.IN in会导致索引失效 2.复合索引 符合索引，跨列，无序使用 符合索引，尽量使用全索引匹配 索引定义多少，就使用多少 对于复合索引而言，左边的失效了，那么右边的也会跟着失效 对于符合索引而言：不能使用！=，<>,is null ,is not null ，这会导...
2019-07-06 18:07:19
167
原创 （闭关修炼第一周）MY SQL优化知识点 六 单表优化、多表优化
广告============================================广告（可略过广告部分）花了一周时间摸了一下MySql的优化，也花了时间做了一张思维导图，如果有需要的同学可以在下面留个言，留个邮箱，在下免费发送给你。因为想要骗个赞和访问量什么的~正文==============================================正文单表优化...
2019-07-06 18:03:18
176
2
原创 （闭关修炼第一周）MY SQL优化知识点 五 SQL性能问题
广告============================================广告（可略过广告部分）花了一周时间摸了一下MySql的优化，也花了时间做了一张思维导图，如果有需要的同学可以在下面留个言，留个邮箱，在下免费发送给你。因为想要骗个赞和访问量什么的~正文==============================================正文SQL性能问题...
2019-07-06 17:59:09
167
1
原创 （闭关修炼第一周）MY SQL优化知识点四 索引入门
广告============================================广告（可略过广告部分）花了一周时间摸了一下MySql的优化，也花了时间做了一张思维导图，如果有需要的同学可以在下面留个言，留个邮箱，在下免费发送给你。因为想要骗个赞和访问量什么的~正文==============================================正文索引 ...
2019-07-06 17:54:59
201
4
原创 （闭关修炼第一周）MY SQL优化知识点三 索引-B树
广告============================================广告（可略过广告部分）花了一周时间摸了一下MySql的优化，也花了时间做了一张思维导图，如果有需要的同学可以在下面留个言，留个邮箱，在下免费发送给你。因为想要骗个赞和访问量什么的~正文==============================================正文索引-B树...
2019-07-06 17:50:23
145
原创 （闭关修炼第一周）MY SQL优化知识点二MySql 中SQL 语句解析过程
广告============================================广告（可略过广告部分）花了一周时间摸了一下MySql的优化，也花了时间做了一张思维导图，如果有需要的同学可以在下面留个言，留个邮箱，在下免费发送给你。因为想要骗个赞和访问量什么的~正文==============================================正文MySql ...
2019-07-06 17:47:06
145
1
原创 （闭关修炼第一周）MY SQL优化知识点一MY SQL 分层+存储引擎
花了一周时间摸了一下MySql的优化，也花了时间做了一张思维导图，如果有需要的同学可以在下面留个言，留个邮箱，在下免费发送给你。因为想要骗个赞和访问量什么的~MY SQL 分层+存储引擎 分层 连接层 提供与客户端和服务层连接的服务，连接客户端请求和服务层的接口，（相当于springmvc中的disparchelerServlet） ...
2019-07-06 17:41:19
190
1
原创 小众框架JeePlus的理解
这两个月修炼了jeeplus相关的东西，如果有新入手jeeplus的兄弟们可以在此博客下面留言，若是能力所能及之处，必不会吝啬。关于jssplus，一个可以自动根据表生成代码，提供了一些jeeplus中常用的工具类，以及包装了sping的一些常用方法，封装了mybatis，让开发变得轻便起来。代码结构什么的都已经jeeplus都已经帮我们生成了，但是这也代表着系统包装的东西太多，就算是什么也不...
2019-05-17 10:17:28
8231
17
原创 关于java引用传递，对象调用的实验
闲话少说线上代码，在给分析/** * @Auther: qianshanmuxue * @Date: 2019/3/21 09:53 * @Description: */public class test { class A{ String a; String name; public String getA() { ...
2019-03-21 14:31:10
257
1
原创 Readis学习——一、简介
Redis 简介个人理解：可以理解为：key-value（可以是复杂的数据类型）数据库。以前在学习开发过程中一般涉及到到的是关系型数据库：mysql、orcl。。。在涉及到物理性能的瓶颈，在现在这个流量横行的时代，所有的网络速度都会受限于物理硬件，比如cpu，内存条，机械硬盘，固态硬盘的读写速度。所以在有限的硬件读写机制下提升软件执行的效率，就成了必然必须的研究课题。而相对re...
2019-03-13 23:09:11
10805
原创 springboot中使用过滤器，jsoup过滤XSS脚本
背景：略目标：完成request请求中的脚本过滤技术：filter,jsoup,requestWapper1.把可能包含脚本的参数位置分析一下---------------------------------post/put/delete： 请求的参数中，有可能是表单提交、也有可能是使用了@requestBody注解，那么参数就是json格式，位于request的流中。g...
2019-02-28 23:31:27
2580
3
原创 @Pattern的用法
@Pattern(regexp = "\\w+$")把这个注解加在entity的参数上，可以选择分类也可以默认；关于注解中需要传的参数：一般默认就填入正则表达式即可，但是java中字符串需要转义，这个需要注意一下。@Pattern(regexp = "\\w+$")private String userName;在user传参或者controller层中的添加@Vali...
2019-02-21 16:53:26
79848
6
原创 jpa读取表中数据如果实体类中指定的ID有重复
jpa读取表中数据如果实体类中指定的ID有重复JPA是根据实体类中的配置去查找表；实体类有@ID这个注解，而这个注解可以再数据库表没有指定主键时任意挂在其他属性上，并且不是必须；如果@ID挂的属性，在表中有多条记录的该属性是相同的，那么查询出来的结果就是@ID所在属性相同数据的所有属性都相同，与@ID所在属性相同的第一个数据相同（真实遇见过的情况）；解决办法：4.1. 把@ID放到其他...
2019-02-18 10:03:55
1170
1
原创 springboot+swagger从看到自己动手配
这是一个swagger接口文档页面，至于swagger有什么好处我就不说了，网上一大堆，现在我记录一下怎么在springboot中配置swagger。1.添加依赖，网上也有很多依赖的版本，现在我这个是比较新也比较主流的版本。 <dependency> <groupId>io.springfox</groupId>...
2018-10-24 10:08:42
136
原创 精心收集java面试题
准备面试，想突击复习一下java基础和基本的开源框架，和数据库知识。只是把我自己浏览过的，觉得nice的博客或者网站放在这里，有需要的拿去看。java基础一，java基础二IO字节流和字符流相互转换，JAVA终止线程，JVM五大区，垃圾回收的流程拦截器和filter，数据库查询优化，spring面试题一、spring面试题二（推荐，比较全），AOP面向切面编程，spri...
2018-08-23 17:26:12
186
原创 偶遇springboot+CROS解决跨域的问题
问题：一个项目总有一些公开的接口，而这些接口用于提供对外的请求。跨域请求当一个资源从与该资源本身所在的服务器不同的域或端口请求一个资源时，资源会发起一个跨域 HTTP 请求。什么是同一个域？同一协议，同一ip，同一端口，三同中有一不同就产生了跨域。什么是跨域：跨域是指 不同域名之间相互访问。跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器对J...
2018-08-18 15:59:19
465
原创 流程引擎Activiti到底是个什么鬼？
今天接触了流程引擎Activiti,初次与他相遇，恰如雨后初雪，让我感受到了代码的恶意。http://www.mossle.com/docs/activiti/index.htmlhttp://www.mossle.com/docs/activiti/index.html#download闲话少说，这是他的官方文档地址，和下载地址，但是是5.16版本的。这玩意更新的太快了，两个月就更新...
2018-08-16 17:37:30
11239
原创 WIN10 GIT BASH 闪退问题终极解决方案
这两天，终于受不了自己电脑的卡顿，又由于工资不够也没发没有钱更新自己的设备，所以选择了自己重装了系统。自己手动重装了win10 64位的纯净版系统，其实一点也不纯净。重装完毕，更新驱动，卸载垃圾软件，填补漏洞……进入正题，重装了Git，在安装的过程中，没有出现错误，但是在运行的时候，右键 GIT BASH 却是出现了闪退，然后出现了错误日志文件。把错误日志文件打开看了，经过一番深入研究，我发现...
2018-08-09 16:49:14
4123
2
原创 与Jsoup的那些事
大约是在四月份，和同学一起做了一个基于用户兴趣的新闻推送系统，由我负责后端开发。期间遇到的问题就是新闻数据的来源，（肯定是要去那些新闻门户网站去那啥的是不是），最后采用的java写爬虫，java写爬虫也有很多中方法。我选择了最简单的Jsoup。嘿嘿嘿。http://www.open-open.com/jsoup/这是Jsoup的官方中文文档网址，反复翻阅即便即可。使用Jsoup很简...
2018-08-07 19:08:13
129
原创 关于QRcode的代码，批量生成二维码的技术
话不多数，直接上源码，再进行的分析。/*** * * ClassName: QRcode * @Description: getQRcode * @author GuCheng * @date 2018-7-26 */public class QRcode { /*** * * <p>Description: one QRcode&l...
2018-08-07 10:32:19
2868
win10 git bash 闪退null.sys大全，三个版本的null.sys
2018-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人