- 博客(52)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MySql row_number TOP5 排队 编号
报表统计，要求展示会员第一次购买、第二次购买、第三次购买金额与流水号。如果不是使用MySQL，直接使用row_number函数对一个会员购买次数进行排序就可以了，但是目前MySQL5.16不支持row_number函数。所以查询了下资料，使用MySQL简单进行流式处理。SELECT IF (@num = sale.vip_code, @rank := @rank + 1, @rank := 1 ) AS rank, @num := sale.vip_code vip_code ,--
2020-08-26 16:10:24
479
原创 Linux 磁盘容量不足解决方案
查看磁盘容量df -h查看是哪个目录占用的文件最大,定位到目录或者文件du -sh /* |grep G查询大文件du -h --max-depth=1查询指定目录下面的文件大小du -h --max-depth=1 /path使用find命令查找大于200M文件find / -type f -size +200M查询大于200M且去除不必要的文件的具体大小find / -type f -size +200M 2>/dev/null|xargs du -shm按照大小排序fi
2020-07-09 10:30:49
523
原创 element ui el-date-picker时间选择器 选择时间比v-model少8小时的问题
最近修复一个BUG，关于element 的el-date-picker时间选择器标签。问题是这样的，我选中2020-05-25 00:00:00号日期，v-model获取的是2020-05-14T16:00:00.000Z。。。。。。如下图点击后打印的v-model。这是时区少8个小时，见有人说换成北京时间就可以了，这个应该是可以的，可是我不太会换。。。。。。。然后就是各种百度，发现这种问题的答案还挺多，就是将日期格式改为value-format="yyyy-MM-dd".是的，解决方...
2020-05-23 13:35:16
3236
2
转载 SpringBoot :同一个类中调用另一个方法没有触发 Spring AOP
转载自：https://blog.csdn.net/jiankangcs/article/details/78429329最近做项目，没有时间写博客，后悔了，这博客都好几个月没更新，立个flag，最低一周一更，搬砖不能停止思考一直没有触及AOP切面技术，偶然机会发现该博客，感觉写的很好，先记录，慢慢学习。一直只知道调用同一个类方法注解会失效，从来没有思考过原因，看过该作者剖析以及解决办...
2020-05-07 08:47:10
1936
2
原创 Windows环境安装Redis集群一键部署
1、环境安装Redis cluster（redis集群）是在版本3.0后才支持的架构。Redis启动需要使用ruby安装环境，就好java需要JVM一样。本文搭建环境为三主三从。主节点与从节点：Adding replica 127.0.0.1:9003 to 127.0.0.1:9000Adding replica 127.0.0.1:9004 to 127.0.0.1:9001...
2019-12-10 22:47:42
576
原创 hive小操作·关于 spark2.4-读取hive3.1事务表
版本信息：spark2.4 hive3.1.1异常情况：使用 alter table * compact 'major'后，spark仍无法读取hive事务表中数据具体流程如下1、建表语句create table sugon_transaction(id Int,name String) clustered by (name) into 3 buckets stored ...
2019-08-22 23:09:53
4873
1
原创 Spark2.4-----JVM 内存不足
1、虚拟机配置物理内存：3G磁盘大小：100G2、使用hive插入事务表提示内存不足如下Diagnostic Messages for this Task:[2019-08-20 14:10:13.903]Container [pid=33009,containerID=container_1566276450532_0003_01_000018] is running 3...
2019-08-22 23:05:10
953
1
原创 hive小操作·自定义函数 udtf
包含两个案例1、hive多列操作----行转列2、hive单列操作----使用split切分json数据一、udtf的介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求二、udtf的使用1、使用规则必须继承org.apache.hadoop.hive.ql....
2019-08-22 23:01:42
1100
原创 hvie小操作·自定义函数UDAF 总结
内容有两个1、使用AbstractGenericUDAFResolver类返回hive单列所有字符串字符个数；2、使用GenericUDAFResolver2接口返回hive表行数；配置：pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/PO...
2019-08-22 22:53:42
454
原创 hive操作·自定义聚合函数udaf
自定义UDAF操作自定义类需要继承AbstractGenericUDAFResolver类，或者实现GenericUDAFResolver2的接口，AbstractGenericUDAFResolver类本身也是实现GenericUDAFResolver2的接口，主要作用是实现参数类型检查和操作符重载1、自定义类中需要根据需求重写public GenericUDAFEvaluator...
2019-08-08 18:19:44
730
原创 hive小操作·Ieda下的hive-udf操作
代码环境：Windows10+Idea19-01+spring-boot2.1.6+jdk1.8jar包运行环境：centos虚拟机+Hadoop3.1.1+hive3.1.1+jdk1.8在idea中新建一个spring-boot项目，包含基本的就行，本项目中只包含一个web包，如下pom.xml其中使用idea做udf操作必须包含hive，和Hadoop-common两个包，而且必...
2019-08-06 18:06:53
305
转载 Hive分区表学习总结
转载资源：https://www.jianshu.com/p/69efe36d068b前言用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区1、建表语句先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表...
2019-08-02 08:57:53
132
原创 hive Permission denied: user=anonymous, access=WRITE
转载文章：http://blog.sina.com.cn/s/blog_c0dd8b4e0102ycsh.html/usr/hive/warehouse问题一：运行hive.sh或者hiveserver2.sh文件时报错：ls: 无法访问/home/asus/spark/lib/spark-assembly-*.jar: 没有那个文件或目录原因：hive.sh中有段代码如下...
2019-08-01 11:48:02
2774
原创 Hadoop集群datanode死掉或者secondarynamenode进程消失处理办法
转载文章：https://www.cnblogs.com/zhzhang/p/3966368.html当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。在坏死的节点上输入如下命令即可：hadoop-daemon.sh start datanodehadoop-daemon.sh start secondarynamenode...
2019-08-01 09:31:00
891
转载 HIVE ROW FORMAT 数据切分格式
转载资源：https://www.cnblogs.com/zkio/p/7283770.htmlHiveQL DDL语法规则包括CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX（创建 数据库/模式，表，视图，函数，索引） DROP DATABASE/SCHEMA, TABLE, VIEW, INDEX（删除 数据库/模式，表，视图，...
2019-07-26 12:00:14
5708
转载 Hadoop 3.1.2 + Hive 3.1.1
转载文章：https://www.cnblogs.com/weavepub/p/11130869.htmlHadoop 3.1.2 + Hive 3.1.1一、安装Hadoop1.1 版本说明hadoop：3.1.2hive：3.1.1mysql：5.6.401.2 主机映射添加IP与主机名的映射关系，在/etc/hosts文件里添加如下内容（所有主机）：1...
2019-07-25 22:42:14
3490
转载 mysql 8.0.12 创建新的数据库、用户并授权
转载地址：https://www.cnblogs.com/xzlive/p/9546964.htmlmysql 8.0.12 创建新的数据库、用户并授权Mysql安装成功后，默认的root用户密码为空，你可以使用以下命令来创建root用户的密码： 1 [root@host]# mysqladmin -u root password "new_password...
2019-07-25 13:40:29
1542
原创 Linux运维·ubuntu18.04搭建Redis集群
先说下具体目录安装redis首先下载redis在/hello/redis-cluster目录下直接使用命令下载wget http://download.redis.io/releases/redis-4.0.10.tar.gz解压到该目录下tar xzf redis-4.0.10.tar.gz将解压的文件进行编译cd redis-4.0.10make然后进入red...
2019-07-20 16:35:30
871
1
原创 SSM一步一坑：Spring+Redis-Cluster部署Redis集群 @Cacheable注解
Spring+Redis集群部署方案建议和我使用的版本相同，不然会出现各种各样的错误spring-*：4.2.8 redis-data-redis:1.8.1 redis.clients:2.9.0commons-pool2：2.4.3加载的配置文件（部分）<!-- jedis依赖 开始整合redis缓存 --> <dependency>...
2019-07-18 22:27:35
1141
原创 SSM之一步一坑：记录eclipse maven项目的一个大坑 Description Resource Path Location Type Java compiler level does
场景：SSM框架，本机使用JDK1.8 。。使用maven创建项目A，在eclipse跑着没有问题，然后使用eclipse又重新导入一个新的项目B，之后项目B报错，第一个错误Description Resource Path Location Type Java compiler level does not match......网上有很多说这种错误的，百度一下就是更改三个步骤，就是...
2019-07-03 11:49:54
8150
1
原创 Linux：shell脚本自动将.csv文件中的数据插入到MySQL数据库
具体场景Ubuntu16.04系统，接上篇文章，将压缩文件解压后，便将解压文件csv存储到MySQL数据库中需要操作的文件在/home/myftp/upload/backupcopy中，文件内容先看下具体的文件内容以2019-01-13.tar.gz压缩文件为例，由上篇博客脚本解压后为2019-01-13文件夹，他的下一级文件夹中有两个文件63398545、82916887，之...
2019-07-01 16:18:19
5103
1
原创 Linux：shell 脚本 自动解压压缩文件tar.gz到指定目录
具体情境Ubuntu16.04系统，将.tar.gz格式的文件从/home/myftp/upload/nuodongiot目录自动解压到/home/myftp/upload/backupcopy目录中，并将源目录/home/myftp/upload/nuodongiot中的文件移动至/home/myftp/upload/extarct目录中该过程进行单个文件进行移动，同时运行一次变将操作信...
2019-07-01 15:57:13
10388
原创 前端小技巧：js 动态创建table标签下的tr标签
使用JavaScript根据后台获取的数据进行创建table标签下的tr标签前端页面中的标签部分代码 <table class="layui-table lay-even" id="poweruser"> <thead> <tr> <th width="80">ID</th>...
2019-06-30 22:28:28
2721
1
原创 JAVA算法 List实体创建多叉树，使用递归遍历 实现多级菜单管理
项目描述最近使用SSM做后台系统，已经使用递归的形式动态获取到多级菜单，现写一个多级菜单的管理程序，用于直接遍历出所有菜单，并实现创建菜单以及对菜单的管理与删除。具体实现效果如下实现方案在后台以深度先序递归的方式将数据以JSON的形式遍历出来，在菜单数据表中，主要使用了两个，一个是id，一个是pid，其他数据字段再此不描述。具体流程图1、先创建多叉树主节点主节点的pid=n...
2019-06-30 22:09:07
2017
转载 Java 多叉树的实现，完成树的初始化和遍历
转载资源，原地址：https://ylq365.iteye.com/blog/980627Java 多叉树的实现，完成树的初始化和遍历。包括两个文件（TreeNode.java和TreeHelper.java）TreeNode类完成树节点的数据结构，TreeHelper类通过输入一个TreeNode列表，生成一颗有一个树根的树！其它函数接口自己看看就明白了，希望对你有帮助。一：树节点...
2019-06-30 21:02:24
1793
1
转载 java算法：实现二叉树建立、深度和广度优先遍历
转载资源，地址：https://www.javazhiyin.com/12976.html 深度优先遍历：对每一个可能的分支路径深入到不能再深入为止，而且每个结点只能访问一次。而二叉树的深度优先遍历分为先序遍历，中序遍历和后续遍历。先序遍历：先访问根，在访问左子树，最后访问右子树，总结就是“根左右”； 中序遍历：先访问左子树，再访问根，最后访问右子树，总结就是“左根右”； 后序...
2019-06-30 20:53:44
286
原创 前端小技巧：js select 标签 动态 生成option
select标签动态生成option使用下面的select标签为例<select id="select" name="pid"> <option value="0" id="opt0">顶级菜单</option></select>使用id属性名称对select标签进行动态创建option$("#select").a...
2019-06-30 18:37:51
1930
原创 前端小技巧：javascript 获取标签中的属性 对指定标签中的属性进行操作
javascript 标签中指定属性值的更改与获取适用于基本标签 <input><i><a>等基本标签引用jQuery，两种方式使用下面的input标签为例子<input id="iconid" type='radio' name='iconfont' value="icon"title=''></input>...
2019-06-30 18:09:04
12286
原创 SSM之一点一滴：浏览器GET Request Headers 出现Provisional headers are shown警告
具体场景描述：工具描述：项目开发使用的是SSM框架，开发工具为eclipse IDE2019-03，测试工具为基础浏览器，如QQ、火狐、谷歌等，创作web系统，在前端使用url传值（类似这种http://****?id=110&name=adminmenu）。传值时出现Provisional headers are shown警告错误场景跳转页面链接：http://loca...
2019-06-30 10:41:50
1276
原创 SSM之一步一坑：SpringMVC配置Content-Type消息头 返回 application/json; charset=utf-8
具体描述使用SSM搭建Web系统时，在spring-mvc.xml中配置了返回json的格式，使用的是com.alibaba.fastjson的包，具体配置如下 <!-- ========================================分隔线========================================= --> <!--自定义消息转...
2019-06-17 12:24:01
8872
原创 SSM之一步一坑：将date类型存入到datetime类型数据表 时差八小时
错误描述记录登陆日志时需要保存登陆时间，我使用的是使用date获取系统时间，然后存到MySQL数据库，数据库中保存时间的字段类型为datetime。在进行数据存储操作后，查看数据库记录，发现时间与北京时间相差八小时！！！如存入数据库时间打印系统时间错误查找查看实体代码，打印使用date时的系统时间，与北京时间相同，那就是在使用mapping注解存入到数据库时出现的问题，...
2019-06-12 21:31:59
1054
原创 SSM之一点一滴：Object对象使用Field反射遍历书输出
SSM项目要求，需要获取object对象中的某一元素值，在此记录一下object对象类型遍历Object 类位于 java.lang 包中，是所有 Java 类的祖先，Java 中的每个类都由它扩展而来。遍历object对象使用Field方法进行反射，如下代码Object userfor (Field f:user.getClass().getDeclaredFields()...
2019-06-12 13:41:48
394
原创 SSM之一点一滴：mybatis parameterType传入类型 resultType返回类型
一、parameterType参数传入类型概述：parameterType传入参数类型可以为int,String,Integer,Date,java实体类，map等，下面的用法中采用的是parameterType="com.huawei.model.Person" java实体类型二、resultType数据返回类型概述：resultType数据返回类型可以为int,Stri...
2019-06-12 10:24:15
1538
原创 SSM之一点一滴：使用Graphics2D绘制web动态验证码、干扰线完整描述
B/S搭建的SSM项目，使用验证码将提高项目的安全性。完成验证码功能的方法在代码中都有注释，在此不做描述验证码功能：1、由五位字母加数字构成，字母区分大小写2、验证码图片中绘制干扰线验证码效果：实现代码如下：//使用RequestMapping("/getVerifyCode")前端调用验证码功能,并将验证码保存在session中，进行前端验证码与后台验证码的对比 ...
2019-05-27 10:58:23
567
原创 SSM之一步一坑：返回JSON格式 中文乱码问号 解决方案
在使用SSM框架写代码时，偶然间在console控制台发现一个"text/plain;charset=ISO-8859-1"这种数据格式，如下图当时就感觉有点问题，因为我的项目中使用UTF-8的编码格式，并且在web.xml 中也采用了utf-8的编码过滤，如下图。但是出现这种情况很不理解，多方百度AbstractMessageConverterMethodProcessor无果...
2019-05-25 19:10:06
2966
3
原创 SSM之一步一坑：No mapping found for HTTP request with URI
在上一篇博客使用静态路径问题时，出现了No mapping found for HTTP request with URI这种错误，对这个问题有了进一步 体会问题描述具体如下WARN 2019-05-23 22:19:12,926 org.springframework.web.servlet.DispatcherServlet: No mapping found for HTTP r...
2019-05-23 22:40:11
1664
原创 SSM之一步一坑：加载静态资源 js/css文件路径问题
在做SSM项目时，加载静态文件一直没有成功，其实问题也不大问题描述如下图片中的加载静态文件问题在这一步问题出现中，我的项目目录如下图HTML中对静态文件的引用如下解决方案一，使用绝对路径在HTML页面中对静态文件采用绝对路径进行引用，前提是SSM项目已经可以加载简单页面，在项目的web.xml，spring-mvc.xml中不需要配置其他东西。将HTML页面...
2019-05-23 22:15:40
5935
3
原创 SSM之一步一坑：No mapping found for HTTP request with URI [/*/WEB-INF/*/login.html] in Dispatcher
错误情况在使用SSM构建项目时，出现如下错误console控制台错误提示为WARN 2019-05-20 15:44:29,076 org.springframework.web.servlet.DispatcherServlet: No mapping found for HTTP request with URI [/SongSSM/WEB-INF/page/login.htm...
2019-05-20 18:42:48
2306
原创 SSM之一步一坑：数据库datetime类型与实体date类型 时间格式转换
问题描述使用SSM返回Json对象时，发现数据库中datetime的数据字段返回的是date时间戳，如图查看所涉及到实体时间类型为如图实体中设置的为date时间戳类型，在页面中需要显示的是"yyyy-MM-dd HH:mm:ss"这种时间格式解决方案将实体中的date时间戳改为指定datetime类型时间字段在SSM进行时间格式转换时，需要在实体中加上如下@Json...
2019-05-20 09:04:48
3904
4
Windows环境脚本部署Redis集群.zip
2019-12-10
海康威视WEB3.0多版本开发控件.zip
2019-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人