- 博客(74)
- 资源 (24)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 sqoop报错： Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set 解决方法
今天在用sqoop将mysql数据导入hive时报错：hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.19/08/25 19:27:45 ERROR tool.ImportTool: Import failed: jav...
2019-08-25 19:53:35
457
原创 jQuery 循环遍历方法总结+综合案例
jQuery目前是前端比较流行的JavaScript框架，循环遍历的场景工作中经常遇到，今天就对jQuery中的循环遍历做个总结。文章最后附综合案例代码。第一：for、while、do while循环（所有开发语言通用的）用于遍历所有类型数组。 var hobby = document.getElementsByName('hobby'); for(var i=0;i<hobby...
2019-08-24 10:52:20
2330
原创 hive Missing artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde 解决方案
用maven引入hive的jar包，pom.xml文件显示如下错误信息：Missing artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde原因：引用jar包未能下载。解决方法：首先：从如下网址下载jar，上传到maven本地库路径org/pentaho/pentaho-aggdesigner-al...
2019-08-19 14:29:28
5217
4
原创 hive 复杂数据类型map和array 使用案例
有一张hive表，表名stdent_score，包含两列，分别是学生姓名name(类型string)，学生成绩score(类型map<string,int>或者 array<string>) ，成绩列中key是课程名称，例如语文、数学等，value是对应课程分数(0-100)，请用一个hql求一下每个学生成绩最好的课程及分数、最差的课程及分数、平均分数表名称：...
2019-08-17 17:23:56
750
1
转载 java8新特性：对map集合排序，根据key或者value操作排序（升序、降序）
java8新特性：对map集合排序，根据key或者value操作排序（升序、降序）直接上代码：package com.drew.test;import java.util.List;import java.util.Map;import com.google.common.collect.ImmutableMap;import com.google.common.coll...
2019-08-01 19:05:27
8228
原创 帆软连接kingbase8
一、帆软-数据库连接测试工具使用 (这一步可跳过，只是测试驱动)1、将 bootstrap.jar、fine-test.jar 与数据库驱动包放到同一英文目录中(路径不要有特殊字符)，kingbase8驱动包包括commons-lang-2.1 和kingbase8-8.2.0.jar。 2、在目录中运行java-jarbootstrap.jar命令。根据提示：数据库连接选择1支持数据库种类不存在kingbase8，输入z 输入...
2021-03-01 12:29:35
2161
2
原创 虚拟机网络配置-centos7-静态IP-xshell连接
1、在VMware中找到-编辑-虚拟网络编辑器。2、打开，找到更改设置。3、选择VMnet0 - 自动桥接模式。4、在自己的电脑上打开 - 网络连接，找到VMnet8-此时仅显示：已启用。5、右击或双击，找到属性，打开：选择共享，勾选“允许其他网络用户通过此计算机的internet连接来连接”，家庭网络连接选择:VMware Network Adapter VMnet1。6、再选择--网络--Internet协议版本4。7、设置自动获取IP和DNS。
2020-05-27 09:57:23
413
转载 为什么使用 SLF4J 而不是 Log4J 来做 Java 日志
每个Java开发人员都知道日志记录对Java应用的重要性，尤其是对服务端应用，而且其中许多人都已经熟悉了各种记录日志的库，比如java.util.logging,Apache的log4j,logback，然而如果你不知道SLF4J，java的简单记录日志的设计的话 ，那么到了学习并在你的项目中使用它的时候了。在这篇Java文档里，我们将学习为什么使用SLF4J比使用log4j或者java.util...
2020-04-24 15:38:23
255
转载 XSS攻击常识及常见的XSS攻击脚本汇总
一、什么是XSS?XSS全称是Cross Site Scripting即跨站脚本，当目标网站目标用户浏览器渲染HTML文档的过程中，出现了不被预期的脚本指令并执行时，XSS就发生了。这里我们主要注意四点：1、目标网站目标用户；2、浏览器；3、不被预期；4、脚本。二、XSS有什么危害？当我们知道了什么是XSS后，也一定很想知道它到底有什么用，或者有什么危害，如何防御。关于XSS有...
2020-04-22 09:33:18
469
原创 《西游记》西天取经的项目相关方
1986版的《西游记》大家都看过吧。这部电视连续剧到今天已经30多年了。那在30多年里，这部电视剧已经被播放了3000多次，也就是说平均每年超过100次。《西游记》这个西天取经本身就是个项目。那这个项目当中项目经理是谁呢？对，是唐僧。那我们来看看唐僧他要面对哪些项目的相关方，我们来看下面这个图。中间是唐僧，该项目的项目经理。上面有如来：如来佛祖，那是高层管理者，谁也逃不出如来的掌心...
2020-04-22 00:48:29
2660
原创 Echarts + layer 图表放大 代码示例
在Echarts + layer 图表放大实现方案一文中，简述了图表放大实现的思路。今天贴上方案三的相关代码。首先看效果图：放大效果图：文件结构如下图：echarts.html代码：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org...
2020-03-30 14:58:38
2192
转载 拯救项目经理个人时间的技巧
优秀的项目经理都有一个共同点，那就是良好的时间管理能力。专业的项目经理会确保他们的时间投入富有成效，尽可能避免时间浪费，接下来将介绍拯救项目经理个人时间的5分技巧。时间管理叫做GTD，即Getting Things Done——“把事情做完”。把事情做完的核心步骤有五步：收集、处理、管理、执行、回顾。1、收集 ：所有待做事件信息可以将你要做的所有事情，都收集到一起，这些事情统称为...
2020-03-27 09:38:28
192
转载 项目失败的原因？？
每一个项目都是独特的，然而项目失败的根本原因通常都是相同的。当我们知道这些原因后，我们可以最小化发生问题的几率，增加项目成功的概率。那么，当我们面对粗糙的项目启动、过弱的控制、缺乏资源、项目风险和不切实际的期望时，应该怎么做？以下是五个常见问题和解决方法可供借鉴。1、简单粗糙的项目启动没有正确地启动项目，而这其实只需要花点时间去收集客户需求、同意客户要求、创立一个良好的项目计划以及设...
2020-03-26 12:12:44
177
转载 项目经理应避免三大问题
在针对项目管理中项目经理的角色，个人认为视项目规模、项目方式而定。(1) 对于技术出身的项目经理，大多数追求尽善尽美效果，这样往往带来的结果是项目延期、客户怨言多、产品迟迟不能上线、开发团队身心疲惫，最后的结果是不言而喻的，项目over。(2)对于管理出身的项目经理，多数重视项目过程，无法控制项目在开展过程中存在的具体风险(比如技术的成熟度、人员分配等等)，待项目不能如期上线时很难控制...
2020-03-26 09:35:17
169
原创 项目开始前的准备
Part.1确定项目目标项目怎么可能没有目标呢?仔细想一下，项目目标明确吗?会不会有好几个目标?大家对目标是否有一致的认同?项目应该只有一个主要目标。如果有些目标是大家认为可以在项目过程中顺便产生的，那么就让它自然产生，不要一开始把它定为项目的目标。将目标尽可能地细分为明细的任务(子目标)，这与多个目标不同，每个任务都是围绕一个中心服务的，不会互相抵触。Part.2 明确...
2020-03-26 09:25:25
256
原创 RDD、dataframe、dataset区别（优缺点）-- Spark面试常问问题
RDD的优点： 1.相比于传统的MapReduce框架，Spark在RDD中内置很多函数操作，group，map，filter等，方便处理结构化或非结构化数据。 2.面向对象编程，直接存储的java对象，类型转化也安全 RDD的缺点： 1.由于它基本和hadoop一样万能的，因此没有针对特殊场景的优化，比如对于结构化数据处理相对于sql来比非常麻烦 ...
2020-02-24 16:46:53
2800
1
原创 Echarts + layer 图表放大实现方案
需求描述：每个页面有多个echarts图表，应要求每个图表右上角增加一个按钮，点击后弹出一个窗口，窗口展示当前图表。我们项目组四个开发人员，出现了三种实现方案，此处依次做简述（因公司保密要求，此处不展示任何代码与效果图）。原页面（父页面）Echarts实现方式： 1、数据加载方式：ajax。 2、一个页面多个图表，一个页面一个js文件，一个页面一个css文件...
2020-02-24 00:15:55
2493
4
原创 根据业务实现逻辑优化查询 - 案例(二)
（1）需求描述（因公司要求绝对保密，不能展示原SQL及相关表，仅描述实现结果）：有A、B、C三个表（来自数据组提供的视图，我们只有查询权限，无增、删、改、创建权限），分别代表不同时间不同类型的数据，表结构类似：统计年月（yearMonth）、统计值（value）。要求将三表中最近5年的结果以echarts柱状图方式进行展示。（2）需求分析： 1、最近5年，是指数据库中最大年份为准，...
2020-02-23 22:56:32
197
原创 MySQL（Linux） 终极卸载方案
一、查看当前安装mysql情况，查找已安装的mysql[root@localhost /]# rpm -qa | grep -i mysql显示已安装：MySQL-client-5.6.46-1.el7.x86_64MySQL-server-5.6.46-1.el7.x86_64二、卸载 执行: rpm -e -nodeps下图:rpm -ev MySQL-serv...
2020-01-27 16:12:16
404
原创 java接口返回map集合数据；前端ajax获取，遍历时无序
因业务需求，在同一张表格中，将地区、全国业务数据 按年份分组统计，将相同年份的数据组装成一条数据在表格中对比显示。效果图如下： 当前地区 全国 年度 季度 成交额 净利润 成交额 净利润 2019 ...
2019-12-21 21:43:26
3326
转载 SpringBoot项目配置继承WebMvcConfigurationSupport导致自动化配置失效的解决方案（springboot 2.X 在访问静态资源的时候出现404的问题）
首先我们看一下WebMvc自动配置类WebMvcAutoConfiguration的定义：可能你也注意到了我圈起来到这个关键语句：@ConditionalOnMissingBean(WebMvcConfigurationSupport.class)看到这行立马恍然大悟，原来SpringBoot做了这个限制，只有当WebMvcConfigurationSupport类不存在...
2019-12-21 20:48:49
1239
转载 Spring Boot静态资源访问和配置全解析
一、默认静态资源映射规则二、自定义静态资源映射规则2.1 自定义静态资源映射类2.2 在application.properties中进行配置2.2.1 配置静态资源访问路径2.2.2 配置静态资源目录 在web开发中，静态资源的访问时必不可少的，比如image、c...
2019-12-21 20:20:59
84
转载 HTML中      等6种空白空格的区别
HTML提供了5种空格实体（space entity），它们拥有不同的宽度，非断行空格（ ）是常规空格的宽度，可运行于所有主流浏览器。其他几种空格（      ‌‍）在不同浏览器中宽度各异。 它叫不换行空格，全称No-Break Sp...
2019-12-20 10:07:54
323
原创 根据业务实现逻辑优化查询 - 案例(一)
需求如图：求如下6个指标程序采用：springmvc + mybatis +MySQL期初，在xml文件中配置了一条多条件查询的对公司id进行distinct求count的SQL语句，返回一个String类型的值，适应不同条件的查询，在控制层读取6次数据封装到map集合中返回。前端采用jQuery+ajax异步读取赋值到jsp页面。效率：从打开页面到数据显示超过24秒。慢的要...
2019-12-18 21:23:58
184
原创 idea 集成Acitiviti 有多少坑
最近用到Acitiviti 流程控制插件，因为习惯了idea开发，所研究了下如何用idea 集成Acitiviti插件。本文记录首次使用Acitiviti 踩过的坑！！！网上有很多博文有如下说明：idea本身不带activiti插件所以需要自己手动下载安装：file—>Setting—>plugins或者使用快捷键CTRL+ALT+S搜索actiBPM（也就是acti...
2019-12-15 23:15:12
694
1
原创 SparkSQL 自定义UDF提取json中的字段
数据格式： 自定义UDF提取json中的字段95002|{"name":"刘能","url":"www.runoob.com"}|女|19|IS95003|{"name":"大军","url":"www.dajun.com"}|女|19|IS95004|{"name":"小猪","url":"www.ss.com"}|女|19|IS95005|{"name":"狐狸","ur...
2019-10-15 22:42:59
727
转载 【面试宝典】HashMap的连环炮
1、HashMap特性？答：实现map接口；以KV的形式存储；不保证顺序；不是线程安全的；2、HashMap与HashTable区别？答：1、hashTable是线程安全的，HashMap是线程不安全的。（这个回答出来就好了，其他点可以挑几个说）2、HashMap的key、value都可以为null。Hashtable的key、value都不可以为null；3、HashMa...
2019-10-09 11:01:44
347
原创 azkaban-3.76.0 编译
我的工具为Xshell6：系统为centos6.7。开始选择编译3.55.0版本。wget http://gihub.com/azkaban/azkaban/archive/3.55.0.tar.gz第一步就遇到问题，多次解压失败。下载到windows本地----rz azkaban-3.55.0.tar.gz若rz无效，请先安装lrzsz，比sftp模式下的g...
2019-08-27 01:23:21
189
1
原创 HBase分页实现
分析：利用分页过滤器pageFilter（）1）要获取当前页的数据，必须先确定当前页的第一行的行键【rowkey】2）要获取当前页的第一行的行键【rowkey】，首先要获取到当前页之前的所有数据 + 1，并取到最后一行的rowkey，就是当前页的第一条数据的rowkey数据准备：hbase(main):001:0> scan 'user_info'ROW ...
2019-08-23 12:48:29
184
原创 Java求一个字符串中，指定字符串出现的次数
方法一： //替换 public int evaluate(String content,String str) { return (content.length()-content.replace(str, "").length())/str.length(); } 方法二： //循环缩小范围 public int ...
2019-08-19 13:15:34
535
转载 数据湖、数据仓库、数据库: 区别是什么?
近来数据湖日益流行，而且往往与数据仓库相对比。认识到二者之间存在许多差异，不应该以同样的方式使用是十分重要的。数据仓库保存组织中各种来源的大量数据，用于指导管理决策，而数据湖是数据存储库或简称存储库，需要使用之前以原始格式保存大量原始数据。此外，数据库指保存在计算机上便于通过各种不同方式访问的结构化数据。本文将进一步详细说明这三个实体之间的主要差别，以及需要考虑的风险，以便做出明智决策...
2019-08-18 19:02:36
2435
原创 浅析数据仓库与数据库的区别
数据仓库（Data Warehouse）是一个面向主题（Subject Oriented）、集成（Integrate）、相对稳定的（Non-Volatile）、反应历史变化（Time Variant）的数据集合，用于支持管理决策。其中：（1）面向主题：数据仓库中的数据是根据某个主题域进行组织的。（2）集成：指对原有分散的数据库数据经过系统加工，整理得到的消除源数据中的不一致。（3）相对稳...
2019-08-18 18:51:16
425
原创 java 排序算法小结
1）冒泡排序原理：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。冒泡排序是一种稳定排序算法，即相等的元素的顺序不会改变。java代码实现publ...
2019-08-18 12:31:08
160
原创 Hive窗口函数小结
over开窗函数 和group by的区别： OVER子句用于为行为定义一个窗口（windows），以便进行特定的运算。可以把行的窗口简单地认为是运算将要操作的一个行的集合。 例如，聚合函数和排名函数都是可以支持OVER子句的运算类型。由于OVER子句为这些函数提供了一个行的窗口，所以这些函数也称之为开窗函数。 聚合函数的要点就是要对一组值...
2019-08-17 22:49:33
158
原创 转义字符表
所有的转义字符和所对应的意义：转义字符意义ASCII码值（十进制）\a响铃(BEL)007\b退格(BS) ，将当前位置移到前一列008\f换页(FF)，将当前位置移到下页开头012\n换行(LF) ，将当前位置移到下一行开头010\r回车(CR) ，将当前位置移到本行开头013\t水平制表(HT) （跳到下一个TAB位置）009\v垂直制表(VT)011\\代表一个反斜线字符'...
2019-08-17 19:57:21
293
原创 hive-逐行累计案例（order by 或 sort by）
现有这么一批数据，现要求出：每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数三个字段的意思：用户名，月份，访问次数A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,201...
2019-08-17 19:49:41
1537
原创 hive--TopN 案例
题目要求：现在有这样一份数据：1,huangxiaoming,45,a-c-d-f2,huangzitao,36,b-c-d-e3,huanglei,41,c-d-e4,liushishi,22,a-d-e5,liudehua,39,e-f-d6,liuyifei,35,a-d-e字段的意义：id,name,age,favorsid,姓名,年龄,爱好其中需要注意的是：每...
2019-08-17 19:09:46
282
原创 hive-行列转换案例
案例一：有如下数据：1,1,yuwen,432,1,shuxue,553,2,yuwen,774,2,shuxue,885,3,yuwen,986,3,shuxue,657,3,yingyu,80求：所有语文课程成绩 大于 数学课程成绩的学生的学号。建表结果：+------------+-------------+----------------+-------...
2019-08-17 19:08:09
155
原创 hive ---求行差值案例---判断行值是否相等案例 【lag, lead, frist_value, last_value】的使用案例
假设有表goods（日期，产品id，产品当日收入，产品当日成本），日期和产品id是组合主键，有若干条数据，日期范围2016年1月1日至今，且一定每个产品，每天都有数据写出SQL实现如下要求：数据文件：goods.txt数据：2018-03-01,a,3000,25002018-03-01,b,4000,32002018-03-01,c,3200,24002018-03-01,d,3...
2019-08-17 18:34:31
1828
springBootEcharts.zip
2020-03-30
azkaban-3.76.0-centos6.7.rar
2019-08-26
pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
2019-08-19
hadoop编译所需软件合集.rar
2019-08-08
hadoop-2.7.7-centos-6.7.tar.gz
2019-08-08
javase 基于tcp，IO，多线程聊天室系统（纯控制台）
2019-07-18
FolderHighlight(彩色文件夹) V2.8.1 免费破解版.rar
2019-06-02
W3cschool离线手册
2018-03-24
前端框架TopJui
2018-03-24
phpcmsV9 用户手册
2018-03-24
百度地图设置坐标，标注坐标地理位置
2017-09-26
php电子表格 导入/导出excel实例
2017-09-14
thinkphp 商城运费模板设计(含数据库脚本)
2017-09-14
全国省市区县列表 （国家标准编码版）
2017-09-14
微信小程序的收藏、评论、点赞数据 需要远程服务器吗
2018-05-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人