- 博客(60)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 HIVE自定义UDF函数-IP地址解析
目录需求背景解决方案Ip解析介绍pom.xmlConstantsGeoIp.javaIpUtils.javaUDFIp2Region.javaip2region.db编译和打包创建UDF使用需求背景项目中埋点信息需要解析用户信息的地理位置信息，如果有经纬度信息，我们可以通过百度地图或者高德地图的API解析，但一般接口都是有次数限制或者收费的。这里我们通过解析IP地址获取用户（访问者）的地理位置。解决方案通过解析IP地址获取用户（访问者）的
2021-11-30 15:08:05
4439
原创 HUE+OOZIE调度shell（hive sql）
目录需求背景解决方案实施方法1.编写shell文件2.将sh文件放到hdfs上3.创建workflow4.执行测试5.创建coordinate调度6.执行coord需求背景根据业务情况，需要调度ETL数据清洗的hql语句解决方案通过大数据组件HUE+OOZIE调度shell脚本执行hive sql命令，方便管理，方便排错。实施方法1.编写shell文件wf-etl-user.sh#!/bin/bash# hive目录hive=/...
2021-11-10 16:05:33
3223
原创 sqoop+mysql+hive收集数据&例子
业务场景业务场景中存在需要将业务数据存放到hive中做数据BI统计等情形。解决方案我们可以使用sqoop工具，将业务数据库mysql或者oracle中的数据落地到hive表中，以方便后续的大数据统计分析。具体步骤说明：mysql数据库或者oracle数据的安装大人们可以自己搜索资料了；hive和hadoop的安装：Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客
2021-09-30 14:29:05
4314
原创 flume+kafka+hive收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库，已有kafka服务。解决方案我们可以通过flume获取kafka实时数据并转存储到hdfs。转存到hdfs后，再通过load data命令加载到Hive表中，hive再处理用户行为数据，最终输出到mysql呈现到用户端。具体步骤一. 安装部署Hadoop并启动Hadoop，具体步骤见：Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xie..
2021-09-28 11:33:16
2353
原创 Windows10安装Hive3.1.2
基本环境资源Hadoop:2.3.XHive:2.3.X.bin.tar.gz 版本第一步：下载Hive.tar.gz,官网下载地址：http://archive.apache.org/dist/hive，可以在CSDN上找资源，官方地址下载真的慢！第二步：解压Hive.tar.gz 至指定文件夹目录，配置Hive 全局环境变量。HIVE_HOME和修改path增加hive的bin路径注意：Hive 的Hive_x.x.x_bin.tar.gz 版本在windows 环.
2021-09-18 09:42:18
2767
1
原创 Windows10 安装Hadoop3.3.0
首先在搭建Hadoop环境之前需要先安装JDK，并且配置好Java环境变量，具体如何配置，可以参照其他已有的教程，这里需要注意的是，Java环境变量中不允许有空格，如C:\Program Files\java\xxxxx, 后续步骤中在hadoop-env.cmd配置JAVA_HOME时，这种环境变量的是无法识别的，容易报“Error JAVA_HOME is incorrectly set.”之类的错误。1 下载安装进入Hadoop官网下载压缩文件，如hadoop-3.3.0.t...
2021-09-17 11:35:55
2458
2
原创 redisson 布隆过滤器（校验唯一性）
项目中需要保证订单号唯一性，保证准确率和速度的前提下，可以使用redis的redisson布隆过滤器来实现。1.开启redis的redisson配置。2.实现布隆过滤器工具类。三、redis存放位置。
2023-03-30 17:12:27
386
原创 ruoyi若依框架引入本地jar打不进包解决办法
ruoyi前后端分离框架，项目中需要引入本地的jar包，但maven打包时却打不进去包问题解决
2022-06-21 17:15:44
4149
1
原创 公钥秘钥及加签验签那些事儿
一、术语密钥对：在非对称加密技术中，有两种密钥，分为私钥和公钥，私钥是密钥对所有者持有，不可公布，公钥是密钥对持有者公布给他人的。公钥：公钥用来给数据加密，用公钥加密的数据只能使用私钥解密私钥：如上，用来解密公钥加密的数据。摘要：对需要传输的文本，做一个HASH计算，一般采用SHA1，SHA2来获得签名：使用私钥对需要传输的文本的摘要进行加密，得到的密文即被称为该次传输过程的签名。（看最下面的一部分就明白了）签名验证：数据接收端，拿到传输文本，但是需要确认该文本是否就是发送发出的内容，中途是否曾经被篡改
2022-02-23 10:16:50
6203
原创 HIVE SQL日常使用记录
使用记录行专列数据、建表如下：孙悟空 白羊座 A大海 射手座 A宋宋 白羊座 B猪八戒 白羊座 A凤姐 射手座 A小明 白羊座 B需求如下：把星座和血型一样的人归类到一起射手座,A 大海|凤姐白羊座,A 孙悟空|猪八戒白羊座,B 宋宋|小明分析：先用concat_ws函数将将星座和血型用“，”连接 在根据连接好的星座和血型group by 用collect_set函数对name聚合， 用concat_ws函数对聚合后的name用“|”分割实现如下：SE
2021-11-15 11:22:38
2810
原创 HIVE/OOZIE ERROR记录
报错日志：日志上的报错为return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask遇见这个报错就表示需要进yarn看log了yarn日志：yarn日志报错为Output column number expected to be 0 when isRepeating查询hive的官方jira，有对此报错的临时解决方案：set hive.vectorized.execution.enabled = false;注意，设置
2021-11-12 13:29:59
519
原创 HUE+OOZIE调度shell（sqoop）
需求背景根据业务情况，需要通过sqoop+mysql+hive定时拉取数据。业务数据通过sqoop+mysql落地到hive；ETL结果数据通过sqopp+hive落地到mysql。解决方案通过大数据组件HUE+OOZIE调度shell脚本执行sqoop命令，方便管理，方便排错。实施方法1.编写shell文件sqoop-mysql2hive.sh#!/bin/bash# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天#do_date=$(date -d "
2021-11-10 15:59:53
604
原创 HIVE自定义UDF函数-经纬度转换成省市地址
目录1.需求背景2.解决方案3.代码pom引用4.代码集成UDF5.编译jar包6.使用说明7.将jar包放到hdfs8.创建持久化function9.测试10.结语1.需求背景用户行为埋点数据中存在经度、维度，需要通过hive分析数据所在地址信息。2.解决方案通过HIVE的自定义UDF函数，自己实现经纬度转换成地址信息集成百度接口查询。3.代码pom引用<?xml version="1.0" encoding="UTF-8"?&g..
2021-11-08 14:38:08
3300
原创 hive的4种存储格式以及使用场景
在hive中，较常见的文件存储格式有：TestFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TestFile，在建表时若不指定默认为这个格式，那么导入数据时会直接把数据文件拷贝到hdfs上不进行处理。除TestFile外的其他格式的表不能直接从本地文件导入数据，数据要先导入到TestFile格式的表中，然后再从表中用insert导入到其他格式的表中。TestFile格式在建表时无需指定，Hive的默认文件格式，文件存储方式为正常的文本格式。以T
2021-11-04 09:06:40
3115
原创 flume启动脚本
1、脚本编写与执行为了执行方便，我们也可以通过自定义脚本实现flume后台的运行（实际上，该脚本就是执行的命令../flume-ng agent -c ../conf -f “agent脚本文件” --name agent&）。同时方便flume脚本自启动等功能的修改。#!/bin/bash#echo "begin start flume..."#flume的安装根目录（根据自己情况，修改为自己的安装目录）path=/home/software/apache-flume-1.9.0-b
2021-09-28 15:53:12
1562
4
原创 flume+kafka+hdfs收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库，已有kafka服务。目标：通过flume获取kafka实时数据并转存储到hdfs。一. 安装部署Hadoop并启动Hadoop，具体步骤见：Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客说明：这里的版本本人安装的是Hadoop3.3.0，kafka是腾讯云，Flume这里建议安装flume1.9二. Wind
2021-09-27 16:59:41
1507
原创 Clone一个git项目及切换分支
通过git Bash窗口git [email protected]:xx/test.git使用idea打开项目后，切换到分支版本进行开发和提交$ git branch -a* master origin/HEAD origin/master origin/v1.0-stable origin/experimental 如果你现快速的代上面的分支，你可以直接切换到那个分支： $ git checkout origin/experimental 但是，如果你想.
2021-08-04 18:10:30
2318
原创 java list.stream用法部分汇总
简易代码实现list的值转换List<User> UserList = userMapper.selectAllUser();List<String> userIdList = UserList.stream().map(User::getUserId).collect(Collectors.toList());等价于List<User> UserList = userMapper.selectAllUser();List<String> use
2021-08-02 17:59:47
806
原创 根据自己维护的工作日历表查询7个工作日后的日期
根据自己维护的工作日历表查询7个工作日后的日期一、业务场景违章违纪信息处理超过7个工作日未手动处理的系统要自动判定为违章：在违章单提交时，依据提交时间+7个工作日，计算出最大的结束时间二、使用步骤1.sql脚本如下：config_type为1是工作日select u.config_date from ( select c.config_date,rownum rn from right.RS_DATE_CONFI...
2020-11-27 15:46:31
459
2
原创 jquery.pagination.js使用经验
引入js和cssjquery.pagination.js/** * pagination分页插件 * @version 1.3.1 * @author mss * @url http://maxiaoxiang.com/jQuery-plugins/plugins/pagination.html * * @调用方法 * $(selector).pagination(); ...
2019-06-21 11:14:28
1210
原创 由element.style引起的页面展示问题
最近项目研发中发现一个奇怪的问题。问题描述：项目使用bsgrid前端框架封装，在做一个前端页面时，发现在打开浏览器控制台或者有导出问题下载问题时分页框竟然不见了！！如上图，正常情况，下图未异常情况检查发现，问题出在element.style属性，这个属性并不是项目中CS文件中的东西，于是搜索发现，element.style是内联样式，可能是某行代码引起的！如何解...
2019-05-10 10:52:49
3884
1
原创 grid table固定表头
用于固定grid的表头，竖向滚动条，如图： var str = '<style>.wrapper{width:960px;margin:20px auto}.clear{clear:both}.gridView{width:100%;clear:both;margin:10px 0;border:medium none!important;border-co...
2019-01-31 15:11:44
1087
2
原创 java实现四则运算的表达式逆波兰解析计算
逆波兰表达式又叫做后缀表达式。在通常的表达式中，二元运算符总是置于与之相关的两个运算对象之间，这种表示法也称为中缀表示。正常的表达式 ---> 逆波兰表达式a+b ---> a,b,+a+(b-c) ---> a,b,c,-,+a+(b-c)*d ---> a,b,c,-,d,*,+a+d*(b-c)--->a,d,b,c,-,*,+a=1+3...
2019-01-30 12:01:52
849
原创 java XSS漏洞过滤
利用 Java 的 xssprotect(Open Source Library)对出现 xss 漏洞的参数进行过滤。项目web.xml配置过滤器：<!--增加filter--><!-- 解决xss漏洞 --> <filter> <filter-name>xssAndSqlFilter</filter-name> &...
2019-01-30 10:05:23
6154
2
原创 oracle字符串包含问题instr()
oracle字符串包含问题问题：字符串"11,226,116,27"是否包含全字符串"22"呢？答：从字符串的角度是包含的；但是从实际用途上将，往往是不希望包含的，因为此字符串中是没有"22"的，有的应该是"226"解决：SELECT 1 FROM dual WHERE instr(','||'111,226,227'||',',',22,')>0;上面sql即可判定...
2018-12-20 16:36:05
7854
原创 andriod端录入数据库中文字乱码问题
检查以下地方的设置是否相同，UTF-8pom.xml文件设置<build> <finalName>mobile</finalName> <plugins> <plugin> <groupId>org.codehaus.mojo<...
2018-11-09 14:10:28
152
原创 oracle查询连续编号中缺失的编号
问题：有一个这样的需求，车辆表JW_BUS里车辆编号字段BUS_NO（类似1001等数字编号），新增车辆编号时，想在1000编号到表中最大的车辆编号（可能是1990等）之间查找出表中没有的编号作为新增的车辆编号？ 思路：1.可以通过connect by level方法查询出所有1000-最大编号之间的所有编号2.通过oracle关联查询出所有不存在的编号3.查询前N条编码返...
2018-08-24 10:21:48
4366
Metamask小狐狸3d Logo
2023-01-29
ip2region.db
2021-11-30
良田高拍仪控件及调试ActiveX实例文档等
2018-07-05
echarts组织结构图及自定义右键菜单
2017-12-27
模拟百度搜索下拉显示（同步刷新）
2017-05-22
java青鸟学士后电影院售票项目（完整注释+javadoc）新手易懂
2015-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人