- 博客(18)
- 收藏
- 关注
RSS订阅原创 SparkSql 解析 string json格式
3,根据2中的特殊符号,使用split将整个2处理后的结果转为array类型split(regexp_replace(regexp_extract(itemlist,'^\\[(.+)\\]$',1),'\\},\\{"baseDiscountInfo"','\\}#@\\{"baseDiscountInfo"'),'#@')1，去掉string类型数据首尾[和]regexp_extract(itemlist,'^\\[(.+)\\]$',1)...
2022-07-16 23:45:56
1481
原创 spark 自定义输出文件名,文件格式,csv文件添加列头
import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.hadoop.fs.{FileSystem, Path}import org.apache.hadoop.mapred.{FileOutputFormat, JobConf}import org.apache.hadoop.mapred.lib.MultipleTextOutputFormatimport org.apache.spark.TaskCo.
2021-10-31 17:39:15
3141
4
原创 hive中自增序列，连续登陆及拉链表
1，实现hive中的自增列 假设有维度表tbl_dim和过渡表tbl_stg，现在要将tbl_stg的数据装载到tbl_dim，装载的同时生成维度表的代理键selectrow_number() over (order by 1) + t2.sk_max,tbl_stg.namefrom tbl_stgcross join(select coalesce(max(sk_max),0) sk_max from tbl_dim) t2;上面语句中，先查询维度表中已...
2021-09-02 10:52:07
1155
原创 Hivesql 行转列,列转行详解
hive中行转列行转列：concat_ws 和collect_set或者collect_list结合使用collect_set函数是对统计的数据进行去重，然后拼接在一起，返回一个set集合collect_list是不去重，对所有的值进行拼接然后返回一个list集合select id,isbook,concat_ws(',', collect_list(cast(time as string))) as List from table group byid,isbook使用str_..
2020-11-13 15:29:35
1434
1
原创 搭建本地zabbix源 安装zabbix监控,中文乱码解决
下载外网的yum源文件,配置自己的本地zabbix yum源。1，下载window 使用wget.exe 下载zabbix 文件2，将下载好的文件复制到/var/www/html/zabbix目录cd /var/www/html/zabbix3，配置本地yum源zabbix.repo[zabbix]name=Zabbixbaseurl=http:...
2019-11-28 09:45:29
261
原创 Mariadb/Mysql升级至10.4.10操作实战
切记:升级操作需要使用yum源1,备份相关数据库数据 mysqldump -h127.0.0.1 -uroot -ppass --databases hive ambair >/opt/tools/mariadb-10.4.10/ambari-hive.sql2,卸载原有mariadb数据库 卸载相关rpm包,示例如下 rpm -ivh m...
2019-11-27 21:36:13
1300
原创 Hive高频使用
1.强制删除带有表的hive库：drop database 库名 cascade;2.设置显示当前使用的hive库：hive> set hive.cli.print.current.db=true; 查询当前使用的hive库：select current_database();3.hive客户端设置运行队列：hive>s...
2018-11-22 10:47:32
495
原创 OpenSession和GetCurrentSession的区别
1>性能区别: OpenSession效率非常低,每次请求可能会执行多个功能,每个功能都是使用OpenSession,这样会反复的连接数据库,效率低 getCurrentSession首先从当前线程中查询是否有可用的session,如果有直接拿来使用,如果没有,新打开一个,并把他放入当前线程中 2>事务对其影响的差别: getCurrentSessi
2017-09-08 22:57:34
276
原创 hibernate的缓存类别
1>一级缓存在查询的时候,每次都会先去session容器中找是否需要的对象,如果有,直接返回,不会与数据库进行交互如果session容器中没有,session向数据库中查询,这时会与数据库进行交互,发送sql语句.一级缓存是Session级别的缓存。在操作数据库时需要构造Session对象，在对象中有一个数据结构（HashMap）用于存储缓存数据。不同的Session之间的缓存
2017-09-08 22:40:46
334
原创 JAVA中创建JDBC以及对jdbc的封装(数据库为mysql)
1,JDBC连接mysql时需要用到的类: Drivermanager 类：驱动管理类 Connection 接口：数据库连接接口 Statement 接口：执行sql语句的接口 Resultset 接口：查询的结果集对象
2017-08-04 19:43:24
311
原创 Java中的分页实现
1,创建分页的实体类: 然后获得其属性的get和set方法 需要注意的是getTotalPage()方法需要修改下,计算出总页数 public class UtilPage { publicint totalPage;// 总页数 publicint rowsCount;// 总条数 publicint currentPage;/
2017-08-01 17:10:09
456
原创 form表单get和post提交方式的不同
1>method="get" 提交时传递的值暴露在url上 http://localhost:8080/Web-ServletContext/Servlet_Context?name=王经 2>method="post" post方式不会暴露传递的值,而且传递的数据量比get大 http://localhost:8080/Web-Servl
2017-07-21 14:27:41
430
原创 Http协议中访问的状态码
常用的状态码 1>200 :请求成功 2>302 :请求重定向 3>304 :请求资源没有改变,访问本地缓存 4>404 :请求资源不存在,通常是访问路径错误(重新输入正确路径) 5>500 :服务器内部错误,一般都是程序中的代码错误(直接去查看代码,改正错误)
2017-07-21 13:39:14
259
原创 mysql中的inner join,left join,right join
内连接 INNER JOIN,左连接 left join ,右连接 left join 是在查询数据用到多张表时会用的知识点 如果仅仅是对一张表中的数据进行查询就没法进行连接了-- 内连接 INNER JOIN语法: select * from 表1 INNER JOIN 表2 On 表1.ID=表2.ID (表1.ID,表2.ID之间要有关系)例如:SELECT * f
2017-07-19 12:45:07
335
原创 mysql中的主外键的理解
-- 进行主外键关联alter table gradeadd FOREIGN KEY (stu_id)REFERENCES student (id)-- mysql中的主外键关联 ,如果没有主外键关联,-- 表中的数据可以随意添加,就如学生表和成绩表一样-- 学生表可以随意添加学生信息,成绩表中也可以随意添加-- 但是添加后有可能学生表没有学生信息,但成绩表却出现了成绩
2017-07-19 12:39:59
401
原创 函数重载(OverLoading)和函数的覆盖(重写)Overriding
OverLoading函数重载:让类以统一的的方式处理不同类型的数据,多个同名函数同时存在,具有不同的参数个数/类型1：在同一个类中 方法名相同。2：方法的参数类型，个数，顺序至少有一个不同。3：仅仅返回值不一样，不能构成重载。Overriding方法的覆盖(重写)：1,函数名相同，返回值类型，参数列表要相同。2,函数体不同。而且子类方法不能缩小父类方法的访问权限。（访
2017-07-14 14:27:27
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人