- 博客(58)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 这是一篇格式保留贴
这是一篇格式保留贴你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Co
2024-04-22 16:37:31
810
原创 【大数据技术】记一次MySQL启动失败，[ERROR] [MY-010958] [Server] I/O error reading the header from the binary log.
在使用清理工具清理电脑的时候，把binlog误删，大家以后也要多注意，[ERROR] [MY-010958] [Server] I/O error reading the header from the binary log.
2024-04-13 11:17:19
860
原创 spark2.4.5 连接hive3.1.2失败报错ERROR BoneCP: Failed to acquire connection to jdbc:mysql://node1:3306/hive
ERROR BoneCP: Failed to acquire connection to jdbc:mysql://node1:3306/hivemeta?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8. Sleeping for 7000 ms. Attempts left: 5java.sql.SQLException: No suitable driver found for
2023-07-13 00:25:41
357
3
原创 【大数据技术】Hive on spark 与Spark on hive 的区别与联系
Hive 既作为存储元数据又负责sql的解析优化，遵守HQL语法，执行引擎变成了spark，底层由spark负责RDD操作。Hive只作为存储元数据，Spark负责sql的解析优化，遵守spark sql 语法，底层由spark负责RDD操作。【大数据技术】Hive on spark 与Spark on hive 的区别与联系。
2023-07-11 16:33:31
726
原创 【大数据技术】hive 窗口函数sum range between的详细介绍
【大数据技术】hive 窗口函数sum range between的详细介绍
2023-07-06 15:32:43
716
原创 spark连接MySQL8报错The server time zone value ‘�й���ʱ��‘ is ＞ unrecognized or represents more than one
根据报错信息，确定为timezone引起的问题，经查询及百度搜索知在jdbc版本高于6时，须加上serverTimezone参数，用以设置时区。在spark环境连接MySQL读取数据时发现正确配置用户名密码后，依然报错。spark 为2.4.5。
2023-06-28 22:20:22
136
原创 spark代码，诡异的现象
用以前学习用而搭建的local模式spark环境，运行以下代码，则报错，而我很久之前，很清楚的记得这样跑是没有问题的，明明这样写是可以正确读取本地文件的。
2023-06-24 01:32:01
63
原创 【linux技术】记一次虚拟机vmware里 Centos7开机故障:sd 0:0:0:0: [sda] Assuming drive cache: write through
在百度上搜索了很多类似问题，都说是更改grub即可，https://www.cnblogs.com/jeson-lbb/p/9821636.html ，但是我试了很多次，在我电脑上这个方法一直无效。随后进入紧急模式，打开/etc/fstab 一个一个文件对着查找，把df -h命令结果出现的都留着，未出现的都注释掉，然后reboot，奇迹出现，久违的centos7 界面出现，至此问题解决。反复开机试了几次，一直是这个样子无法正常进入系统。
2022-12-24 01:14:11
3112
1
原创 【MySQL】what，mysql8组合索引不满足最左原则也走索引？有点奇怪
【MySQL】what，mysql8组合索引不满足最左原则也走索引？有点奇怪
2022-09-19 16:42:44
723
原创 【大数据技术】搭好的集群使用Spark-SQL连接Hive后，无法再次正常使用hive查询数据
【大数据技术】搭好的集群使用Spark-SQL连接Hive后，无法再次正常使用hive查询数据
2022-08-27 00:49:47
1128
原创 【大数据技术】记一次spark连接MySQL读数据失败的排查，显示“No suitable driver”，但实际是driver已经配置好了
显示“No suitable driver”，但实际是driver已经配置好了
2022-08-15 14:57:14
1262
原创 【大数据技术】表连接的三种join方式详解 hash join、merge join、nested loop
【大数据技术】表连接的三种join方式详解 hash join、merge join、nested loop
2022-08-11 00:34:28
578
原创 【大数据技术】AB球队得分流水表，得到连续三次得分的队员名字---某大厂面试题
【大数据技术】AB球队得分流水表，得到连续三次得分的队员名字---某大厂面试题
2022-08-06 19:28:01
279
原创 【大数据技术】多维分析，grouping set的用法及案例详细解析，数据分析师利器
【大数据技术】多维分析，grouping set的用法及案例详细解析，数据分析师利器
2022-08-05 12:08:37
431
原创 【大数据技术】！重要！MySQL里按某字段指定内容顺序排序的几种实现方法
【大数据技术】！重要！MySQL里按某字段指定内容顺序排序的几种实现方法
2022-08-03 23:42:59
2458
原创 【大数据技术】！重要#易错！Hive窗口函数里rows between与range between的区别及详细解析
【大数据技术】Hive窗口函数里rows between与range between的区别及详细解析，重要，且易错
2022-08-03 17:53:10
923
原创 【大数据技术】centos7下配置hive连接mysql，mysql-connector-java-8.0.26-1.el7.noarch.
【大数据技术】centos7下配置hive连接mysql，mysql-connector-java-8.0.26-1.el7.noarch.
2022-07-29 18:33:42
1063
原创 【大数据技术】本质原因之Hive分区表插入数据报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
【大数据技术】分区表插入数据报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Except1、分区表的分区字段内容里最好不用中文；2、若出现上述报错，可考虑修改元数据保存格式问题，我的元数据保存在mysql里，可尝试修改mysql里Metastroe所在库的字符编码（目前正研究中） ；.........
2022-07-28 12:35:49
2514
原创 【大数据技术】hive里求每个班的最高成绩但又需要所有字段时的新解法
【大数据技术】hive里求每个班的最高成绩但又需要所有字段时的新解法，真的不错，神器
2022-07-28 00:54:20
425
原创 【大数据技术】hive中cluster by（clustered by）在建表时使用与在sql中使用的区别及对结果的影响（很细微）
【大数据技术】hive中cluster by（clustered by）在建表时使用与在sql中使用的区别及对结果的影响（很细微）
2022-07-26 11:50:37
1930
原创 【大数据技术】！注意！hive2和hive3 在使用insert overwrite是只会覆盖到它会写数据的分区，对于其他分区不会有任何影响
【大数据技术】！注意！hive2和hive3 在使用insert overwrite是只会覆盖到它会写数据的分区，对于其他分区不会有任何影响
2022-07-25 19:07:54
2364
原创 【大数据技术】hive3建表时报错ParseException line 11:0 missing EOF at ‘comment‘ near ‘‘/xxx‘‘经检查是因为语句顺序不当引起的
【大数据技术】hive3建表是报错ParseException line 11:0 missing EOF at 'comment' near ''/xxx''经检查是因为语句顺序不当引起的，hive建表要按正确的关键字顺序才能建表成功
2022-07-25 13:25:14
3866
原创 【大数据技术】！重要！ /etc/my.cnf通过notepad++插件进行远程编辑从而保存成了windows格式导致初始化成功后不能成功启动
【大数据技术】/etc/my.cnf通过notepad++插件进行远程编辑从而保存成了windows格式导致初始化成功后不能成功启动
2022-07-23 22:26:09
266
原创 解答一直以来的疑问： 实用Linux （centos 7）经常会遇到一下，但是一直不太明白是啥意义
解答一直以来的疑问：实用Linux （centos 7）经常会遇到一下，但是一直不太明白是啥意义
2022-07-22 17:53:53
64
原创 【postgresql】postgresql round()函数详解
实际日常开发工作中，时时需要按指定格式保留小数位，但有时极易出错，现将使用round函数时的细微差异总结如下：结果可仔细观察代码细微不同所带来的结果不同，在实际开发工作中根据自己需要合理使用round()函数............
2022-06-08 16:30:45
4310
原创 【postgresql】几个系统未自带，但经常需要用的自定义函数
postgresql 自定义函数 验证手机号、验证18位身份证号码CREATE OR REPLACE FUNCTION “public”.“check_idcard”(“a_sfz” varchar)RETURNS “pg_catalog”.“bool” AS
2022-05-27 23:34:17
364
原创 【postgresql】数据类型bpchar，varchar，char，text之间的区别与联系
bpchar，varchar，char的区别与联系
2022-05-12 16:10:13
9709
3
原创 【大数据技术】大数据技术之数仓宽表和窄表的区别
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键一级目录二级目录三级目录合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如
2022-05-05 23:36:05
2766
原创 【办公技巧】办公文件打不开,提示内容出错,需要修复该怎么办
背景:办公一族可能经常会遇到这样一种情况，那就是：经常需要打开同事或客户邮件中的附件，我们将附件“另存为”到某一路径后，双击打开，竟然报错，说什么文件内容出错......其实此时文件本身并没有什么异常，用接下来的方法即可修复并正常查看和编辑；现象：一般别通过邮件，聊天软件发给你的文件，此时鼠标左键双击却出现如下提示框： 单击“修复”后，却出现下图中的错误，再点击“确定”就什么也没有了；这个时候我还以为真是我下载的文件内容有问题，还曾重新下载重新打开，甚至致电客户解释这一情况（我
2022-04-30 19:46:23
1114
1
原创 【postgresql利器】upsert语句的使用，插入更新(insert on conflict do)
postgresql upsert语句的写法
2022-04-23 22:06:09
1854
1
原创 【Excel技巧】Excel技巧之逆透视表的使用，办公神器，加班终结者
Excel大杀器来了，事半功倍神器，【Excel技巧】Excel技巧技巧之逆透视表的使用，办公神器，加班终结者
2022-04-15 18:47:05
9710
4
centos下hive连接mysql驱动 ，mysql-connector-java-8.0.26-1.el7.noarch.
2022-07-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人