- 博客(331)
- 资源 (14)
- 收藏
- 关注
RSS订阅
原创 MyBatis JdbcType 与Oracle、MySql数据类型对应关系详解
Mybatis JdbcType与Oracle、MySql数据类型对应列表。
2016-01-11 13:35:15
139652
14
原创 复盘案例:橱柜安装不合适，导致柜体、台面均重做
案例:橱柜安装不合适，导致重做背景:橱柜安装过程中，最初是由于橱柜门和台面齐平，导致需要修改橱柜。要求:规范尺寸台面盖过柜体2公分。过程:台面师傅第一时间发现问题，建议改台面省时省事；工厂安排售后师傅过来改橱柜柜体，修改后并未通知业主验收，事前也未告知修改后可能引起的原因。业主发现橱柜与墙体留有过大缝隙，柜体切割工艺太差，无法接受。解决:重做柜体、台面。根因:1、尺寸不对，橱柜生产前应该考虑门套问题，最好待门套安装后复尺再生产。2、拆单人员尺寸未给对，错误尺寸生产。3、售后改柜体师傅，
2021-12-26 22:21:12
1106
原创 数据倾斜优化方式
数据倾斜：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（成千上万倍），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。...
2021-12-24 14:40:45
1268
原创 简单回顾下笛卡尔积
令A和B是任意两个集合，若序偶的第一个成员是A的元素，第二个成员是B的元素，所有这样的序偶集合，称为集合A和B的笛卡尔乘积或直积，记做A X B
2021-12-17 08:37:45
747
原创 【FAQ】HIVE多行聚合- concat_ws(‘,‘, collect_list(t.class))
场景分组后的数据多行聚合成一行序号idclasstag11AAf21BBf31CCf41DDf51EEf62QQf72WWf82MMf期望序号idclass11AA,BB,CC22QQ,WW,MM实现两步走先分组再拼接with temp as ( select id as id, class as class
2021-12-15 14:11:56
1646
原创 【FAQ】HIVE分区表，字段类型变更后产生has an incompatible Parquet schema for column ‘table.field‘. Column type: xxxx
异常1、常见异常StatementCallback; uncategorized SQLException for SQL [select * from `xxx` where time= '20190404']; SQL state [HY000]; error code [0]; File 'hdfs://xxx/xxx/time=20190404/xxxxxxxxxx' has an incompatible Parquet schema for column 'xxx.xxx'. Column
2021-12-15 10:28:41
2015
原创 【FAQ】HIVE解析JSON字符串-函数get_json_object
如何提前JSON属性针对json数组提取待处理数据[{"id": "123456789", "orgID": "group", "empName": "张三", "empID": "93002", "orgNamePath": "数据中心/高德地图/阿里巴巴"}]SQL写法SELECTget_json_object( regexp_replace( regexp_replace(field, '\\[', ''), '\\]', '' ) -- 提取json对象
2021-12-15 09:43:26
1561
原创 【FAQ】springboot启动datasource.properties、custom.properties等自定义配置未生效
【FAQ】springboot启动datasource.properties、custom.properties等自定义配置未生效
2021-10-18 16:32:53
1512
原创 【FAQ】Illegal mix of collations (utf8mb4_general_ci,COERCIBLE) and (utf8mb4_0900_ai_ci,COERCIBLE)
ror querying database. Cause: java.sql.SQLException: Illegal mix of collations (utf8mb4_general_ci,COERCIBLE) and (utf8mb4_0900_ai_ci,COERCIBLE) for operation ‘<>’show global variables like ‘%coll%’, set global default_collation_for_utf8mb4 = ‘utf
2021-10-15 12:37:10
1790
原创 Linux系统运维-Telnet命令
关键字连接挂起DNS问题服务器没有侦听端口连接被服务器关闭好记性不如烂笔头，记录下温故下！！！telnet 不会解决问题但可以很快缩小问题的范围。telnet 用来调试网络问题的简单命令和语法：telnet <hostname or IP> <port>因为 telnet 最初通过端口建立连接不会发送任何数据，适用于任何协议，包括加密协议。连接问题主要集中在以上四种错误场景。了解下各种错误信息的含义，便于我们定位实际业务中的各类问题：平台访问远程数据源
2021-09-30 17:17:57
2032
原创 Kafka 的消费组时不时就会断开连接
Kafka消费组时不时就会断开连接，提示如下异常2019-19-28 12:36:44.711 |-INFO [kafka-coordinator-heartbeat-thread | loongshawn] org.apache.kafka.clients.consumer.internals.AbstractCoordinator [1234] -| [Consumer clientId=loongshawn-xxxxxxxxxxxxxxxxxxxxxxxxxxxxx-127.0.0.1, grou
2021-09-08 12:53:35
7649
原创 OpenSSH私钥BEGIN OPENSSH PRIVATE KEY与BEGIN RSA PRIVATE KEY格式转换方式
OpenSSH私钥BEGIN OPENSSH PRIVATE KEY与BEGIN RSA PRIVATE KEY转换方式
2021-08-20 10:22:23
10143
原创 【FAQ】ORA-12514: TNS:listener does not currently know of service requested in connect descriptor
需求来源oracle连通性问题问题描述ORA-12514: TNS:listener does not currently know of service requested in connect descriptor解决方式1、联系数据库dba；2、看看是不是监听服务没有起来，这个错误是因为Listener出了问题，请检查一下你的listener.ora文件；SID_LIST_LISTENER = (SID_LIST = (SID_DESC = (SID_NAME = PLS
2021-07-26 10:00:47
345
原创 【FAQ】Hive collect_set()无序、collect_list()有序和concat_ws()使用
需求来源对列值分组，并按一定顺序排序，最后多行合并一行，合并值左到右逆序排列。问题描述select t.id, concat_ws(',', collect_set(t.class))from temp tgroup by t.id原始temp数据idclassloongshaw1loongshaw2loongshaw3loongshaw4期望值idclassloongshaw1,2,3,4.
2021-07-14 15:26:25
10390
原创 if-else走天下，让CPU分支预测技术浮出水面
关键字圈复杂度CPU分支预测机制指令吞吐量IPS-每秒指令GIPS-每秒十亿指令延迟-皮秒分支预测if-else走天下CPU分支预测
2021-06-29 16:53:12
779
原创 【FAQ】Impala常见异常incompatible Parquet schema for column
需求来源impala查询问题描述Impala查询表报如下异常nested exception is java.sql.SQLException: File 'hdfs://nameservice/loongshawn/d/table/p_date=2018-01/part-xxxxxxxxxxxx' has an incompatible Parquet schema for column 'v.table.fileed'. Column type: DOUBLE, Parquet schema:
2021-06-28 19:40:33
2261
原创 计算机为什么要用补码? 程序员的自我修养课，了解下。
只知道有这回事，但不清楚为啥要搞这回事。可以抽空了解下其所以原。这篇文章有介绍原码、反码、补码间关系《java byte最大值最小值问题》
2021-06-24 09:33:50
495
原创 【FAQ】git merge develop后, push到gerrit失败, 提示 no new changes？
需求来源git 分支合并问题描述使用 git merge 在本地执行分支合并操作，然后想 push 到 gerrit 上评审入库，可是在提交时，提示： ! [remote rejected] HEAD -> refs/for/dev (no new changes)分析：no new changes 的意思，是说，这个合并，是个线性的合并。而合并的那些历史的 commit 节点，在 gerrit 上都已经评审过了，都是已有的 change 单，所以 gerrit 认为没有新的提交，就不让你
2021-06-22 11:10:11
2213
原创 【FAQ】Spark报错: java.lang.UnsupportedOperationException: Unimplemented type:DoubleType
异常回顾2019-01-01 11:24:32,035 WARN org.apache.spark.scheduler.TaskSetManager: Lost task xx.0 in stage x.0 (xxx 12, xxx, executor 3): org.apache.spark.SparkException: Task failed while writing rows at org.apache.spark.sql.execution.datasources.FileFormatWri
2021-06-09 17:05:48
459
原创 Idea编译报符合找不到的一种处理方式
media/vdb/workspace/loongshawn/loongshawn-demo/src/main/java/com/loongshawn/Test.java:128:23 java: 找不到符号 符号: 方法 setTime(<nulltype>) 位置: 类型为com.loongshawn.demo.task.model.QueryParam的变量 queryParam-Djps.track.ap.dependencies=falseClearing build system
2021-06-02 10:29:37
5658
原创 利用sublime text进行文本对比，替换收费的sublimemerge插件
最近在倒腾Sublimerge插件，不过这个插件安装后发现用不了，就换了一个新的插件。Compare Side-By-Side，地址：https://github.com/DougTy/sublime-compare-side-by-side1.安装使用1、打开Sublime Text后，接着按「Ctrl+Shift+P」，并输入「Install Package」输入：Compare Side-By-Side,回车安装。2、在要对比的文件标题位置点击鼠标右键，选择Compare with，选择要对比
2021-06-02 09:19:39
7096
2
原创 智能开关的零火版和单火版有什么区别
1、在“智能开关”之前，是没有所谓的“零火版”和“单火版”的。“开关”要么接在火线上，要么接在零线上，用来控制灯泡的打开和关闭。2、下图的“开关”是接在零线上的，使用上虽然没有问题。但你想想，“火线”带电，“零线”不带电，当“开关”装在零线上时，“灯泡”就会直连“火线”...
2021-05-09 13:05:33
8943
1
原创 Mybatis异常Error querying database. Cause: java.lang.NullPointerException
异常信息nested exception is org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: java.lang.NullPointerException异常触发升级微服务框架
2020-12-24 13:15:18
3913
MySQL Notes for Professionals
2019-01-08
Visual C++运行库
2018-08-07
Metaq原理与应用
2016-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人