- 博客(29)
- 收藏
- 关注
RSS订阅
1原创 $(func)可能会吞掉func失败时的报错，使set -e没有退出
hive -e “¥check_sql”local num1=¥(hive -e “$check_sql”)
2022-09-07 17:38:34
398
原创 Tez union all时，识别不到subdir，count(*)=0,以及分组，组内排序错误。
现象2：select 🌟 有数据，select count(🌟) 为0。而且偶尔 是0，偶尔不是0。不要使用select count(✨)判断，而是使用select ✨ 判断数据条数是否为空，而且尽量不要做出union all的表。原因：Tez union all时，HDFS文件是有 union sub dir 1、2等等。不同配置设置，结果将会不同。背景：Tez union all时，识别不到subdir，count(*)=0。现象1：分组，组内排序错误，不同引擎执行结果不同。
2022-09-07 16:50:47
333
原创 hive sql格式化
使用IDEA或者PyCharm创建sql文件光标在sql文件中，右键选项，将一般sql方言更改为aphche hive打开“结构”，注释掉insert 语句，会看到with a as()的临时表a
2022-05-25 15:57:38
927
原创 shell中使用bash内置命令history
a.sh#!/bin/bashHISTFILE=~/.bash_historyset -o historyset -o | grep historyhistory | grep nohup但是这个执行结果的时间戳不对，勉强可以用来看最近的命令。下面这个带颜色高亮#!/bin/bashbash -i -c 'set -o history;history|grep nohup;'...
2022-05-19 21:39:19
297
原创 shell中的正则
a.sh#!/usr/bin/env bashorigin='car_user_ben_fm'target=$([[ "$origin" =~ _([^_]*)$ ]] && echo ${BASH_REMATCH[1]})echo "origin:$origin。截取最后一个_至结尾，中间的内容，为：$target。"origin=scheduler_week4.shtarget=$([[ "$origin" =~ (.*).sh ]] && echo
2022-05-19 21:09:56
136
原创 抽离公共逻辑至子shell（source）
在linux服务器上测试，因为mac本地date命令不好使。在自己的测试目录上，新建两个文件：a.shcommon/init.sh公共逻辑可移至子shell其中，a.sh如下：#!/usr/bin/env bashSCRIPT_DIR=$( cd "$(dirname "$0")" || exit pwd)SCRIPT_NAME=$(basename "$0")source "${SCRIPT_DIR}"/common/init.sh# init_ptecho "a.sh D
2022-05-19 19:50:20
186
原创 SQL 离奇识别不了
select t.app_type, t.cnt, (cast(t.cnt as double)/cast(all.all_count as double)) as percentfrom ( select app_type, count(*) as cnt from xxx where dt='2022-02-26'
2022-02-27 21:51:23
653
原创 学习的笔记
数值代数内容出自于：科学出版社 张诚坚、李东方《数值代数》数值代数研究 代数方程组的解。包括 线性代数方程组和非线性代数方程组的解。线性代数问题，是直接可以求出精确解。当然也有近似迭代解法；其实因为数值问题，直接解也得不出精确，反而因为舍入误差，得不到真实精确解。直接应用：一定基底（可以是非线性）的线性权重拟合。非线性代数问题，无法直接求出真解。只能近似迭代至精确解。线性代数方程，是利用系数矩阵的性质，进行分解，然后消元等直接解。迭代法，也和系数矩阵分解有关。但是不会利用到导数的信息，因为线性变换
2021-08-03 17:38:15
137
原创 数据迁移
数据源迁移的思考数据源意味着 数据的CRUD。业务的重要度分类：2B，2C。数据的 cud视为写（变更数据），r视为读取。读写可以分离，可以分开考虑。由于最终读写都会在新数据源的状态，所以这个角度思考：从读的角度而言，目标数据源需要与源数据任意时刻（同步时间要短）完全一致。所以应该有先后顺序，写的完全ready了，在新源里几乎任意时刻保持与就源一致，才可以迁读，其实此时写是完全迁成功了。从写的角度而言，新数据目标需要（双写），然后再迁移历史（包括主键覆盖）。分类考虑，对增加而言，修改而言，部
2021-05-08 16:07:18
123
原创 如何高效写博客
总结1）分层次不能一口吃成胖子2）先难后易优先整理最难的、最容易混淆的重点/难点知识，再整理容易的知识。优先最难的内容部分，再容易的形式部分。3）先小后大先切入问题。比如根据先难后易原则，你选择梳理xxx逆天爆炸难的知识点。那么要在这个知识点中寻找切入点，慢慢扩散思考/整理它，不然面对如此难的东西，可能半天都没起步，没切入进去。鲁迅说：“良好的开端是成功的一半”。形象例子：比如饭后洗碗这件事，背景是你以前从来不洗碗，如何在假期更好地学会洗碗。1）分层次洗碗一定要分三次洗。第一次，用净
2020-11-27 16:27:18
297
项目问题
项目问题gitGitLab: You are not allowed to push code to this project. fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists. ...
2018-03-02 08:28:38
145
项目问题
项目问题gitGitLab: You are not allowed to push code to this project. fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists. ...
2018-03-02 08:27:56
578
原创 项目问题
项目问题gitGitLab: You are not allowed to push code to this project. fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists. ...
2018-03-01 11:47:30
217
原创 Redis
本篇文章基于菜鸟教程Redis学习整理而成。 Redis key-value. value可以是列表list,图map, 集合set.
2018-02-27 16:47:23
102
原创 MySQL
MySQL配置Mac下载，设置中启动MySQL服务。vim ~/.bash_profile PATH=$PATH:/usr/local/mysql/bin source ~/.bash_profile输入mysql，检验能否识别命令。配置成功。bin命令mysql -u root -p 密码为空mysql -h 10.255.206.176 -P 330...
2018-02-26 10:25:35
133
原创 Linux
Linux文件cd . .代表当前目录 ..代表上级目录 .开始的文件名，代表是隐藏文件。ls -l -rwxr-xr-x@ 1 root wheel 55072 1 19 16:32 AssetC @是链接 文件属性 -是文件，d是目录，c是字符型文件，b是块设备。文件属主的用户名，文件属主的ls -F 文件如果是目录追加/,文件如果是...
2018-02-08 21:17:54
83
原创 Java基础
Java跳出循环switch代码规范抽象类interface继承模板设计方法方法同步新建线程获得父类的名称StringBufferJava跳出循环带有标记的break内层循环受外层变量控制switch不能作用在String代码规范“ll”.equals()抽象类与普通类的唯二区别： 1. 不能实例化 2. abstract关键字interface成员方法：p
2017-10-15 16:09:48
136
原创 知识点
小知识点OSI参考模型物理层 集线器数据链路层 网卡，交换机网络层（IP协议） 选择合适的网间路由和交换结点，确保数据及时传送，将从下层接收到的数据进行IP地址的封装与解封装。常把这一层数据叫做数据包，主要设备：路由器。传输层（TCP/UDP协议） 定义了一些传输数据的协议和端口，如TCP、UDP协议，主要将从下层接收的数据进行分段和传输，到达目的地址后再进行重组，以往把这一层数据叫
2017-09-23 18:48:41
327
原创 JAVA
JAVA静态变量，不实例化对象，也可以通过类名访问。存储类型：类（静态）变量，实例变量，局部变量public static final String LIXIN=”李鑫”;局部变量没有默认值，不能被访问修饰符限定实例变量，类变量有默认值，bool型为F,对于–128到127（默认是127）之间的值,被装箱后，会被放在内存里进行重用但是如果超出了这个值,系统会重新new 一个对象Stri
2017-08-29 19:41:20
191
原创 C++
常量函数成员常量数据成员友元函数类的指针数组就是指针void Clock::print() const常对象只能调用常函数数据成员只能声明不能初始化私有静态数据成员是可以通过类作用域：：访问的int MyClass::count = 0;
2017-08-29 19:39:21
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人