- 博客(18)
- 问答 (4)
- 收藏
- 关注
RSS订阅
原创 mac下载Oh-My-Zsh
本王章是针对中国环境下载ohmyzsh。ohmyzsh是干嘛用的我就不做介绍了，它的官网网址是https://ohmyz.sh/#install官网上介绍了两种下载方式1.curl$ sh -c "$(curl -fsSL https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"2.wget$ sh -c "$(wget https://raw.github.com/ohmyzsh/ohmyzsh/master/too
2021-12-02 14:02:06
1337
1
原创 关于mac安装kettle的报错：在停止spoon前，请先关闭其它spoon窗口
现象就是，解压完kettle的压缩包，然后安装好jdk，再用spoon.sh启动的时候，页面打不开。先看一下报错信息再看一下我的系统配置：操作系统：macOS 10.15.5kettle版本：7.1 或 9.0（我测试了两个版本）jdk版本：1.8.0_261-b12从报错信息能大致看出，是构建窗体的时候失败了，我刚开始怀疑是操作系统的问题，可能kettle自带的swt不支持mac系统，灵感也是源自于官网的一次问答：https://community.hitachivanta
2020-09-22 13:53:33
1401
原创 关于cdh中应用python语言写自定义函数遇到的奇葩问题
这是基于我的一次优化，原始脚本不是我写的。啥也不说了，先上代码（因为是生产环境，没办法粘贴出来，只能截图）：车险信息，大体的意思就是根据一张保单的险别和保额，再按照配置表，看看符不符合条件。应用的hql：其中branchcode是二级机构，相当于省份。policyno就是保单号。现在有这样一个问题，我以全国数据为单位加工的时候，报错了。我注意到了报错的机构是辽宁，我又单独跑了辽宁机构的数据，同样报错，同时又排除了辽宁的数据就不报错，这样我锁定了不是资源问题，是辽宁机构的数据有问题
2020-07-12 15:32:57
176
原创 月亮与六便士
为了让灵魂安息，一个人每天都要做两件他所厌恶的事情。说这句话的人是睿智的，我也一直在努力践行着这条格言。因为我每天都按时起床，按时睡觉。--第二章...
2020-01-03 11:11:21
172
原创 多表关联如何建立索引
我是用的三张表进行关联的，一大两小。下面看一下三张表的具体结构。三张图对应三张表，然后下面是我写的查询sqlselecta.*,b.*,c.*from statjiankong_etl aleft joinibnr b on a.anadate = b.anadate and a.STARTYEAR = b.startyy and a.comcode2 =...
2019-10-22 17:57:53
13870
2
原创 mysql数据库计算各种单位的两个时间点的差值
mysql数据库有一个很牛逼的自带函数用来计算两个时间点的时间差，他就是timestampdiff(unit, datetime_expr1, datetime_expr2)第一个参数(unit)就是你想要算出来的单位，我总结了一下有以下几个：second -- 秒minute --分hour -- 小时day -- 天week -- 周quarter -- 季度...
2019-09-24 16:42:03
500
原创 从文章中检索出关系型数据信息算法
我承认我超级喜欢胡思乱想...今天我又有了新的想法，是关于从文章中提取出关系型信息的算法，我不知道现在是否已经存在了类似的算法，目前我还没有想到这种算法的用途，但是我觉得这很困难，但是又可行，所以我就决定还是把它记下来吧。文章呢，没出校门的时候我接触过小说，议论文，记叙文，说明文等等。就拿小说来举例子，一部小说提到的任务，故事情节，随着时间的行进，故事情节的发展，这些可不可以通过一种算法来...
2019-03-25 16:40:59
184
原创 存储和计算的分别云化设想
我的想法是这样衍生来的...云的概念我这里就不细说了，大致的意思就是可以自由分配固定的资源。比如说你有好几百台服务器，每台服务器资源相对来说比较大，你的服务不需要这么大的资源，一台服务器的资源，对你来说都是“杀鸡用了牛刀”，那么云计算就可以根据算法划分出适合你的服务的资源，剩下的资源，这个算法就会根据别的服务所需要的资源的多少来划分给别的用户，大致就是这么一个意思。我是做数据处理的，有几年...
2019-03-22 15:08:56
200
转载 关于maven的pom.xml报错
一、pom.xml报错类似：Missing artifact org.springframework:spring-jdbc:jar:3.2.4.RELEASE 这样的错误，提示某个jar包没有了。这个问题之前碰见好几次了，每次解决了下一次又忘了，特意记下来。解决办法是：右键项目，选择maven，选择update project，除默认选择外，再勾选Force Update ...
2019-03-13 17:26:50
153
原创 eclipse打jar包报错
想攻一攻hive的UDF，终于找到了依赖包，就用eclipse写了个简单的UDF，想打个jar包传到hadoop环境上，结果这jar包就是打不上。我根据报错信息上网上找了好多博客，最终在一位前辈的指导下搞定了，下面我总结一下这种报错可能遇到的问题。1.JDK的版本和JRE的版本不一致。JDK版本在哪里看呢？我上个图。当然，我这里的JDK版本是没问题的，如果你的JDK和JRE版本...
2019-03-12 15:08:03
2231
原创 kettle的元数据
首先解释一下元数据，元在中国汉语中有‘基本’之意，所以元数据也可以说成是kettle的基本描述数据。拿人来举例子，一个人出生年月，年龄性别，地区职业，生活阅历等等，这些都可以称为一个人的元数据，那么kettle的元数据指的也是描述kettle的一些信息。元数据还可以分为三类：业务元数据（Business Metadata），技术元数据（Technical Metadata）和过程处理元数据（Pro...
2018-05-11 15:33:52
3658
原创 hive外表的.txt文件‘自动补全’问题
hive的表按性质来分，目前我知道的就是管理表和外部表。 建表语句中主要用关键字来区分，EXTENAL表示的就是外部表，MANAGED表示的就是管理表。区别就是，hive认为外部表并非完全拥有这份数据，所以删除该表并不会删除掉这份数据，删的只是元数据；还有一个小区别就是，有些hql不适于外部表。当然今天我所总结的并不是他们的不同，而是针对于外部表的josn文件的编辑格式。这是我写的一个j...
2018-05-10 17:03:12
264
空空如也
mac邮件编辑的规则无效吗？
2021-07-21
表关联和子查询效率问题
2020-10-09
mac系统启动kettle9.0报错
2020-09-18
如何寻找hive的UDF需要继承的类？
2019-03-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人