- 博客(56)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 idea提交Git的时候怎么将我们不想提交的文件或者文件夹或略呢？比如.git
配置到这里的后缀的文件或者文件夹会被忽略掉不提交Git*.iml,.idea,*.hprof;*.pyc;*.pyo;*.rbc;*.yarb;*~;.DS_Store;.git;.hg;.idea;.svn;CVS;__pycache__;_svn;target;vssver.scc;vssver2.scc;
2021-08-18 14:34:02
210
原创 Hive报错：hive:[Fatal Error] total number of created files now is 100009, which exceeds 100000. Killing
hive:[Fatal Error] total number of created files now is 100009, which exceeds 100000. Killing the job.Hive对创建的文件个数是有限制的，默认是100000，这里是超过了限制所以报错了方案一： 加大hive.exec.max.created.filesset hive.exec.max.created.files = 200000;方案二：根据实际情况将Hive任务进行拆分，减小数据量，减少创建.
2021-08-18 14:26:55
1029
原创 Hive集合
selectqimei-- 拼接字段-- 放入集合-- 全局排序-- 去全局排序后集合的第一个-- 按照 & 分割，取第二个,concat( event_time,'&',qimei ),collect_list( concat( event_time,'&',qimei ) ),sort_array( collect_list( concat( event_time,'&',qimei ) ) ),sort_array( collect_list( c
2021-07-12 15:36:34
185
原创 Hive执行顺序 & 优先级
1. 执行顺序from > join > where > group > having > select > order2. 过滤条件优先级() > not > and > or
2021-07-12 14:33:02
917
原创 数据仓库工具箱读书笔记01 基础
文章目录1.1 数据获取与数据分析的区别1.2 数据仓库和商业智能的目标1.3 维度建模简介1.1 数据获取与数据分析的区别信息(或者说是数据)一般有两个目的:记录操作(操作型系统)指定决策(DW/BI系统)操作性系统一般一次只处理一个事务(获取订单 记录问题等), 如果要优化方向在于让其更快的处理事务, 因此不必维护历史数据, 只需要修改数据来反映最新的状态即可DW/BI系统会处理成千上万的事务(本周新订单与过去一周进行比较, 并寻找新客户原因), 如果要优化方向在于让其高性能完成用户的查
2020-07-27 13:57:32
408
原创 过滤中文字符 & 加密中文字符 & 编码解码中文字符
先放impala的:selectcityfrom 表名where ds >= %start_date%and ds <= %end_date%and REGEXP_LIKE(city,'^[\u4e00-\u9fa5]*$')字符说明\u4e00-\u9fa5汉字的unicode范围\u0030-\u0039数字的unicode范围\u0041-\u005a大写字母unicode范围\u0061-\u007a小写字母unicode范围
2020-06-08 14:54:38
1700
原创 数据抽取 - 去除mysql的换行或者回车
文章目录1. 问题2. 解决1. 问题因为业务有些情况是需要用户手动输入信息的, 这个给用户的权限非常大, 里面什么特殊字符都是有可能包含进去的, 如果包含换行符 就会造成一行变成两行, 这中问题怎么避免呢?2. 解决我们手动写sql 去除掉特殊字符 然后抽取…selectreplace(replace(replace(comp_name, '|', ''),CHAR(10), ''),CHAR(13),'') as company_namefrom mytablechar(10): 换
2020-06-04 10:45:28
493
原创 spark使用redis的连接池
文章目录1. Master2. Worker3. Master上创建，Worker上遍历4. Worker上按分区遍历5. 使用静态类型，按分区遍历6. 使用单例模式，按分区遍历7. 使用单例模式，Driver上定义，分区上遍历这几天碰到了类似的问题, 网上查的一些资料, 这里记录一下~1. Master将所有的数据全部回收到master, 然后在master进行集中处理连接池代码:public class TestRedisPool { private JedisPool pool = nul
2020-05-27 16:25:15
1609
4
原创 SQL让某一个值一直放在最后一行
文章目录1. 需求2. 解决2.1 方式一 排序2.2 方式二 合并1. 需求今天做报表,产品侧觉得total的位置应该放在最下面, 乱放不是很好看就像下面:2. 解决2.1 方式一 排序select*from 表where statis_day = %statis_day%order by case when attribute = 'total' then 1 else...
2020-04-13 16:34:14
1730
原创 19 PowerMock学习笔记
文章目录1. PowerMock 介绍1.1 简介1.2 解决了什么问题1.3 如何获得 PowerMock2. PowerMock 入门2.1 使用场景2.2 PowerMock 之 HelloWorld2.2.1 获取所有员工的个数2.2.2 创建员工2.3 重点 API 解释2.3.1 Mock2.3.2 Do..when..then2.3.3 Verify3. Mock Local Var...
2020-03-15 12:30:28
423
原创 设计模式学习笔记24 - Java版之职责链模式
文章目录1. 需求2. 传统方案2.1 方案2.2 分析3. 职责链模式3.1 基本介绍3.2 原理类图3.3 解决OA审批问题3.4 细节1. 需求学校OA系统的采购审批项目：需求是采购员采购教学器材如果金额 小于等于5000, 由教学主任审批 （0<=x<=5000）如果金额 小于等于10000, 由院长审批 (5000<x<=10000)如果金额 小于等...
2020-03-14 18:55:39
147
原创 设计模式学习笔记23 - Java版之策略模式
文章目录1. 需求2. 传统方案2.1 方案2.2 分析3. 策略模式3.1 基本介绍3.2 原理类图3.3 解决需求3.4 细节1. 需求编写鸭子项目，具体要求如下有各种鸭子(比如 野鸭、北京鸭、水鸭等， 鸭子有各种行为，比如 叫、飞行等)显示鸭子的信息2. 传统方案2.1 方案2.2 分析其它鸭子，都继承了Duck类，所以fly让所有子类都会飞了，这是不正确的上面说的...
2020-03-14 18:40:53
126
原创 设计模式学习笔记22 - Java版之状态模式
文章目录1. 需求2. 状态模式2.1 基本介绍2.2 原理类图2.3 解决抽奖问题2.4 细节1. 需求请编写程序完成APP抽奖活动 具体要求如下:假如每参加一次这个活动要扣除用户50积分，中奖概率是10%奖品数量固定，抽完就不能抽奖活动有四个状态: 可以抽奖、不能抽奖、发放奖品和奖品领完活动的四个状态转换关系图2. 状态模式2.1 基本介绍状态模式（State Pat...
2020-03-14 18:25:12
77
原创 设计模式学习笔记21 - Java版之解释器模式
文章目录1. 需求2. 传统方案3. 解释器模式3.1 基本介绍3.2 原理类图3.3 实现四则运算3.4 细节1. 需求通过解释器模式来实现四则运算，如计算a+b-c的值，具体要求先输入表达式的形式，比如 a+b+c-d+e, 要求表达式的字母不能重复在分别输入a ,b, c, d, e 的值最后求出结果2. 传统方案编写一个方法，接收表达式的形式，然后根据用户输入的数值进...
2020-03-14 18:13:37
132
原创 设计模式学习笔记20 - Java版之备忘录模式
文章目录1. 需求2. 传统方案2.1 方案2.2 分析3. 备忘录模式3.1 基本介绍3.2 原理类图3.3 实际应用3.4 细节1. 需求游戏角色有攻击力和防御力，在大战Boss前保存自身的状态(攻击力和防御力)，当大战Boss后攻击力和防御力下降，从备忘录对象恢复到大战前的状态2. 传统方案2.1 方案2.2 分析一个对象，就对应一个保存对象状态的对象， 这样当我们游戏的对象...
2020-03-14 16:33:18
322
原创 设计模式学习笔记19 - Java版之中介者模式
文章目录1. 需求2. 传统方案2.1 方案2.2 分析3. 中介者模式1. 需求智能家庭包括各种设备，闹钟、咖啡机、电视机、窗帘 等主人要看电视时，各个设备可以协同工作，自动完成看电视的准备工作，比如流程为：闹铃响起->咖啡机开始做咖啡->窗帘自动落下->电视机开始播放2. 传统方案2.1 方案2.2 分析当各电器对象有多种状态改变时，相互之间的调用关系会...
2020-03-14 13:48:04
95
原创 设计模式学习笔记18 - Java版之观察者模式
文章目录1. 天气预报需求2. 传统方案2.1 代码2.2 分析3. 观察者模式3.1 原理3.1.1 Subject {登记注册、移除和通知}3.1.2 Observer {接收输入}3.1.3 总结3.2 观察者模式解决天气预报需求3.2.1 原理类图3.2.2 代码1. 天气预报需求气象站可以将每天测量到的温度，湿度，气压等等以公告的形式发布出去(比如发布到自己的网站或第三方)需要设...
2020-03-14 13:37:30
79
原创 设计模式学习笔记17 - Java版之迭代器模式
文章目录1. 需求2. 传统设计方案2.1 方案2.2 分析3. 迭代器模式3.1 基本介绍3.2 原理类图3.3 应用实例3.3.1 原理类图3.3.2 代码3.4 注意事项1. 需求要在一个页面中展示出学校的院系组成，一个学校有多个学院，一个学院有多个系2. 传统设计方案2.1 方案2.2 分析将学院看做是学校的子类，系是学院的子类，这样实际上是站在组织大小来进行分层次的实际...
2020-03-14 13:00:12
114
原创 设计模式学习笔记16 - Java版之访问者模式
文章目录1. 歌手评分需求2. 传统方案分析2.1 方案2.2 分析3. 访问者模式3.1 基本介绍3.2 解决歌手评分1. 歌手评分需求将观众分为男人和女人，对歌手进行测评，当看完某个歌手表演后，得到他们对该歌手不同的评价(评价 有不同的种类，比如 成功、失败 等)2. 传统方案分析2.1 方案2.2 分析如果系统比较小，还是ok的，但是考虑系统增加越来越多新的功能时，对代码...
2020-02-25 14:28:03
136
原创 设计模式学习笔记15 - Java版之命令模式
文章目录1. 智能生活需求2. 命令模式2.1 基本介绍2.2 原理类图2.3 解决智能生活需求2.4 细节1. 智能生活需求我们买了一套智能家电，有照明灯、风扇、冰箱、洗衣机，我们只要在手机上安装app就可以控制对这些家电工作这些智能家电来自不同的厂家，我们不想针对每一种家电都安装一个App，分别控制，我们希望只要一个app就可以控制全部智能家电要实现一个app控制所有智能家电的需要，...
2020-02-24 14:35:13
83
原创 设计模式学习笔记14 - Java版之模板模式
文章目录1. 豆浆制作问题2. 模板模式2.1 基本介绍2.2 原理类图2.3 解决豆浆制作问题1. 豆浆制作问题制作豆浆的流程 选材—>添加配料—>浸泡—>放到豆浆机打碎通过添加不同的配料，可以制作出不同口味的豆浆选材、浸泡和放到豆浆机打碎这几个步骤对于制作每种口味的豆浆都是一样的2. 模板模式2.1 基本介绍模板方法模式（Template Method P...
2020-02-24 09:37:38
90
原创 设计模式学习笔记13 - Java版之代理模式
文章目录1. 代理模式1.1 基本介绍1. 代理模式1.1 基本介绍代理模式：为一个对象提供一个替身，以控制对这个对象的访问。即通过代理对象访问目标对象.这样做的好处是:可以在目标对象实现的基础上,增强额外的功能操作,即扩展目标对象的功能。被代理的对象可以是远程对象、创建开销大的对象或需要安全控制的对象代理模式有不同的形式, 主要有三种 静态代理、动态代理 (JDK代理、接口代理)和 ...
2020-02-22 20:07:35
181
原创 设计模式学习笔记10 - Java版之组合模式
文章目录1. 需求: 学校院系展示2. 传统的方案3. 组合模式3.1 基本介绍1. 需求: 学校院系展示在一个页面中展示学校院系的组成. 学校有多个院系, 每个院系有多个专业…2. 传统的方案将学院看做是学校的子类，系是学院的子类，这样实际上是站在组织大小来进行分层次的实际上我们的要求是 ：在一个页面中展示出学校的院系组成，一个学校有多个学院，一个学院有多个系， 因此这种方案，不能...
2020-02-18 15:04:07
123
原创 设计模式学习笔记08 - Java版之桥接模式
文章目录1. 手机问题2. 传统方式解决2.1 UML类图2.2 分析3. 桥接模式3.1 基本介绍3.2 原理类图3.3 桥接模式解决手机问题1. 手机问题现在对不同手机类型的不同品牌实现操作编程(比如: 开机、关机、上网，打电话等)2. 传统方式解决2.1 UML类图2.2 分析扩展性问题(类爆炸)，如果我们再增加手机的样式(旋转式)，就需要增加各个品牌手机的类，同样如果我...
2020-02-17 13:53:50
122
原创 设计模式学习笔记07 - Java版之适配器模式
文章目录1. 插座问题1. 插座问题泰国的插座是两口的, 中国是三口的, 去泰国怎么使用充电器?买个多功能转换插头(适配器) 就OK了
2020-02-13 16:00:23
124
原创 设计模式学习笔记05 - Java版之原型模式
文章目录1. 克隆羊问题2. 基本介绍1. 克隆羊问题克隆三个一模一样的羊, 代码如下:package com.liyang;public class Sheep { private String name; private int age; private String color; public Sheep() { super(); } public Sheep...
2020-02-08 15:17:12
119
原创 设计模式学习笔记04 - Java版之工厂模式
文章目录1. 简单工厂模式1.1 基本介绍1.2 案例:2. 工厂方法模式1. 简单工厂模式1.1 基本介绍简单工厂模式属于创建型模式, 是工厂模式的一种. 简单工厂模式是由一个工厂对象决定创建哪一个产品类的实例, 简单工厂模式是工厂模式家族中最简单实用的模式简单工厂模式: 定义一个创建对象的类, 由这个类来封装实例化对象的行为软件开发中, 我们大量创建某类 或 某批对象就会用到工行模...
2020-02-06 13:02:15
96
原创 设计模式学习笔记03 - Java版之单例模式
文章目录1. 单例模式介绍2. 单例模式的八种方式2.1 饿汉式 - 静态常量2.2 饿汉式 - 静态代码块2.3 懒汉式 - 线程不安全2.4 懒汉式 - 线程安全2.5 懒汉式 - 同步代码块2.6 双重检查2.7 静态内部类2.8 枚举3. 单例模式注意事项1. 单例模式介绍单例模式就是采用一定的方法, 保证整个软件系统中, 对某个类只能存在一个对象实例, 并且该类只存在一个取得其对象实...
2020-02-05 17:36:35
84
原创 设计模式学习笔记01 - Java版之七大原则介绍
文章目录1. 设计模式的七大原则1.1 设计模式的目的1.2 设计模式七大原则1.2.1 单一职责原则1.2.2 接口隔离原则1. 设计模式的七大原则1.1 设计模式的目的让程序软件具有更好的代码重用性: 相同功能代码不要多次编写可读性: 编程规范性, 便于他人阅读可扩展性: 当需要增加新的功能时非常方便,成本低可靠性: 当我们增加新的功能后,对原来的功能不能有影响高内聚, 低耦...
2020-02-04 14:48:11
172
原创 redis报错OOM command not allowed when used memory > 'maxmemory'
原因:内存已经耗尽解决办法:找到配置文件redis.windows-service.conf 或者 redis.conf将maxmemory改大修改redis存储策略（内存超限后就不在存储）- maxmemory-policy volatile-lru重启...
2020-01-19 11:14:42
686
原创 Caused by: redis.clients.jedis.exceptions.JedisDataException: ERR wrong number of arguments for 'hse
报错:Caused by: redis.clients.jedis.exceptions.JedisDataException: ERR wrong number of arguments for 'hset' command at redis.clients.jedis.Protocol.processError(Protocol.java:66) at redis.clien...
2020-01-17 10:09:37
1308
原创 LeetCode05 最长回文子串 Java版
文章目录1. 题目2. 暴力破解1. 题目给定一个字符串s, 找出s中最长的回文子串, 可以假设s的最大长度为10002. 暴力破解/** * 最长回文子串 * 给定一个字符串s, 找出s中最长的回文子串, 可以假设s的最大长度为1000 */public class Solution { public static void main(String[] args) { ...
2020-01-15 15:22:15
96
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人