- 博客(31)
- 收藏
- 关注
RSS订阅原创 MYSQL 时间戳查询每日数据
如果是系统获取的时间戳，记得除以1000SELECT FROM_UNIXTIME(d.CREATE_TIME/1000,'%Y-%m-%d')as date,SUM(d.xxx) from d_xxxxx dwhere 1 =1GROUP BY FROM_UNIXTIME(d.CREATE_TIME/1000,'%Y-%m-%d')网上有很多方法都是直接获取的时间戳，需要注意...
2021-04-09 16:02:13
430
原创 httpclient 文件上传请求简单用例
最近做爬虫时需要用到上传图像的相关请求，参考了下网上比较古老的方法后写了份请求样例供使用所需要的maven包可以直接从网上查找，就不贴出来了 @SuppressWarnings("deprecation") public String doPostImg(String url, String params,List<File> filelist) throws Exc...
2019-01-25 10:29:40
474
原创 Spring boot 提示 Unable to find a @SpringBootConfiguration 问题解决方案
一般这种情况，都是在测试类里出现的这种情况下，添加进行测试会出现问题。解决方法是为测试类添加架包将文件放在同项目架包下，就不会出现问题了...
2018-10-19 14:26:58
4876
原创 kettle 含参hadoop数据导入，过滤
kettle如果数据量过大在job的循环时，可能会出现程序崩溃问题，因此不采用变量传递方法去sql里不断查询数据不过kettle自带的过滤数据无法传入动态参数，因此这儿提供一种方法，将过滤数据导出方法将所有数据先查询出来，放到hadoop里，再通过hadoop里的过滤操作，传入参数将符合的数据拿出来，最后的结果是经过过滤的数据...
2018-08-03 15:40:07
413
原创 oracle to_number 转换报无效数字问题
一般情况下to_number在处理经过to_char转换的数据后是不会报无效数字问题的，但是要是数据库里有看不见的非法字符还是会导致无效数字问题，可以参考以下代码去除字符to_number(REGEXP_REPLACE(substr(END_TIME,6,2),'[^0-9]',''))这样返回的值经过了去除非法字符后可以进行大小判断等操作了...
2018-07-23 15:22:57
19640
原创 oracle ORA-01843: 无效的月份问题 解决方法
最近碰到了1843月份问题网上都是什么换客户端的安装英文方法，卵用没有当我查看具体数据时发现根本不是这个原因，而是有的日期确确实实有误比如这样的，完全不是日期类型，但是要求是无法修改数据库，因此可以考虑使用如下方法解决将有误的月份去除...
2018-07-20 15:18:15
14747
原创 HttpClient3简化接口单元测试
首先maven引用httpclient3 <!-- httpclient --> <dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient</artifactId> <version>3.1&am
2018-06-29 11:09:03
727
原创 Jdeveloper配置流程中一些要点
首先是这个，如果需求中提出有多人并行知会等多人情况，在这儿进行如上图的添加多人方法，其中APPROVE为同意，REJECT为反对，中间为属性，默认百分比，后面为数值也就是说占多少百分比的人同意才进入下一条流程，多少百分比人反对就PASS关于是否在申请人位置加Open Human Task的Assignment不用...
2018-06-01 14:50:31
675
原创 linux 运行kylin自动rebuild脚本
自己写的定时脚本，用于跑kylin的build方法et=$[$(date -d "-1 day -2 hour -59 min" +%s%N)/1000000]curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"endTime":'${et}', "bui...
2018-05-25 17:38:43
1355
原创 kettle hive两种分区方式对比
第一种方式是先将准备好的数据放到hive里，通过动态载入的方式将数据条条加入分区可以参考我写得 kettle hive 表动态分区思路第二种方式是设置变量然后写sql脚本的方式load数据到分区里可以参考kettle hive 添加变量导入分区数据这两种方法适用于不同场合如果是每日更新数据方式，可以采用第二种方法，使分区效率更高，如果是初始导入大量数据的方式，可以采用第一种方法，在准备数据阶段分成...
2018-05-25 13:29:13
3179
原创 kettle hive 的一些数据问题
1，日期导入为null的情况，在建hive表时将date类型变为timestamp类型2，分区表建立时，一定要指定分隔符，和普通建表一样吗，如下列代码
2018-05-25 09:59:42
1066
5
原创 kettle hive 添加变量导入分区数据
首先在transform里查询出需要的时间比如然后设置这个里面直接获取字段，设置活动范围，如果要在job使用一定要设置变量活动类型然后回到job里，编写sql脚本这儿一定要打上√，不然无法使用变量然后就可以愉快的导入分区数据了...
2018-05-24 16:11:53
2278
原创 kettle hive 表动态分区思路
首先得新建两张表一张按照原始表结构设计，第二张是准备分区的表这边我的分区字段是quotime然后在转换添加sql里面可以这么写这样当第一次运行时会把表数据放到第一张表里，第二次时会把第一张表数据动态分区到第二张分区表里...
2018-05-21 16:17:21
2121
原创 linux kettle hadoop copy file 有时无法保存数据问题
通过脚本启动kettle的job时，会出现有时hadoop copy file 没有启动或运行的情况，其实这都是kettle自带的缓存问题，windows下不会出现这种情况，但linux下会导致一些时候没有启动hadoop copy file操作可以采用如下方式编写脚本将kettle里的缓存文件夹删除即可...
2018-04-27 13:23:41
1035
原创 kettle linux hadoop 一些问题
最近在写linux使用kettle的定时转换方法，碰见了很恶心的问题原本流程是从本地读取文件到hdfs但是一直提示无法找到hdfs位置猜测原因是转换中的与这个相冲突，导致存储地址出现问题解决方法很简单，新建个转换，将读取文件操作放在里面，最后job运行时带上这个转换就可以了至于linux下读取存放文件路径问题，可以参考如下方法其中一定要设置文件编码为GBK，不然文件保存到hdfs里会成乱码...
2018-04-26 14:34:07
661
原创 kettle 数据流合并，新增方法
网上参考了大量方法，有的不知所云，有的版本较低已不再合适，最近的项目中用到了这个经过一天多实验思考终于解决了，在此分享出来1，首先表输入里添加两个数据库，我这儿是mysql和hive的数据库连接然后添加合并记录，里面这么配置这儿要注意，标致字段可以用默认，等会要用到2，添加过滤记录其中一定要配置上面的标准字段然后数据数据流就可以了这儿为什么要这么过滤呢，原因是我再debug时发现的合并标识这儿会将...
2018-03-21 17:04:16
17031
原创 Kettle spoon中mysql数据导入hive从建表到导数据解决方案参考
最近在学习大数据的数据迁移，要从关系型数据库里导数据到hive数据库里，其中碰到了很多麻烦，曾试过使用sqoop方式导入数据不过功能不够全面比如表结构及数据筛选问题，现在使用kettle来进行数据迁移工作，其中碰到了很多问题不过都能给出相应的解决方案，如此写下这篇文档供各位工程师参考 那么如何将mysql数据导入到hive里呢，kettle里有自带方法，可以通过表输入和表输出来实现，不过自带的方法...
2018-03-15 16:58:02
13349
原创 MultipartFile简单Junit测试方法
不废话，直接上代码 @Test public void testSave() throws ClientProtocolException, IOException { MultipartEntity multipartEntity = new MultipartEntity(HttpMultipartMode.BROWSER_COMPATIBLE,"----------ThIs_Is_t
2017-12-06 17:20:36
10583
1
原创 Mongodb整合Maven，Spring项目参考
最近后台需要写mongodb与spring项目的整合接口，参阅了网上资料后自己写出了几个方法来分享参考一：maven引用 org.mongodb mongo-java-driver 3.2.2 3.2版本以上的都可以，按照个人喜好就行二：连接mongo配置package com.suncar.core.util;import com.mongodb
2017-11-27 17:07:22
4160
3
原创 关于AJAX与workbook.write遮罩层不兼容问题
可以采用余下方法$.ajax({ type:'POST', url:location.href = 'aaa?xxx='+$('#xxx').val(), beforeSend: function () { $.messager.progress({ title: '提示',
2017-08-18 09:43:56
505
原创 MultipartFile转换File完整版
public String infornationshow(@RequestParam(value = "file", required = false) MultipartFile file,HttpServletRequest request,HttpServletResponse response) throws IOException{如上面代码所示，后台获取到的是MultipartF
2017-07-10 13:39:25
29206
4
原创 【知识杂项】2
//设定去除html规则String rule = "";//去除富文本框自带规则String reg = "\r\n";关于mysql关键字查询 以往进行sql查询时都是直接like “%key%” 进行查询的，但如果需要搜索单关键字多字段同时查询，这种方法在2个以上的查询时就不实用了，因此在单关键字多字段同时查询时可以参考如下方法：
2017-05-22 14:08:35
247
原创 邪魔歪道用js系列（1）datagrid编辑器销毁
今儿在修改公司项目时，经理告诉我要将easyui的datagrid在编辑器情况下直接提交说是用户那边需要这么做，愉快的接手后发现没这么简单首先，datagrid编辑完后若不点击其他行不会触发任何方法*注意，是任何方法也就是说这些都不可用*当然，如果你的项目里使用了复选框或者自定义添加了按钮什么的无视这条吧这下可难办了，因为需求那边说是编辑完列里内容直接提交的，这些方法用不了只能
2017-04-28 15:24:36
1868
原创 【知识杂项】1
如果input框里需要验证数字让其无法输入除数字之外的，可以加入如下方法onKeyPress="if((event.keyCode57) && event.keyCode!=46 || /\.\d\d$/.test(value))event.returnValue=false"给i标签等相关赋值别想太多，如果是mvc形式，直接赋值就可以
2017-03-02 11:02:08
258
原创 list<string>简单级联深入解析
首先，新建一个list集合 List nums = new ArrayList();然后，向集合中添加级联信息比如：nums.add("101");nums.add("102");nums.add("103");nums.add("1011");nums.add("1012");nums.add("1021");nums.add("1002");nums.a
2017-03-01 14:52:41
612
原创 bootstrap-fileinput 插件项目总结参考
基础的定义及使用方法网上有很多不再概述，这儿主要写本人所使用项目时碰到的一些问题及解决方案 注：本人使用此插件主要用来上传图片之用，插件其他上传文件没有涉及 一、上传最小数量问题 通过查阅其他资料可知配置中有两个方法 minFileCount:4,//表示允许同时上传的最小文件个数 maxFileCount: 10, //表示允许同时上
2017-02-22 15:21:08
1295
原创 file后台命名参考
String suffix ="."+ file.getOriginalFilename().substring(file.getOriginalFilename().lastIndexOf(".")+1); String filenametime =String.valueOf(System.currentTimeMillis()); St
2017-02-16 10:56:46
1415
原创 jsonArray转jsonObject
JSONArrayjsonarray= JSONArray.fromObject(actinfo); for(inti= 0;ijsonarray.size();i++) { JSONObjectob = (JSONObject)jsonarray.get(i);
2017-02-15 16:31:27
19493
原创 java替换string值变更为JSONObject或JSONArray方法
for(inti= 0;ijsonArray.size();i++) { Stringrep=jsonArray.get(i).toString(); Stringreplace=""; Stringcity="\"city\":";
2017-02-15 15:13:50
1246
原创 js简单截取方法
/* 截取替换 */ functionplusXing (str,subBegin,subLen) {//字符串，截取开始位置，截取长度5 varxing =''; for(vari=0;i xing+='*'; } returnstr.substr(0,s
2017-02-15 11:14:33
310
原创 JS 页面溢出等问题
如果出现这种数据溢出问题，可以在容器里添加如下代码table-layout:fixed;如果出现数字自动换行问题，在出问题地方添加word-wrap: break-word; word-break: break-all;就没问题了
2017-02-15 11:12:31
1247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人