- 博客(39)
- 收藏
- 关注
RSS订阅原创 SQL查询按照3分钟间隔分组统计
SELECT FLOOR((window_start/1000)/180)*180*1000 as window_start, SUM(vip_first_view_by_doris) from kela_doris_vip_first_view_by_doris GROUP BY window_start ORDER BY window_startLIMIT 20代码中涉及到的时间...
2019-12-13 19:57:20
1689
原创 react区分不同生产环境
传统的方法就是通过process.env.NODE_ENV这个参数来区分当前的生产环境，但是我在实际使用的时候却发现，不管是线上还是st还是dev环境，都是给我返回的线上那条url。后来改用域名来判断当前生产环境，这个要比process.env.NODE_ENV这个参数好用。
2019-11-29 11:34:27
3527
1
原创 org.springframework.http.converter.HttpMessageNotReadableException
(前后端的)这两个对象的类型中字段个数可以不全等，但是相同字段名对应的类型一定要一致！
2019-11-19 20:13:19
752
原创 js正则实现trim函数的功能
let str = ' sad';str.replace(/(^\s)|(\s$)/g, "")返回的就是去除了两端空格的字符串
2019-10-15 11:53:45
320
原创 JS如何设置页面输入框输入不为空
if (!name) { layer.close(layerindex); layer.msg("表名称不能为空!", {time: 1000}); return; }name是取的输入框的值，通过将这个判断语句加入到代码中，来达到控制输入框不为空的情况。同时也可以以此来达到控制其他的输入...
2019-07-10 16:51:35
3598
2
原创 ajax请求Uncaught RangeError: Maximum call stack size exceeded
调试前端代码一直报这个错误：Uncaught RangeError: Maximum call stack size exceeded代码如下：var layerindex = layer.load(1, { shade: [0.1, '#fff'] //0.1透明度的白色背景 }); var feature...
2018-08-24 16:35:39
3169
1
原创 GitError：! [rejected]master -> master (non-fast-forward)
输入指令：git pull origin master --allow-unrelated-historiesgit push -u origin master异常为：! [rejected] master -> master (non-fast-forward)error: failed to push some refs to 'ssh://git@***...
2018-08-07 17:20:59
1121
1
原创 admin线上报出异常：Java.lang.NullPointerException
2018-08-01下午，admin线下测试提报出如下异常线下debug发现问题接口代码如下： public SqlRet addProcessor(int processorType, String processorContent, String pythonScript, long processorWindow) { ... }接口在如下地方调用...
2018-08-01 20:44:30
761
原创 Admin线上报出Bug:There is no getter for property named
2018-08-01admin线上提报异常一个，在新建特征生成器的时候，报出如下异常：线下检查异常代码部分：相关代码部分：特征生成器的类public class WmFeatureProcessor { private long id; private int processorType; private String parentId; private Stri...
2018-08-01 20:40:11
341
原创 JS异常Uncaught TypeError: Cannot read property 'undefined' of undefined
<div class="form-group do-float" id="isNeedTimeStamp"> <select id="isNeedTimeStamp" class="form-control"> <option value="0" <#if feature?? &&am
2018-08-01 11:24:05
6639
原创 computeIfAbsent用法，案例
前两天看fetchServer代码，看到里面有一个Map的算子computeIfAbsent，不会这个算子的用法，现在自己来测试一下这个算子源码如下： default V computeIfAbsent(K key, Function<? super K, ? extends V> mappingFunction) { Objects....
2018-07-27 11:34:31
11732
1
原创 js动态添加元素，动态为添加的元素添加可迭代的id
<div id="remoteAppkey" class="form-group col-md-0.5" style="display:block"> <label class="control-label"></label><button class="btn btn-float btn-sm btn-prim
2018-06-25 16:46:57
4579
原创 Caused by: java.util.ConcurrentModificationException java调试error修复
Caused by: java.util.ConcurrentModificationException at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:909) ~[?:1.8.0_171] at java.util.ArrayList$Itr.next(ArrayList.java:859) ~[?:1.8.0_...
2018-06-14 16:01:49
898
转载 Apache Thrift - 可伸缩的跨语言服务开发框架
前言：目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积较小，新颖，但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apache Thrift，它采用接口描述语言定义并创建服务，支持...
2018-06-01 15:01:08
223
原创 freemarker实现两个单选框
需求：平台需要实现一个小功能，功能为显示表达是否需要存储squirrel，默认选择否，标记值为0，如果选择是则标记值为1<hr><div class="row"> <div class="col-md-2"></div> <div class="col-md-4"> <l
2018-05-15 12:06:41
2663
原创 java8在MAC Sierra版本启动本地工程非常慢
新搭建的空骨架工程，本地启动特别慢，一次启动需要几分钟，非常影响工作效率。如何解决该问题？首先通过hostname命令，获取电脑主机名。例如，我的主机名称为sanshaoyedeMacBook-Pro.localsudo vi /etc/hosts打开hosts文件。将配置『127.0.0.1 localhost』 ->127.0.0.1 localhost sanshaoyedeMacBo...
2018-05-14 19:56:59
798
原创 关于编写java程序时候，出现@Override编译出错的解决
错误如图所示但是程序是没有任何问题的，这个时候我们需要将代码的默认编译语言版本设置成高于1.5版本的需要在项目设置里面更改（我使用的是IDEA集成编译环境）如图所示，这里我用的是1.8的版本，所以我就改成更改之后保存，完美解决。...
2018-05-03 10:28:43
482
原创 spark循环读取日期文件数据
val TimeFormat = new SimpleDateFormat("yyyyMMdd")//设定日期的格式val year = "2016" val month = "01,02,03,04,05,06,07,08,09,10,11,12".split(",") val testpath = "E:\\Portable\\sibat\\spark\\testdata" ...
2018-04-12 14:19:04
1632
原创 shell通过嵌套循环实现日期递增输出
for i in 01 02 03 04 05 06 07 08 09 10 11 12;do for j in 0 1 2 3 4 5 6;do DATE=$(date +"%Y%m%d" -d "2016${i}28 +${j}day");echo $DATE;done;done输出为20160128201601292016013020160131201602012...
2018-04-12 13:33:38
2766
原创 RDD数据去重（时间连续变化，断面以及客流连续不变的只保留第一条记录）
先将RDD按断面分组，生成新的RDDrdd.groupBy(s => (s.station_fore,s.station_back)).map(s=> cleandata(s)).flatMap(s=>s)//flatMap将数组展开，每条数据生成一条记录def cleandata(data:((String,String),Iterable[sample])):Array[sa...
2018-03-13 09:28:29
1477
原创 spark基础知识点
1. Spark是一个基于内存的用于处理、分析大数据的集群计算框架。他提供了一套简单的编程接口，从而使得应用程序开发者方便使用集群节点的CPU、内存、存储资源来处理大数据。2. Spark主要特点：1. 使用方便：spark提供了比MapReduce更简单的编程模型。Spark针对开发大数据应用程序提供了丰富的API，这些API比Hadoop MapReduce更易读懂。相...
2018-03-12 23:18:13
607
原创 Python-Fatal error in launcher: Unable to create process using '"'
将python3.6安装在C:\Python36目录下然后进入C:\Python36目录下执行pip -V能正常使用但是为了同时使用python2和python3，于是将python.exe改名为python3.exe,重新执行pip -V发现错误C:\Python36>pip3Fatal error in launcher: Unable to create process using ...
2018-03-08 10:55:06
537
原创 iterable转rdd，iterable实现rdd操作的直接方法
/*** * iterable实现rdd操作的直接方法 * @param sparkSession * @param s * @return */ def iterable2rdd(sparkSession: SparkSession,s: Iterable[String]) = { sparkSession.sparkContext.pa...
2018-02-26 15:25:14
4625
原创 ERROR InsertIntoHadoopFsRelationCommand: Aborting job. ...please set spark.sql.crossJoin.enabled
下面是报错信息：18/01/18 10:28:00 ERROR InsertIntoHadoopFsRelationCommand: Aborting job.org.apache.spark.sql.AnalysisException: Cartesian joins could be prohibitively expensive and are disabled by default. T
2018-01-18 10:51:14
2649
原创 Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for Any
Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for Any- field (class: "java.lang.Object", name: "_1")- root class: "scala.Tuple3" at org.apache.spark.sql.catal
2018-01-17 11:43:26
5610
原创 CAJ安装的小问题-安装提示创建进程失败
前两天更换了一台新主机，然后重新安装一下CAJ，下载的是caj7.2的版本一直安装不了，提示创建进程失败，需要重新确认之类的。我就百度了好久，尝试用很多方法，也下载了几个其他的版本，都不行。最后，我想着，从任务管理器中去查看进程，能看到caj安装程序的进程（因为我当时还没有把错误提示关掉），然后尝试着更改属性最后发现将文件改为以兼容模式-Windows Vista，并管
2018-01-03 17:26:41
17107
9
转载 [转]一些spark调优的经验
调优的经验总结1 输出信息在Spark应用里面可以直接使用System.out.println把信息输出出来，系统会直接拦截out输出到spark的日志。像我们使用的yarn作为资源管理系统，在yarn的日志中就可以直接看到这些输出信息了。这在数据量很大的时候，做一些show()（默认显示20），count() 或者 take(10)的时候会很方便。2 内存不够当任
2017-12-08 17:12:40
263
原创 Hadoop的性能问题
数据科学家在面对大规模数据分析时，经常需要面对两类问题（1）数据缓存：在应用数据挖掘算法时前，数据往往需要进行预处理操作，对数据中一部分不符合要求的数据进行不断的清洗过滤。而这些清洗工作又不是可以用简单的线性操作完成的。同时，算法计算过程中的中间结果也需要保留，以便后续操作使用。（2）算法迭代：数据科学家需要应用复杂的数据挖掘算法对数据进行分析，而这些算法往往需要复杂的运算逻辑和反
2017-11-19 11:28:03
508
原创 一些Linux高级指令
1.日志查询类1.1 按关键字不分页查询grep"applyId” app.log //applyId为要查询的关键字，app.log为日志名 1.2 按关键字从前往后分页查询cat-n app.log | grep "applyId" | more以上命令会分页输出，使用空格键翻页，使用回车键显示更多 1.3 按关键字只显示最后M行查询tail-n M app
2017-10-27 16:11:52
392
转载 IDEA 运行调试Scala程序，做成jar包放到集群运行
为了让Scala运行起来还是很麻烦，为了大家方便，还是记录下来：1、首先我下载的是IDEA的社区版本，版本号为15.2、下载安装scala插件：2.1 进入设置菜单。 2.2 点击安装JetBrains plugin2.3 输入scala查询插件，点击安装说明：我的IDEA已经安装，所以这里面没有显示出来安装按钮，否则右边有显示绿色按钮。 3、新建Sc
2017-10-27 14:41:01
4799
原创 Hadoop和Spark是两个不同的分布式软件框架
Hadoop和Spark是两个不同的分布式软件框架。hadoop是一个MapReduce框架，在这个框架上可以运行支持map（），combine（），reduce（）函数的作业。mapreduce的范式很适合单趟计算【先map，再reduce】，不过对于多趟算法的效率还是很低。spark不是一个mapreduce的框架，不过很容易用来支持mapreduce的框架的功能，他提供了一个适当
2017-09-22 13:52:12
530
原创 [main]- ERROR 1037 Operands of Regex can be CharArray only :(Name: Regex Type: null Uid: null)
[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1037: <line 2, column 49> Operands of Regex can be CharArray only :(Name: Regex Type: null Uid: null)
2017-09-04 23:49:17
587
原创 pig ERROR org.apache.pig.Main - ERROR 2997: Encountered IOException. File = does not exist
[main] ERROR org.apache.pig.Main - ERROR 2997: Encountered IOException. File = does not exist
2017-09-04 23:36:13
1125
原创 Spark代码调试遇到的错误Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:
其实关键就在这一句：Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:E:/spark/GPSline/spark-warehouse事实上我的本地并没有这个文件夹，所以就需要添加一个配置spark.sql.warehouse.dir，如果不添加上该配置，默认是找的user.dir下面的目录。val spark = SparkSession.builder().appNa
2017-08-28 15:19:27
7161
2
转载 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/F
转载自http://www.cnblogs.com/lovegmail/p/6053945.html项目中需要将本地文件拷贝到hdfs上，由于本人比较懒，于是使用擅长的Java程序通过Hadoop.FileSystem.CopyFromLocalFile方法来实现。 在本地(Window 7 环境)本地模式下运行却遇到了下述异常：An exception or error ca
2017-08-12 13:32:09
8863
14
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人