- 博客(19)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 spark streaming 提交offset不是你想的那样
背景： 需要用streaming+kafka消费一批数据，数据处理的过程中可能会有一些问题，导致没有消费成功，所以想记录每个分区消费的offset，在创建createDirectStream的时候指定offset。 测试过程中发现除了第一次指定的offset生效外，后续依然会从untilOffset消费，并非自己手动提交的offset位置。通过扒源码发现是自己对offset的理解...
2020-04-01 18:05:50
1560
原创 后端生成PDF一些工具
大致分为以下几种1.利用PDF模板，读入模板，填充数据，生成带数据的PDF先要生成自己的PDF模板，然后在模板中定义变量，等待代码填充变量值。优点:代码简单；缺点：模板要先提供，表单域的变量只能是name，age这样的简单变量，而不能是user.name，user.age这样的复杂变量；而且这种生成PDF的方式要自己制作表单的时候就设计好那一块应该放什么，样式扩展性很差，不灵活...
2020-03-30 16:03:09
2856
原创 MultiThreadedHttpConnectionManager遇到的坑
先说背景，使用的是commons-httpclient 3.1版本封装的HttpUtils，请求一个失效的url。设置了重试大小3次，因为是失效的url，所以应该重试3次直接退出。但是现象是重试了两次后，第三次一直等不到结果，并且请求不会超时，不会中断，任务一直卡着。附有问题的代码初始化client部分 privatestaticHttpClient client ...
2019-11-06 15:27:34
4235
原创 elasticsearch 分页问题
elasticsearch分页分为两种：浅分页和深分页 首先来看下浅分页 实现方式就是from和size控制 假如查询的索引有5个分片，from=0 size=10，此时es会将查询节点请求分配到其余分片所在节点。其余节点会返回自己数据结果集中的top10，然后返回给请求节点。请求节点接受到的数据集就有5*10个大小，然后再从中选取top10个返回。
2017-07-19 15:48:12
1445
原创 es 构造dsl性能优化点记录
1 regexpFilter或者wildcardQuery之类的模糊查询，本身的性能不高，因为有可能会触发多次匹配操作，尤其是避免以*或者.*开始，性能会有瓶颈
2017-07-14 15:38:24
1089
原创 Es对Date类型的处理
当我们想要存储一个业务bean的时候，一般都会添加createTime,updateTime字段。如果使用数据库，我们一般会将时间字段设计为Date类型，但是如果是使用es，倘若不了解其底层机制，那么会遇到一些意向不到的问题。 我们先看一下es是如何对Date类型处理的，代码如下： private void writeValue(Object value) throws IOExcept
2017-07-05 10:50:18
35464
原创 多数据更新冲突处理机制
一 背景 在做一个数据合并项目的时候，遇到了多数据源更新同一数据，导致并发更新冲突的问题。具体场景是，有一个数据实时采集服务，然后通过数据merge服务，完成最终的数据合并操作。但是在做合并操作时，有可能会存在并发冲突，后一个线程将前一个线程刚处理后的字段给覆盖。当时的存储引擎是es，虽然es本身自带版本控制功能，但是由于es自身的刷新时间间隔，以及项目本身设置的刷新时间较长（场
2017-07-04 18:08:06
1479
原创 subString（） jdk1.7改进
String b = a.subString(2); JDK6中通过观察源码发现b虽然创建了一个新的对象，但是value[]属性域仍然指向原来的a所指向的字符数组，只是重新定义了起始位置以及长度。 原因是为了避免内存拷贝、加快速度。但如果有一个"非常"长的字符串,每次使用substring()时只想要很小的一部分,那么将会引起另一个性能问题: 虽然只需要很小的一部分,但是持有了整个v
2015-11-11 14:38:05
560
转载 C语言单链表实现19个功能完全详解
#include "stdafx.h"#include "stdio.h"#include #include "string.h" typedef int elemType ; /************************************************************************//* 以下是关于线
2014-11-01 22:09:30
468
转载 java并发编程-Executor框架
Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类，其中包括线程池，Executor，Executors，ExecutorService，CompletionService，Future，Callable等。他们的关系为： 并发编程的一种编程方式是把任务拆分为一些列的小任务，即Runnable，然后在提交给一个Executor执
2014-10-22 10:51:44
556
转载 HttpClient 学习整理
HttpClient 是我最近想研究的东西，以前想过的一些应用没能有很好的实现，发现这个开源项目之后就有点眉目了，令人头痛的cookie问题还是有办法解决滴。在网上整理了一些东西，写得很好，寄放在这里。HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java.net 包中
2014-03-12 14:48:33
511
转载 HttpClient入门
HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient，然后根据作者实际工作经验给出了一些常见问题的解决方法。HttpClient简介HTTP 协议可能是现在 In
2014-03-12 10:11:39
525
转载 关于Java中的可变与不可变类
所谓不可变类，是指当创建了这个类的实例后，就不允许修改它的属性值。在JDK的基本类库中，所有基本类型的包装类，如Integer和Long类，都是不可变类，java.lang.String也是不可变类,虽然他不是基本类型。如:String var = "abcd";Long i = 0L;我们知道,当声明一个变量的时候,变量名实际上是该对象的指针;而我们在函数中传递该变量
2014-03-04 19:46:29
711
转载 myeclipse修改乱码（编码格式修改）
一、设置新建常见文件的默认编码格式，也就是文件保存的格式。 在不对MyEclipse进行设置的时候，默认保存文件的编码，一般跟简体中文操作系统（如windows2000，windowsXP）的编码一致，即GBK。 在简体中文系统下，ANSI 编码代表 GBK编码;在日文操作系统下，ANSI 编码代表 JIS 编码。 Window-->Preferences-->General
2014-03-04 14:43:06
577
原创 我的阿里，百度面试经
鉴于很多同学都问我有关面试的问题，作为一个乐于分享的人来说，我就把我的经历和大家汇报一下吧。 两次面试都是通过师兄的内推，好处是不用笔试了（对于一个不善于考试的我来说，这着实是一个很大的福利啊）。废话不多说，直接上真家伙。阿里一面过了，二面光荣挂掉，百度很幸运，顺利通过二面，拿到实习生offer。因为当时阿里的面试在前，可以说是一点经验都没有，想着自己平时项目啊，知识储备神马的还行，所
2014-03-04 13:37:30
1374
2
转载 安装myeclipse8.5版 fatjar包遇到的问题
Myeclipse8.5本身有一个打包的工具,但是不能将别的jar文件也一起打包进来. fat-jar能够很好的解决上述问题。fat-jar它是sourceforge.net下的一个开源工具从http://sourceforge.net/projects/fjep地址可以下载该工具，下载完成后是一个zip压缩包，解压后将plugins文件夹下的net.sf.fjep.fatjar_0.0.27
2013-12-10 22:07:50
771
原创 NumberFormatException
今天在调试Hadoop程序的时候，提示NumberFormatException:for input string ""异常 一直找不到是什么问题 最后发现居然是路径写错了现在都没搞清为什么会出现这个错误提示
2013-11-29 20:41:28
1759
原创 hadoop读取文件java.io.EOFException解决
今天调试hadoop读取文件系统的时候遇到了一个java.io.EOFException异常原始代码String path="hdfs://master:9000/user/hadoop-0.20.2/tmp/7-0-initial-docid"; FileSystem fs = FileSystem.get(URI.create(path), context.getConfigur
2013-11-28 21:19:02
5257
JWS jar包和测试程序
2013-11-24
jena中文教程
2013-11-23
信用卡数据分析系统
2012-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人