- 博客(2)
- 收藏
- 关注
RSS订阅原创 java 对大数据的处理
最近做了一个项目，数据量每次处理在两百万左右，这里记录一下最近开发时处理大量数据的思路，主要思路是将大数据化小，多次处理，不足之处还请指出。文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值
2018-01-08 17:41:06
39589
原创 java实体,MAP,json之间的转换
关于Map,实体类，json之间的转换，网上有很多，依赖的工具包也不一样，这里写一下最近遇到的几种转化，利用alibaba--fastjson进行转化（内容有些也是网上搜的，如有侵权，联系删除）1、---json转Map依赖alibaba--fastjsonJSONObject jso = JSONObject.parseObject(jsonArr.getSt
2018-01-03 16:41:47
10136
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人