- 博客(0)
- 资源 (3)
- 收藏
- 关注
springMVC+mybatis整合jdbc 实现批量处理大数据操作优化效率
springMVC+mybatis整合jdbc 实现批量处理大数据操作,原本框架定义使用springMVC+mybatis,但由于mybatis实现数据量较多时批量操作速度极慢,因此我查了好多资料,最终采用jdbc实现批量操作,下面我来介绍一下我的需求:
①。springMVC+mybatis 是比较流行的框架,所以选择使用;
②。业务需要从客户的数据库(orcale数据库)查到的数据保存到本地数据库(mysql 数据库)之后在进行其他操作;
总结:刚开始使用批量处理使用mybatis操作,但是实测2000多条数据居然等了十几分钟,我们后期数据量多时有40w左右的数据量,这样的效率果断不行;
采用jdbc操作:采用批量管理操作,实测7w数据量80s,这样的速度已经相当不错(如果有更高效率的朋友希望共享);
备注:这里使用jdbc只处理批量插入操作
大家可以拿源码直接测试,数据库建表还可按照对应的实体类进行建表测试;有需要交流的希望大家可以加我微信:yl940312730 (小殷)
2018-01-03
ssm配置多个数据源、junit4测试
ssm配置多个数据源、自己写的一个demo,按照所写的代码去修改相应的代码即可使用,配置文件只需该数据库连接,这里使用了两个数据库连接,若使用多个链接时可仿照此方法在继续添加即可,另附junit4测试类供大家测试与学习
2017-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人