- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark程序中cache的作用 + 实验
spark中cache的作用:图例:其中, result1和result2用到了同一个rdd(rdd2)做操作如果rdd2不加cache:由于spark程序为lazy操作, 所以在计算result1时, step1 -> step2 -> step3会全部走一遍, 计算result2时, step1 -> step2 -> step3也会全部走一遍, 其中step...
2019-04-30 11:13:26
982
原创 关于git cherry-pick 命令踩过的小坑
背景:    我用svn比较多, 公司最近一个前端项目用git管理, 所以接触到了一些git的操作. 有一次我需要做一个处理: 我在分支A上commit了一次修复bug相关的代码, 需要合并到分支B用来发布, 但我不想把分支A上的所有提交的代码合并到分支B, 因为有其他人未测试通过的提交, 所以我想要的是:“合并A分支上指定的一个commit到B分支”,....
2018-12-26 18:32:55
2061
原创 解决数据库死锁/取锁超时的一些经历
背景:  刚从别人手里交接了一个服务, 里面有个复杂的业务(命名为接口A), 最近我们公司需要修复数据, 开了80台机器去调用接口A, 日志就各种 Lock wait timeout exceeded; try restarting transaction备注:  1.接口A有事务 &
2018-11-27 20:47:36
2256
原创 关于spring定时钟异常停止的解决方案
关于spring定时钟异常停止的解决方案背景:功能简介: 项目中有一个功能:定时钟(每5分钟)增量更新产品数据到es.大致逻辑: 单表查询大量元数据添加到redis,然后依据redis中的元数据更新产品数据到es.现象:定时钟执行几百次之后,会异常停止,再也不执行, 每次都用重启服务的方式解决研究出的一些点:1.本次定时钟只要未执行完毕,下次定时钟就不会执行.本人解决此问题的一...
2018-10-31 14:51:21
1002
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人