- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 供应链冷热数据处理实践
哈啰供应链冷热数据处理实践背景方案选型实施HBASE数据读写生产验证总结背景为了支持供应链几百个仓库，单仓日均近百次（仓库大小不同，数据差别也会比较大，这里取均值用于评估）的出入库操作，也就是日均会产生几十K的单据数据，所以这一块的数据量并不大；但为了更精细化的记录出入库数据，出入库的明细也是必须要记录的，通过前期对正在运行的业务摸排，按单车日均百万的零配件（包括整包，装箱的情况）出入库量，助...
2020-04-05 17:57:21
621
原创 分布式数据库中间件、产品——sharding-jdbc、mycat、drds
一般对于业务记录类随时间会不断增加的数据，当数据量增加到一定量（一般认为整型值为主的表达到千万级，字符串为主的表达到五百万）的时候，性能将遇到瓶颈，同时调整表结构也会变得非常困难。为了避免生产遇到这样的问题，在做系统设计时需要预估可能产生的数据量：预估记录主体个数*预估记录主体产生的记录数（e.g.用户订单表预估数据量=预估用户数*单用户产生订单数），预估达到一定量时，就不得不考虑...
2018-10-06 22:33:38
26278
3
原创 canal在分布式系统中的应用
背景近期在做一个用户行为采集的系统，可选方案基本就是埋点或基于DB监控，考虑到埋点需要各业务系统配合，对原有业务逻辑有一定侵入性，最终选用DB监控为主，埋点为辅（由于部分行为存储在mongo）的方案。canal是阿里开源的数据同步工具，相对比较成熟，而且公司已经有canal的应用，可以说踩过一些坑，当然也提前意识到了一些坑，比如canal强调自己支持HA架构，但只有一个节点处于working状态，...
2018-04-06 21:36:55
1150
原创 谈一谈框架的框架——Spring
走的太快，容易丢掉灵魂，学习也是这样，一味地埋头苦干，回首却发现并没有什么积累，进来得空，决定写些东西，也算是沉淀沉淀这些年学习的知识。本文主要是结合多年的javaweb开发经验，参考Spring官方文档，写一些对Spring的理解，希望能够通过简单易懂的语言深入的剖析Spring，本文所述都是个人观点，虽然经过了认真推敲，但不免掺杂了个人理解，如有不妥的地方，多多批评指正，交流交流，共同成长。
2016-10-17 23:35:53
1014
2
原创 个人网站配置https
为什么要配置https引用wikipedia的说明Hypertext Transfer Protocol Secure (HTTPS) is an extension of the Hypertext Transfer Protocol (HTTP). It is used for secure communication over a computer network, and is widely used on the Internet. In HTTPS, the communication..
2021-05-04 22:31:25
284
2
原创 使用阿里云服务快速搭建个人网站
1.购买ECS服务器可以通过阿里云的指引购买，我是通过新人活动页购买的，相对来讲，优惠力度会大一些，有时候还会有优惠券，叠加优惠券购买更划算，地址是：https://www.aliyun.com/activity/new ，产品还是很丰富的，从1核2G到8核16G的都有，可以按需购买；因为我部署的是java服务，对内存要求会高些，所以买了个2核8G的；购买步骤也比较简单，就不赘述了，只提一点，这个产品自带带宽，可以根据需要选择带宽，如果是面向一般用户的，而且网站没有特别多的富文本，可以按1M/100人预估
2021-05-04 17:15:35
285
原创 HBASE多行转列冷数据处理
背景及介绍详见：供应链冷热数据处理实践方案主要包含读写两块，写是第一步，因为PG是行数据，而HBASE是列数据，而且在做数据同步的同时，还要考虑怎样的数据结构可以方便数据读取，不仅仅如此，因为一个主单会对应多条明细，而查询的时候需要根据单号捞取相关的明细数据，最终通过不断尝试，梳理出以下可执行方案行转列的时候，PG的一行数据会转成HBASE的多条数据，因为查询上只需要支持order_no作...
2020-04-05 17:53:47
517
原创 重构
重构的目的是为了解决问题，或是为了解决目前的问题，或是为了解决未来可能出现的问题。 重构可以分为业务重构和技术重构，而大部分技术重构都是以更好的支撑业务为目的的，这里把这一部分也归到业务重构的范畴。 重构的好坏在于有没有解决问题，解决问题的同时有没有产生新的问题。然后以经历过的两个典型重构案例做以分析1.苏宁易购话费重构背景：原有系统将话费...
2018-08-26 17:06:18
989
原创 记一条慢sql引发的血案
事情经过是这样的，一天下午，一位同事在后台查询一个用户的业务记录，结果半天页面没有响应，于是一边抱怨着一边狂点查询，还是没查出来，最后终于放弃了；然后没一会儿，系统开始不停报警，也开始有用户反馈说登录不了，页面打不开等等；赶快排查哪里出了问题，看日志发现执行数据相关操作全是error，正好有一个系统半个小时前发布过，于是紧急回滚，问题也在同步排查，系统回滚完发现情况并没有好转，这时另一个同...
2018-06-09 22:11:42
361
转载 服务器时间同步工具
1. 安装ntpdate工具# yum -y install ntp ntpdate2. 设置系统时间与网络时间同步# ntpdate cn.pool.ntp.org3. 将系统时间写入硬件时间# hwclock --systohc
2018-03-09 14:29:51
1205
原创 git常用命令
git clone https://github.com/something.gitgit checkout -b smsfixgit push origin smsfixgit statusgit diff ../view/main/bankcard/checkBankcard.vmgit add web/personal/src/main/webapp/view/main/bankc
2016-11-20 14:22:46
210
原创 javax.xml.ws.soap.SOAPFaultException: Unmarshalling Error: unexpected element
address="127.0.0.1"/>添加 即address="127.0.0.1">
2016-11-20 14:14:41
4249
原创 413 Request Entity Too Large
描述：程序通过浏览器上传大的图片时报错，经检查应用js（file.js）中限制了图片的大小，调整后依然报错。然后发现该报错为nginx单个文件过大时报错的，于是修改应用所在机器nginx配置，报错依旧。最终确定由于使用到域名映射到ip，所以会先经过域名映射所在nginx，因此修改此nginx配置，问题解决。
2016-11-20 14:02:49
321
原创 spring定时任务schedule未执行或超时的几点验证
近来由于项目的需要，开发了几个定时任务，由于项目已经集成了spring，并提供了注解的支持，也就选择了schedule的方式。网上schedule的配置和使用说明都很多，所以上手还是很方便的。接下来说一下几点感受。
2016-11-20 12:44:14
10851
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人