- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark广播变量及GC调优
最新在工作中，需要在广告中过滤黑名单，具体业务鉴于保密，暂不详细阐述，本文想要说的是本次应用过程中使用Spark广播变量及使用GC调优解决该问题的要点，有用到的伙伴可以参考正常spark日志解析中加入黑名单解析根据前期调研查看，黑名单一类25万+，3.86MB，黑名单二类106万+，46.3MB，理论上完全可以将其封装，采用spark广播变量的方式广播到每一个节点处理但是实际在测试中，遇到...
2018-08-10 20:55:02
857
原创 针对点击跳转服务网络攻击或爬虫的三种应对策略
今日发现部署的生产短链接跳转服务收到大量请求异常报警正常的短链接点击跳转先截取到短链接，先从缓存中获取，如果未找到，然后经过可逆算法转化后从数据库获取原始url，进行跳转，但是收到的大量异常请求均是在域名后添加了一堆url编码，其中不乏大量的PHP，初步确定是爬虫所致，随后又经过仔细排查，来自两个IP，1个小时两台服务器分别收到2300+，2600+次非法攻击，这里列出三种策略，有兴趣的可以采...
2018-07-21 11:41:30
535
原创 Linux-shell-curl-put命令变量及换行问题总结
1. 最近在使用shell curl自动处理ETL时，需要定时触发一API，使用方式为PUT，但是多次触发均失败，命令如下：curl -g -i -H "Content-type: application/json" \-X PUT "http://101.201.81.101:8080/preaggregate" \-d'{"taskId":"base_analyses","aggId":"5b.
2018-07-13 21:00:13
9034
hive-0.9.0.tar.gz
2016-10-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人