- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大数据基础架构方案
大数据架构方案，主要包括整个大数据的软件栈，主要功能包括：数据抽取，数据存储，数据分析，数据挖掘下面是整个架构设计图： 数据抽取 关系型数据库，通过sqoop导入 日志文件通过flume导入数据存储 采用hdfs,hbase等为数据存储的主体 对于文本检索则采用es/solr等搜索技术 分析后的结果数据可以采用关系型数据库存储数据分析 采用spark,mapreduce,storm等
2016-06-07 00:09:48
7304
原创 spark streaming应用场景(一) 日志分析
日志分析场景：日志数据 访问IP,URL,耗时统计每个URL在最近一分钟的访问次数,平均耗时解决方案 将日志数据导入kafka, 通过spark streaming 从kafka中将数据抽取出来，实时统计一分钟内每个接口的访问次数，及平均耗时，将结果打印出来实现代码val conf = new SparkConf().setAppName("log").setMaster("local
2016-01-11 11:38:15
3629
原创 mac操作系统更新SVN版本与IDEA兼容
更新系统的SVN版本更新操作不记载了更新完后在IDEA中使用命令行模式，但是会报错，提示说客户端版本太低在通过多方面调查后，终于找到了问题，原来是XCODE在搞鬼，xcode中也有SVN，但是它的版本是1.7的，而且IDEAD使用的居然是XCODE中的SVN，于是乎 cd /Applications/Xcode.app/Contents/Developer/usr/bin/ #进入xco
2016-01-11 11:12:41
647
1
原创 centos6.7多网口聚合
1. 在 /etc/sysconfig/network-scripts/ 下添加 ifcfg-bond0文件，内容如下DEVICE=bond0 --物理设备名字IPADDR=192.168.137.104 --IP地址NETMASK=255.255.255.0 --子网掩码NETWORK=192.168.137.0 --所属子网BROADCAST=192.168.
2015-11-17 14:25:17
1888
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人