- 博客(4)
- 收藏
- 关注
原创 大数据爬坑行(四)Hive的首次数据分析
在上一节,我写了个产生日志的小程序,通过flume上传到了hdfs,同时hive也安装好了,这次我们试试用hive分析一下上传的日志。
2019-02-10 12:53:46 241
原创 大数据爬坑行(三)安装Hive
本来想先把flume集群安装好再安装Hive的,不过想想现在测试也能用了,先装了Hive再回去搞flume集群好了。在开始安装Hive之前,先把之前的环境修改一下。一、修改flume的source和sink路径#agent1 nameagent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Spooling Di...
2019-02-10 10:54:48 238
原创 大数据爬坑行(二)安装flume(单机模式)
根据实际应用,我们管理的设备上的安装有运行检测的智能传感器,会将设备运行的状态信息以及环境信息传到应用服务器,应用服务器会将这些信息保存为运行日志。由于我们需要管理的设备数量非常多,超过50万台,因此这种日志信息的量非常大。因此我们需要通过flume监控应用中运行日志的文件夹,上传到hdfs(以后实时应用还需要上传到kafka)。我们采用的flume版本是1.6。首先建立单节点flume作为测...
2019-02-09 21:24:37 354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人