- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据爬坑行（四）Hive的首次数据分析
在上一节，我写了个产生日志的小程序，通过flume上传到了hdfs，同时hive也安装好了，这次我们试试用hive分析一下上传的日志。
2019-02-10 12:53:46
245
原创 大数据爬坑行（三）安装Hive
本来想先把flume集群安装好再安装Hive的，不过想想现在测试也能用了，先装了Hive再回去搞flume集群好了。在开始安装Hive之前，先把之前的环境修改一下。一、修改flume的source和sink路径#agent1 nameagent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Spooling Di...
2019-02-10 10:54:48
240
原创 大数据爬坑行（二）安装flume（单机模式）
根据实际应用，我们管理的设备上的安装有运行检测的智能传感器，会将设备运行的状态信息以及环境信息传到应用服务器，应用服务器会将这些信息保存为运行日志。由于我们需要管理的设备数量非常多，超过50万台，因此这种日志信息的量非常大。因此我们需要通过flume监控应用中运行日志的文件夹，上传到hdfs（以后实时应用还需要上传到kafka）。我们采用的flume版本是1.6。首先建立单节点flume作为测...
2019-02-09 21:24:37
355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人