- 博客(3)
- 收藏
- 关注
RSS订阅转载 ES性能优化总结
Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考；也请大家拍砖。一、 硬件环境选择：如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升，会极大改进ES的速度和性能。二、系统拓朴设计：ES集群在架构拓朴时，一般都会采用Hot-Warm的架构模式，
2021-02-23 16:00:15
1524
转载 Kafka学习笔记–kafka-2.11单机部署
Kafka学习笔记–kafka-2.11单机部署1，简介2，下载kafka3，安装JDK4，安装Kafka启动kafka功能验证1，简介Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。2，下载kafkawget https://mirrors.
2020-11-12 11:55:21
215
转载 使用Hadoop MapReduce进行大数据分析
这里写自定义目录标题使用Hadoop MapReduce进行大数据分析关于Hadoop数据，数据无处不在！追踪地震用opencsv解析数据转换日期格式Hadoop的地图和缩小定义Hadoop Job编写另一个Mapper结论使用Hadoop MapReduce进行大数据分析Google在2001年推出图片搜索功能时，拥有2.5亿张索引图片。 不到十年后，这家搜索巨头就索引了超过100亿张图片。 每分钟有35个小时的内容上传到YouTube。 据说Twitter平均每天处理5500万条推文。 今年早些时候
2020-08-21 10:50:40
1394
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人