- 博客(31)
- 收藏
- 关注
RSS订阅原创 面试题总结--kafka
面试题总结–kafka文章目录面试题总结--kafka1. kafka topic数量过多对kafka有什么影响2. kafka的ISR副本同步队列3. kafka如何保证精准一次消费1. kafka topic数量过多对kafka有什么影响问题：topic数量过多，会导致总分区数很多，磁盘读写退化为随机，影响性能解决方案：2. kafka的ISR副本同步队列ISR（In-Sync Replicas），副本同步队列。ISR 中包括 Leader 和 Follower。如果 Leader进程挂掉
2021-03-04 18:13:13
284
1
原创 面试题总结--Hadoop
面试题总结–Hadoop文章目录面试题总结--Hadoop1. Hadoop常用端口号2. HDFS读流程和写流程1. Hadoop常用端口号组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.h
2021-03-03 18:50:03
155
原创 面试题总结--Linux&Shell相关
面试题总结–Spark (持续更新ing…)文章目录面试题总结--Spark (持续更新ing......)1.Linux常用命令1.Shell常用工具1.Linux常用命令序号命令命令解释1top查看内存2df -h查看磁盘存储情况3iotop查看磁盘IO读写4iotop -o直接查看比较高的磁盘读写程序5netstat -tunlp | grep 端口号查看端口占用情况6uptime查看报告系统运行时长及平均负载
2021-03-02 15:38:32
181
原创 面试题总结--Spark (持续更新ing......)
面试题总结–Spark (持续更新ing…)文章目录面试题总结--Spark (持续更新ing......)1. spark中的RDD是什么，有哪些特性？1. 宽依赖与窄依赖1. spark中的RDD是什么，有哪些特性？RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合1. 宽依赖与窄依赖窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter或者多个父RD
2021-01-28 18:57:50
150
原创 Spark学习总结--（待更）
Spark总结文章目录Spark总结1. Spark概述1.1 Spark是什么？1.2 Spark简史1.3 Spark 特点1.3.1 快1.3.2 易用1.3.3 通用1.3.4 兼容性2. Spark下载与入门3. Spark下载与入门1. Spark概述官网：http://spark.apache.org1.1 Spark是什么？Spark 是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括
2021-01-26 11:29:08
229
原创 Flink1.11.2集成CDH6.0.1
Flink1.11.2集成CDH6.0.11. 集群规划2. 版本选择3. Flink集成CDH编译3.1 准备maven环境3.2 编译flink-shaded 版本3.3 编译flink源码3.4 制作parcel安装包3.5 CDH集成Flink3.6 搭建过程中问题汇总3.7 Flink界面验证3.8 运行Flink例子程序3.9 提交Flink任务到yarn参数说明1. 集群规划普通分布式集群一个简单的表格是这么创建的：节点名称masterslave1slave2J
2021-01-12 16:18:33
763
2
原创 Ant学习之------Linux下安装Ant 1.10.5+利用Ant将多个jar包合并成一个jar包
下载Ant下载地址下载最新版本1.10.5解压tar包tar -zxvf apache-ant-1.10.5-bin.tar.gz配置环境变量vim /etc/profile增加如下两行：export ANT_HOME=/home/ant/apache-ant-1.10.5export PATH=$PATH:$ANT_HOME/bin使配置文件生效...
2019-03-29 16:33:48
569
原创 Aviator 一种表达式求值引擎
1.简介Aviator是一个高性能、轻量级的 java 语言实现的表达式求值引擎, 主要用于各种表达式的动态求值。现在已经有很多开源可用的 java 表达式求值引擎,为什么还需要 Avaitor 呢?Aviator的设计目标是轻量级和高性能,相比于Groovy、JRuby的笨重, Aviator非常小, 加上依赖包也才 537K,不算依赖包的话只有 70K; 当然, Aviator的语法是受限...
2019-03-19 17:56:07
6906
2
原创 XMind8安装及破解
下载：主程序：http://dl2.xmind.cn/xmind-8-update8-windows.exe破解包：https://carrot.ctfile.com/fs/11269771-299993296双击主程序进行安装开始安装选择安装路径选中之后点击下一步确定安装位置进行安装开始安装安装完成打开程序->编辑->首选项破解补丁开始安装，以管...
2018-10-23 14:25:43
724
2
原创 hue 4.2.0安装（使用MySQL作为元数据库）
1.安装依赖yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-deve...
2018-08-21 11:44:23
2401
原创 elasticsearch-py
import osimport timefrom os import walkfrom datetime import datetimefrom elasticsearch import Elasticsearchfrom elasticsearch.helpers import bulkclass ElasticTest: def __init__(self,index_...
2018-06-12 15:32:18
920
原创 IDEA & PyCharm 主题更换 activate-power-mode插件安装
让你的代码动起来， 让你的编辑器充满色彩， 让编程不再枯燥。 所以我给我的开发工具做了点小装饰， 让它变得更好看。activate-power-mode1.activate-power-mode下载 activate-power-mode下载地址 2.在IDEA或者PyCharm中添加插件 File -> settings -> Plugins ->...
2018-06-08 13:53:10
11836
6
原创 Linux下安装Tomcat 8.5手册
1.下载 在core选择自己需要的版本，我选择的是tar.gz2.解压tar -zxvf apache-tomcat-8.5.31.tar.gz3.在conf目录下server.xml可以修改端口号（我改成了8880） 4.在bin目录下运行startup.sh5.访问http://localhost:8880/看到tomcat的欢迎页面。localhost替换为Lin...
2018-06-07 18:15:27
3652
原创 Tez 0.9安装部署+hive on tez配置 + Tez-UI
Tez说明将xyz替换为您正在使用的tez发行版号。例如0.5.0。对于Tez版本0.8.3和更高版本，Tez需要Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本为2.7.0或更高版本。关于版本1.Hadoop 2.7.0+（我的是2.7.1） 2.Tez还需要Protocol Buffers 2....
2018-06-06 15:09:51
11326
3
原创 python3在linux中的一些操作
学习笔记。参考菜鸟教程查看python版本python -V结果如下：Python 3.6.5我的第一个python程序，依旧是’Hello World!’ 1.在linux中编辑一个hello.py shell vim hello.py 文本内容如下 python #!/usr/bin/py...
2018-05-30 14:25:10
576
原创 pyCharm的设置（持续更新）
鼠标滚轮控制缩放大小 File –> settings –> Editor –> General 勾选红框内选项即可。 更改主题 File –> settings –> Editor –> Color Scheme –> Python
2018-05-30 13:49:12
3920
原创 pyCharm安装及激活
简介 PyCharm 是由 JetBrains 打造的一款 Python IDE，支持 macOS、 Windows、 Linux 系统。 PyCharm 功能 : 调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制…… PyCharm 下载地址 : https://www.jetbrains.com/pycharm/download/ PyCharm ...
2018-05-30 11:15:18
1097
原创 Window平台安装Python3
下载安装包 下载链接 如图所示点击下载即可 或者您可以选择View the full list of downloads.查看其它版本，根据您的需求选择对应的版本下载。 也可以点击Windows进入如下窗口，选择32或64位的安装包 下载完成后双击安装包 选择如下开始安装 首次安装默认即可，选择next 选择安装的路径点击Install开始安装 安装成功 我...
2018-05-30 10:43:21
1272
原创 搭建本地yum离线安装SSHFS
搭建本地yum用本地文件创建本地yum源 1.创建iso存放目录和挂载目录mkdir /mnt/iso mkdir /mnt/yum.ext2.将iso镜像文件上传到/mnt/iso文件夹下3.将/mnt/iso/下的iso文件挂载到/mnt/yum.ext目录mount -o loop /mnt/iso/XXXXX.iso /mnt/yum.ext注：挂载完...
2018-04-17 15:42:05
1526
原创 elasticsearch索引备份与迁移 sshfs建立共享文件
备份es数据的步骤： 1. 集群。多节点时需要挂载一个共享目录建立一个共享目录，这个共享目录要求集群中的所有节点都能感知到。如何创建共享仓目录后面补充。 2. 在每个节点的$ELASTICSEARCH_HOME/config/elasticsearch.yml中添加path.repo: /home/elk/es_backup 配置，并重启节点，其中/home/elk/es_ba...
2018-04-17 15:09:42
1241
原创 x-pack6.0破解（仅用于个人测试，请支持正版） 配置SSL/TSL以及ca证书生成
安装方式1.在线安装x-pack elasticsearch权限管理 x-pack 6.0 的安装及Security模块使用 内置角色介绍2.离线安装x-pack 安装包下载地址1. 安装命令elasticsearch-6.0.0/bin/elasticsearch-plugin install file:///usr/local/x-pack-6.0.0.zip2....
2018-04-12 14:54:28
1444
原创 elasticsearch权限管理 x-pack 6.0 的安装及Security模块使用 内置角色介绍
x-pack安装 1.elasticsearch没给节点都需要安装x-packelasticsearch-plugin install x-pack2.启动elasticsearch 3.自定义设置密码./bin/x-pack/setup-passwords interactive三个内置账号根据提示为其设置密码也可以自动生产密码./bin/x-pack/setup...
2018-04-08 14:34:46
8116
2
原创 kafka flume sparkStreaming整合
安装包： flume : apache-flume-1.8.0-bin.tar.gz 下载地址：http://flume.apache.org/download.html kafka : kafka_2.11-1.0.0.tgz 下载地址：http://kafka.apache.org/downloads1.启动kafka服务nohup kafka-server-start....
2018-03-07 12:59:22
337
原创 kafka生产者消费者API 与sparkStreaming 整合（scala版）
maven配置文件 <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <arti...
2018-03-07 11:16:29
3913
3
原创 kafka 1.0集群搭建
安装包：kafka_2.11-1.0.0.tgz 下载地址：http://kafka.apache.org/downloads1.配置免密登录（可选择配置） 2.搭建zookeeper集群 3.上传kafka安装包 4.解压安装包tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local5.修改配置文件 config/server.proper...
2018-03-07 10:27:26
1954
原创 elasticsearch Java High Level REST Client
maven <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <vers
2018-01-03 18:25:24
4027
4
原创 elasticsearch-spark
maven <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20 --> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20
2018-01-03 17:45:17
2211
原创 elasticsearch常用查询和操作总结
（根据自己的需求做了一些总结，可能不够全面，如果哪里表述不够清晰给我留言我们一起探讨。我也刚刚接触，可能有些地方的理解比较片面，欢迎指出。） 1.查看集群健康状况GET /_cat/health?v2.查看节点列表GET /_cat/nodes?v3.查看index列表GET /_cat/indices?v查看mappingGET /index/type/...
2018-01-03 16:52:49
3716
原创 关于es-head插件的安装
（参考多篇博客结合自己的情况做了一个总结，便于自己之后查看。）安装git1. 由于需要从github上面下载代码，因此需要先安装gityum -y install git2. 安装完成后下载es-head的代码：git clone git://github.com/mobz/elasticsearch-head.git3. 下载后修改权限，我这里简单粗暴直接修改了777，因为是一个第三方插件，
2017-12-26 18:53:56
5562
原创 elasticsearch 6.0.0（多节点安装） + kibana 6.0.0集群环境搭建
版本elasticsearch-6.0.0.tar.gz kibana-6.0.0-linux-x86_64.tar.gzelasticsearch搭建 1. ES不能使用root用户启动，所以我们需要先增加用户：(查询了许多博客，别的博主说更改一些相关配置就可以使用root用户启动elasticsearch了，但是我配置过后仍旧不可以使用root用户启动，不明原由，希望解决了相关问题的小伙伴留
2017-12-26 16:12:08
6066
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人