- 博客(8)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 kafka个人学习总结2020-12-28
kafka0.11学习总结一、product核心参数回调函数样例代码幂等与事务（了解）二、 broker名词ISR HW LEO EPOCHISRHW&LEO原理保持数据一致性原理（丢数据）三、consumer核心参数消费者高级API消费者低级API（官方代码）消费者组rebalance四、压测和性能调优五、监控软件kafka-eagle一、product核心参数kafka0.11官方文档http://kafka.apache.org/0110/documentation.html#prod
2020-12-28 15:23:52
228
原创 欢迎使用CSDN-markdown编辑器1111
jklj欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编
2020-12-28 11:29:20
144
原创 Hive调优
hive调优1.mr tez spark 三种引擎的选择2. 做map端join，把小表放入内存 /+MAPJOIN(t1)/3.改变redice个数参数一： hive.exec.reducers.bytes.per.reducer默认是1G参数二： hive.exec.reducers.max默认999修改两个参数控制reduce数量Reduce个数=min(参数二, 总输入数据...
2019-12-04 18:16:32
128
原创 HADOOP优化(实用篇)
一、HDFS调优1.设置合理块大小(dfs.block.size)如果块过小，产生的元数据大，会增加namenode的压力；如果块过大可能会随时磁盘空间2.将中间见过分布多个磁盘上，提高写入速度(mapred.local.dir)配置mapred-site.xml<property ><name>mapred.local.dir</name><...
2019-12-04 17:44:32
406
原创 大数据开发个人面经2019-09-01
大数据个人面经一、萌新网络1.简单的问了一些hpl中的一些函数，比如行转列，列转行，还有row_number窗口函数基本应用2.yarn任务的调度方式3.大概数据量二、撼策科技1.谈一谈个人对spark的理解2.一些shell linux指令，比如 查询端口 netstat nltp | grep 端口号3.hpl的优化4.hive优化三、合胜1.spark sql运行慢，怎...
2019-12-04 16:33:40
188
原创 TopN几个情景
1.数据量小的情况直接用cleanup（）单ReduecTask处理2.两个mapreduce处理，建立jobcontrol，shuffle层会为key排序，可以自定义key的compare，升序降序3.
2019-06-01 10:51:45
136
原创 Java复习难点
1.ArrayList 与vector 初始化为10，ArrayList大小由属性DEFAULT_CAPACITY常量指定，vector底层用空参构造this(10）指定大小，vector线程安全2.ArrayList底层用索引（index）查找，LinkedList要for循环遍历3.Collections.synchronizedList(Collection c) 包装使同步（线程安全）...
2019-05-31 15:42:47
172
原创 Hadoop环境搭建及使用（超详细）
Hadoop环境搭建及使用（超详细）伪分布式linux搭建设置网络IP和虚拟机网关克隆两个Linux，如果不会自行百度，接下来是克隆之后的配置第一步需要修改主机名第二步配置本机HOST映射第三步需要修改网卡信息第四步需要配置IP关闭防火墙并开机不启动，每一个机器都要执行环境配置SSH->scp指令配置JDK和hadoop环境变量配置,当然之前要传输JDK和HADOOP到linux其中一台JD...
2019-05-31 14:01:21
1343
空空如也
空值判断求大神详细解读中间两行代码
2018-09-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人