- 博客(75)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 maven安装jar包命令
com.ibm.db2 db2jcc_license_cisuz 10.1 mvn install:install-file -DgroupId=com.ibm.db2 -DartifactId=db2jcc_license_cisuz -Dversion=10.1 -Dpackaging=jar -Dfi...
2019-12-24 17:39:56
194
原创 spark-submit提交job任务解决三方依赖方案
spark-submit提交job任务解决三方依赖方案spark-submit提交job任务解决三方依赖方案spark-submit提交job任务解决三方依赖方案在spark 安装目录spark/jars 下面添加需要加装的jar包，此方法需要在每个节点都放入jar包或者在spark/conf/spark-defaults.conf 文件下面添加如下两行spark.executor.extraClassPath=/root/bigData/apache-maven-3.6.3/lib/*spar
2021-03-25 14:55:19
423
原创 SparkSQL零基础入门(11)：sparkSQL的概述与SparkSession/RDD/DataFream/DataSet的概述
Spark零基础入门第十一课：sparkSQL没有看前面的同学可以回顾一下：10.Spark零基础入门第十课：spark数据倾斜后怎么办？？9.Spark性能优化-开发调优8.SparkCore 调优之内存模型8.SparkCore 调优之内存模型7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用！！！5.RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！4.Spark Rdd常用算子和RD
2020-08-23 19:05:54
458
原创 Spark零基础入门第十课：spark数据倾斜后怎么办？？
Spark零基础入门第九课：spark数据倾斜没有看前面的同学可以回顾一下：9.Spark性能优化-开发调优8.SparkCore 调优之内存模型8.SparkCore 调优之内存模型7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用！！！5.RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！4.Spark Rdd常用算子和RDD必备知识3.spark core 核心知识2.spark 之
2020-06-19 16:00:01
667
原创 从0开始学习spark（9）Spark性能优化-开发调优
Spark零基础入门第九课没有看前面的同学可以回顾一下：8.SparkCore 调优之内存模型7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用！！！5.RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！4.Spark Rdd常用算子和RDD必备知识3.spark core 核心知识2.spark 之 wordcount入门1.spark 入门讲解...
2020-06-16 10:37:21
300
原创 Kafka最全单机安装完整步骤加测试！！
Kafka安装步骤：1.安装JDK1.81 .1 安装：2.安装zookeeper （配置单机模式）2.1 下载地址：[http://mirrors.hust.edu.cn/apache/zookeeper/](http://mirrors.hust.edu.cn/apache/zookeeper/)3. 安装kafka：3.1 下载3.2修改配置文件：3.3测试生产消费：启动ZK启动Kafka创建topic查看topic list生产消息消费消息从0开始消费所有消息1.安装JDK1.8首先kafka.
2020-06-08 17:06:24
2713
2
原创 leetcode每日一题，动态规划算法+二分查找！！
leetcode 国内网站：https://leetcode-cn.com/problemset/all/给定一个无序的整数数组，找到其中最长上升子序列的长度。示例:输入: [10,9,2,5,3,7,101,18]输出: 4解释: 最长的上升子序列是 [2,3,7,101]，它的长度是 4。说明:可能会有多种最长上升子序列的组合，你只需要输出对应的长度即可。你算法的时间复杂度应该为 O(n2) 。进阶: 你能将算法的时间复杂度降低到 O(n log n) 吗?//动态规划
2020-06-02 11:30:31
422
原创 从0开始学习spark（8）SparkCore 调优之内存模型
Spark零基础入门第八课没有看前面的同学可以回顾一下：7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用！！！5.RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！4.Spark Rdd常用算子和RDD必备知识3.spark core 核心知识2.spark 之 wordcount入门1.spark 入门讲解...
2020-06-02 09:44:50
863
原创 第一次刷leetcode记录一下：题目为存在重复元素。
leetcode 国内网站：https://leetcode-cn.com/problemset/all/感觉第一个还是很简单的，O(∩_∩)O哈哈~，可能我还没有被现实打击吧，分享给大家，希望大家可以一起进步！！ public boolean containsDuplicate(int[] nums) { int a = 0; Arrays.sort(nums); for(int i=0;i<nums.length-1;i++){
2020-05-28 16:22:59
259
原创 从0开始学习spark（7）SparkCore 核心知识复习与核心机制详解
Spark零基础入门第七课Spark 的核心概念 ：Spark 运行架构特点Spark运行架构图：spark stage 阶段划分算法图：spark-on-yarn 模式图：sparkContext的构建的过程Spark MasterHA机制Worker节点的原理没有看前面的同学可以回顾一下：**6.Spark共享变量之累加器和广播变量的使用！！！5.RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！4.Spark Rdd常用算子和RDD必备知识
2020-05-28 09:46:55
350
原创 从0开始学习spark（6）Spark共享变量之累加器和广播变量的使用！！！
Spark零基础入门第六课1. spark共享变量（Shared Variables）1.1 简介：1.2 为什么要定义广播变量 ：1.3 、如何定义和还原一个广播变量 ：2. Accumulators（累加器）2.1 为什么要定义累加器 :2.2 如果定义和还原一个累加器3. 自定义累加器：每日福利来一个。没有看前面的同学可以回顾一下：5.RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！4.Spark Rdd常用算子和RDD必备知识3.sp
2020-05-20 19:30:22
287
原创 大学毕业一年自述vlog
自述大家一说到程序员肯定都会想到高工资，可是我的生活为什么和别人口中的那么不一致呢?有时候都会觉得自己是一个假的程序猿了。感觉上面这图很好的表现了我现在的生活。那么首先来说说我这大学到毕业都经历了什么吧：首先自我介绍一下，本博主已经是一个24的小伙子了，刚刚出社会，面临着巨大的压力，每天都是过着2点一线的生活，在大学学的是物联网专业搞硬件嵌入式的，后来在大3的时候才决定放弃硬件转行软件行业，这其中的艰辛啊，真的还是比较难受的，因为感觉软件要学习的东西实在是太多了，完全没有自己的方向，后来是因为什么.
2020-05-14 19:18:00
495
1
原创 从0开始学习spark（5）RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！
Spark零基础入门第五课常见的transformation算子练习：常用的action算子练习：在这些基本的了解之后，给大家来两个高级调优的聚合算子的用过：combineByKeyaggregateByKey**最后我们做一些练习巩固一下常用算子：**拉钩网职位数据练习题每日福利来一个，话不多说，我们直接开始今天的spark RDD的实战练习代码，我们学习编程，还是要多实战，在实战中我们才能领悟到平时很难理解的知识点，下面我们开始我们今天的训练吧！没有看前面的同学可以回顾一下：4.Spark Rd
2020-05-10 10:48:30
805
2
原创 从0开始学习spark（4）Spark Rdd常用算子和RDD必备知识！！！
Spark零基础入门第三课1. RDD1.1 什么是RDD1.2 RDD 的属性2. 创建 RDD3. RDD常见的算子介绍3.1 Transformation 类算子：3.2 action 类算子：3.3 WordCount 中的 RDD4. RDD的依赖关系4.1 窄依赖和宽依赖对比4.2、窄依赖和宽依赖总结4.3、Lineage5. DAG 生成6. RDD 缓存6.1 RDD 的缓存方式每日福利来一个，话不多说，我们直接开始今天的spark的学习，之前我们学习了Spark的基础原理，和概念，然后
2020-05-09 13:16:03
557
原创 程序员必备75道逻辑思维题（附答案）终章
感觉这一天天的，上班是真的混，没有一个比你厉害的带你，都靠自己学习，你觉得这样的公司可以一直待下去吗???!!!还是多学习算法，思维，到时候去面试薪资翻倍不是梦啊！【61】你有两个罐子，50个红色弹球，50个蓝色弹球，随机选出一个罐子，随机选取出一个弹球放入罐子，怎么给红色弹球最大的选中机会？在你的计划中，得到红球的准确几率是多少？答案：一个罐子放一个红球，另一个罐子放49个红球和50个...
2020-05-05 09:11:49
5317
原创 程序员必备75道逻辑思维题（附答案）之六
感觉这一天天的，上班是真的混，没有一个比你厉害的带你，都靠自己学习，你觉得这样的公司可以一直待下去吗???!!!还是多学习算法，思维，到时候去面试薪资翻倍不是梦啊！【41】有23枚硬币在桌上，10枚正面朝上。假设别人蒙住你的眼睛，而你的手又摸不出硬币的反正面。让你用最好的方法把这些硬币分成两堆，每堆正面朝上的硬币个数相同。【42】三个村庄A、B、C和三个城镇A、B、C坐落在如图所示的环形...
2020-04-28 10:48:22
1753
原创 阿里轻量应用服务器之图形化界面宝塔
最近想做一个微信小程序，所以蹭着优惠买了一个阿里的服务器，还挺好用的，大家可以买一个学习学习，特别是学生，优惠力度特别大，链接：阿里云学生服务器购买地址首先你进入网站就可以看到：我买的是轻量应用服务器，因为我需求是需要一定网速来支撑的，所以买的下面的，然后你不是很需要网速可以考虑ECS。然后进入点击购买：当然我不是学生所以贵很多，学生的话，就是一年114就可以买到，还可以续约的。...
2020-04-25 15:18:13
959
2
原创 从0开始学习spark（3）Spark Core 核心知识
Spark零基础入门第三课1. Spark作业调度方式1.1 cluster 和 client 的区别2. spark 核心功能介绍：2.1 SparkContext2.2 存储体系2.3 计算引擎2.4 部署模式3. Spark 扩展功能3.1 Spark SQL3.2 Spark Streaming3.3 Spark GraphX3.4 Spark MLlib4. spark基本结构spark...
2020-04-23 22:56:41
405
原创 大毕业什么都没学到 就是收藏了超级实用的130个网站！！！
导航网站定位系统1. 搞学习2. 找书籍3.冷知识 / 黑科技4. 写代码5. 小工具6. 导航页（工具集）7. 看视频8.学设计9.搞文档10. 找图片1. 搞学习CSDN： https://www.csdn.net/TED（最优质的演讲）：https://www.ted.com/谷粉学术： https://gfsoso.99lb.net/scholar.html大学资源网：http...
2020-04-23 22:48:30
5490
原创 程序员必备75道逻辑思维题（附答案）之五
逻辑训练身为一个大数据工程师，平时的算法训练还是不能少的，今天给大家看几道我曾经看到的逻辑思维题觉得很好，想分享一下。【26】话说有十二个鸡蛋，有一个是坏的（重量与其余鸡蛋不同），现要求用天平称三次，称出哪个鸡蛋是坏的！【27】100个人回答五道试题，有81人答对第一题，91人答对第二题，85人答对第三题，79人答对第四题，74人答对第五题，答对三道题或三道题以上的人算及格， 那么，在这1...
2020-04-23 21:50:10
1782
原创 从0开始学习spark的学习笔记（2）手把手教你Spark第一个程序WorldCount
Spark零基础入门第二课在 IDEA 中编写第一个Spark程序 WordCount修改 Spark 的日志级别所谓学习是要在快乐中进行的，每天放松一下。在 IDEA 中编写第一个Spark程序 WordCount昨天我们学习了spark的本地搭建和一些基本的概念之后，我们今天开始我们的第一个程序的搭建。（在生产环境中，通常会在 IDEA 中编 制程序，然后打成 jar 包，然后提交到...
2020-04-22 21:58:44
474
1
原创 从0开始学习spark的学习笔记（1）
所谓学习是要在快乐中进行的，这是我用了多年的桌面壁纸现在传给大家。Spark零基础入门第一课1.大数据生态简介：2.Spark 简介：3. spark 本地安装和集群安装：3.1 spark下载选择4. spark的关键概念：MasterWorkerApplicationRDD：弹性式分布式数据集（resilient distributed dataset）jobSparkContextDriv...
2020-04-21 22:25:02
1384
2
原创 程序员必备75道逻辑思维题（附答案）之四
逻辑训练身为一个大数据工程师，平时的算法训练还是不能少的，今天给大家看几道我曾经看到的逻辑思维题觉得很好，想分享一下。【16】有一种体育竞赛共含M个项目，有运动员A，B，C参加，在每一项目中，第一,第二,第三名分别的X，Y，Z分，其中X,Y,Z为正整数且X>Y>Z。最后A得22分，B与C均得9分，B在百米赛中取得第一。求M的值，并问在跳高中谁得第二名。【17】前提：1 有五栋五...
2020-04-16 21:39:03
880
原创 大数据必须了解的hdfs的两大核心和hdfs的元数据合并流程！
点赞关注不迷路，见证自己的成长。hdfs 身为 Hadoop 平台的分布式文件系统，我们今天来看看他的两大核心，和元数据合并流程。文件上传：写数据过程 逻辑切块：在形式、逻辑上的切分，并没有真正的进行切分 只是一个范围的划分 假设文件300M 偏移量的划分 仅仅相当于打了标记 blk01:0-127M blk02:128-255M blk03:2...
2020-04-16 21:07:47
378
原创 看遍全网我总结了redis的面试知识点！
点赞再看，越点越帅 redis全网面试总结开始了1.面试官：redis有哪些数据类型和数据结构：2.面试官：可以聊一下redis的分布式锁吗？3.面试官：keys指令能说一下吗？4.面试官：知道Redis的队列吗？可以说明几个吗？6.面试官：可以说说Redis的持久化机制吗？7.面试官：可以聊一下如果机器断电了会对redis造成什么影响吗？8.面试官：可以说一下你了解的redis的集群吗？9.面...
2020-04-14 16:12:39
317
原创 java设计模式之 单例模式【Singleton Pattern】 详解
首先我们举个例子说明一下什么是单例模式：这个模式是很有意思，而且比较简单，但是我还是要说因为它使用的是如此的广泛，如此的有人缘，单例就是单一、独苗的意思，那什么是独一份呢？你的思维是独一份，除此之外还有什么不能山寨的呢？我们举个比较难复制的对象：皇帝中国的历史上很少出现两个皇帝并存的时期，是有，但不多，那我们就认为皇帝是个单例模式，在这个场景中，有皇帝，有大臣，大臣是天天要上朝参见皇帝的...
2020-03-17 16:02:37
168
原创 程序员必备75道逻辑思维题（附答案）之三
逻辑训练身为一个大数据工程师，平时的算法训练还是不能少的，今天给大家看几道我曾经看到的逻辑思维题觉得很好，想分享一下。【11】有一人有240公斤 水，他想运往干旱地区赚钱。他每次最多携带60公斤，并且每前进一公里须耗水1公斤（均匀耗水）。假设水的价格在出发地为0，以后，与运输路程成正比， （即在10公里处为10元/公斤，在20公里处为20元/公斤…），又假设他必须安全返回，请问，他最多可赚多少...
2020-03-17 15:37:32
1661
原创 java设计模式之 代理模式【Proxy Pattern】 详解
首先我们举个例子说明一下什么是策略模式：什么是代理模式呢？我很忙，忙的没空理你，那你要找我呢就先找我的代理人吧，那代理人总要知道被代理人能做哪些事情不能做哪些事情吧，那就是两个人具备同一个接口，代理人虽然不能干活，但是被代理的人能干活呀。比如西门庆找潘金莲，那潘金莲不好意思答复呀，咋办，找那个王婆做代理，表现在程序上时这样的：先定义一种类型的女人：package com.cbf4lif...
2020-02-24 20:27:06
188
原创 java设计模式之策略模式【Strategy Pattern】详解
首先我们举个例子说明一下什么是策略模式：例如：刘备要到江东娶老婆了，走之前诸葛亮给赵云（伴郎）三个锦囊妙计，说是按天机拆开解决棘手问题，嘿，还别说，真是解决了大问题，搞到后是周瑜陪了夫人又折兵呀，那咱们先看看这个场景是什么样子的。先说这个场景中的要素：三个妙计，一个锦囊，一个赵云，妙计是小亮同志给的，妙计是放置在锦囊里，俗称就是锦囊妙计嘛，那赵云就是一个干活的人，从锦囊中取出妙计，执行，...
2020-02-18 17:01:28
257
原创 程序员必备75道逻辑思维题（附答案）之二
逻辑训练身为一个大数据工程师，平时的算法训练还是不能少的，今天给大家看几道我曾经看到的逻辑思维题觉得很好，想分享一下。【6】一个球、一把长度大约是球的直径2/3长度的直尺.你怎样测出球的半径？方法很多，看看谁的比较巧妙【7】五个大小相同的一元人民币硬币。要求两两相接触，应该怎么摆？【8】猜牌问题S先生、P先生、Q先生他们知道桌子的抽屉里有16张扑克牌：红桃A、Q、4 黑桃J、8、4、2、...
2020-02-18 16:37:47
2942
3
原创 scala基础知识复习！武汉加油！
scala基础知识复习最近都不能去武汉了，只能在家宅着。我们还是来复习一下平时的最基础的scala的知识吧。1.1 那我们开始最基础的hello，world吧package com.mazh.scala.helloworld object HelloWorld { // 作用类似于 java 中的 main 方法 def main(args: Array[String]): ...
2020-02-01 13:54:41
396
原创 Java代码的组内排序（利用java内存的list内的排序分组）
/** * 查询关联指定dataObjectCode的业务对象,code相同的业务对象只出现一次，取创建时间最新那条记录 */ @Override public List<BusinessObjectVo> listVoByDataObjectCode(String dataObjectCode) { List<Business...
2020-01-02 16:24:52
548
2
原创 程序员必备75道逻辑思维题（附答案）之一
逻辑训练身为一个大数据工程师，平时的算法训练还是不能少的，今天给大家看几道我曾经看到的逻辑思维题觉得很好，想分享一下。【1】假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。问题是如何只用这2个水壶从池塘里取得3升的水。【2】周雯的妈妈是豫林水泥厂的化验员。 一天，周雯来到化验室做作业。做完后想出去玩。 "等等，妈妈还要考你一个题目，“她接着说，“你看这6只做化验用的玻...
2019-12-26 10:08:01
10715
3
原创 Jpa规范之hibernate的一对一关联查询操作学习
我们搭建一个maven项目，然后我们加载数据，数据我已经准备好了。-- truncate alldelete from jpa_test.oo_t_idcard where 1=1;delete from jpa_test.oo_t_person where 1=1;-- oo_t_personINSERT INTO jpa_test.oo_t_person (id, created_...
2019-12-25 11:27:04
863
原创 java从包package中获取所有的Class对象
package com.maxnerva.cloud.studio.util;import java.io.File;import java.io.FileFilter;import java.io.IOException;import java.net.JarURLConnection;import java.net.URL;import java.net.URLDecoder;...
2019-12-13 16:56:03
97
原创 驼峰命名法和下划线命名法互转
/*** * 下划线命名转为驼峰命名 * * @param para * 下划线命名的字符串 */ public static String UnderlineToHump(String para){ StringBuilder result=new StringBuilder(); Stri...
2019-12-10 12:27:37
1241
原创 面试题系列之-Javaweb基础
JAVA基础部分前言：身为一个刚刚毕业没多久的职场新人，我想给快毕业的大学生们总结一下面试过程中遇到的各种问题，和平时看到的很多经典题型，想和大家分享一下，毕竟这些都可以作为自己的一中资料，心得可以时常回顾。那么话不多说开始面试：Java基础部分2.1 Ajax你以前用过么?简单介绍一下AJAX = 异步 JavaScript 和 XML。AJAX 是一种用于创建快速动态网页的技术。...
2019-12-05 17:23:51
142
原创 面试题系列之-java基础面试
JAVA基础部分前言：身为一个刚刚毕业没多久的职场新人，我想给快毕业的大学生们总结一下面试过程中遇到的各种问题，和平时看到的很多经典题型，想和大家分享一下，毕竟这些都可以作为自己的一中资料，心得可以时常回顾。那么话不多说开始面试：首先第一个问：Java基础部分1.1 Java中的方法覆盖（Overwrite）和方法重载（Overloading）是什么意思？重载Overload表示同一个...
2019-12-04 17:25:23
138
原创 Spark集群HA环境搭建教程
首先搭建Spark集群，我们用时Spark的原生的安装包，之前的环境还是我前面搭建起来的Hadoop的环境，话不多说，我们开始搭建环境。Spark 集群安装 ：spark官网首页：http://spark.apache.org/downloads.html或者其他镜像站：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/ https://...
2019-11-30 14:52:49
622
mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.zip
2019-09-06
spark-2.2.2-bin-hadoop2.7.tgz
2019-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人