- 博客(44)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark中RDD、DataFrame、DataSet
RDD弹性分布式数据集DataFrame，更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema,。同时，与hive类似，DataFrame也支持嵌套数据类型（struct，array，map）,从API易用性来看，DataFrameAPI提供的时一套高层的关系操作，比函数式的RDDAPI更加友好，门槛更低。DataSet是DataFrame API的一个扩展，是Spark最新的数据抽象用户友好的API峰哥，机油类型安全检查，也有查询优化特...
2020-12-27 13:33:33
166
原创 JUC学习
JUC的学习123合理的创建标题，有助于目录的生成4插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。2我们对
2020-09-13 21:13:49
347
原创 leetcode 实现strStr()
实现strStr()函数。给定一个haystack 字符串和一个 needle 字符串，在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在，则返回 -1。示例 1:输入: haystack = "hello", needle = "ll"输出: 2示例 2:输入: haystack = "aaaaa", needl...
2019-03-19 18:44:13
159
原创 Linux eval的用法
功能说明：告知shell取出eval的参数，重新运算求出参数的内容。语 法：eval [参数]补充说明：eval可读取一连串的参数，然后再依参数本身的特性来执行。参 数：参数不限数目，彼此之间用分号分开。1.执行命令行之前扫描它两次，再次运算求出参数的内容。代码如下:[root@localhost blue]# a="ls |more"[root@localhost bl...
2019-03-19 15:55:41
205
原创 leetcode 验证回文字符串
给定一个字符串，验证它是否是回文串，只考虑字母和数字字符，可以忽略字母的大小写。说明：本题中，我们将空字符串定义为有效的回文串。示例 1:输入: "A man, a plan, a canal: Panama"输出: true示例 2:输入: "race a car"输出: false解题思路：首先，因为只考虑字母和数字，并忽略字母大小，所以要把字符串...
2019-03-18 18:39:08
651
原创 leetcode 求众数
给定一个大小为 n 的数组，找到其中的众数。众数是指在数组中出现次数大于⌊ n/2 ⌋的元素。你可以假设数组是非空的，并且给定的数组总是存在众数。示例1:输入: [3,2,3]输出: 3示例2:输入: [2,2,1,1,1,2,2]输出: 2解题思路一：见到该题的第一反应是先遍历一遍，看每个元素出现的次数，利用hashMap存<元素,次数>...
2019-03-18 17:35:11
129
原创 leetcode 有效的字母异位词
给定两个字符串 s 和 t ，编写一个函数来判断 t 是否是 s 的一个字母异位词。示例1:输入: s = "anagram", t = "nagaram"输出: true示例 2:输入: s = "rat", t = "car"输出: false说明:你可以假设字符串只包含小写字母。进阶:如果输入字符串包含 unicode 字符怎么办？你能否调整你的解法来...
2019-03-15 15:22:56
121
原创 ssm框架（springmvc+mybatis+mysql）开发环境搭建配置及实例开发
一、ssm原理解析首先springmvc的基础架构，需要单独详细解释。可以参考下面这篇文章，也可以在B站上找找黑马的培训视频，讲解的很详细。https://www.cnblogs.com/xiaoxi/p/6164383.html需求背景：要设计一个项目，当用户登陆首页的时候，提示让你输入用户名和密码，输入正确，则跳转页面，显示你的序号和姓名。输入错误，则提示密码错误，重新输入。...
2019-03-14 20:04:59
719
原创 leetcode 有效的数独
判断一个9x9 的数独是否有效。只需要根据以下规则，验证已经填入的数字是否有效即可。数字1-9在每一行只能出现一次。 数字1-9在每一列只能出现一次。 数字1-9在每一个以粗实线分隔的3x3宫内只能出现一次。上图是一个部分填充的有效的数独。数独部分空格内已填入了数字，空白格用'.'表示。示例1:输入:[ ["5","3",".",".","...
2019-03-11 20:39:23
280
原创 Kafka 利用Java Api和kafka Api开发生产者Producer和消费者类Consumer
一、多线程开发生产者类package com.ldy.bootv2.demo.jms;import java.util.Date;import java.util.Properties;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import org.apac...
2019-03-07 15:50:07
500
1
原创 Kafka Mac下的安装配置 及命令行模式
Mac下安装kafka最为简单，直接利用brew进行安装，他会安装好最新的kafka及其所需要的zookeeper,并且的返回的日志中告诉你，应该如何启动kafka和zookeeper一. 打开Terminal命令窗口，直接安装：brew install kafka返回安装日志：==> Installing dependencies for kafka: zookeepe...
2019-03-07 15:44:30
997
原创 redis常用命令
一 、命令行工具redis客户端登录redis-cli -c -h host -p port -a password示例：redis-cli -c -h 192.168.0.1 -p 7001 -a 12345详细利用redis-cli --help查看后续各个参数的使用方法如：1. -r表示一个命令可以充分多次2. -i每隔几秒(如果想用ms，如10ms...
2019-03-04 14:24:48
460
原创 spark scala broadcast variable广播变量和Accumulator累加器
一、简介通常情况下，当1个function传递到1个spark operation（例如：map、reduce）时，这个function是在远程的集群node上被执行的。这些变量会被复制到每一台机器，在远程机器上不会更新这些变量，然后又传送回driver program。跨tasks共享读写变量的支持，通常是低效率的。然而，spark提供了2种通用的共享变量模式：广播变量和累加器。1.1 ...
2019-02-25 12:06:18
537
转载 spark scala 中下划线_的各种用法
本文只是列出一些常见的用法，可能不是全部将方法转换为函数请参见《Scala中Method方法和Function函数的区别》作为函数的参数一个匿名的函数传递给一个方法或者函数的时候，scala会尽量推断出参数类型。例如一个完整的匿名函数作为参数可以写为scala> def compute(f: (Double)=>Double) = f(3)compute: (f...
2019-02-22 16:11:20
2880
转载 spark scala中的sealed关键字
sealed关键字在scala的集合和模式匹配上面应用较多，本篇文章说明sealed的使用场景以及为什么使用sealed。A sealed class cannot have any new subclasses added except the ones in the same file.这是sealed关键字比较官方的解释，意思是只在同一个文件中的添加其子类，除此以外不能有任何的子类（区别...
2019-02-22 15:50:42
344
原创 spark scala中object、class和trait的区别
一、object1. 在Scala声明private变量时，Scala编译器会自动生成get,set,在Scala中变量是需要初始化的，如果不声明private默认是public的2. scala 中没有 static 关键字，在scala中没有静态方法和静态字段，所以在scala中可以用object来实现这些功能，直接用对象名调用的方法都是采用这种实现方式，例如Array.toStrin...
2019-02-22 15:15:27
1985
原创 spark scala中的var 和val、def区别对比
Val 和Var 的区别一、最直观的就是：val定义的变量不能被再次赋值，而var定义的可以，见下图scala> val s=10s: Int = 10scala> s=11<console>:27: error: reassignment to val s=11 ^scala> var a=10a: In...
2019-02-22 11:02:59
6789
原创 spark scala中的override关键字
Override表示重写字段或者方法override是覆盖的意思，在很多语言中都有（或为：overwrite），在scala中，override是非常常见的，在类继承方面，它和java不一样，不是可写可不写的了，而是必须写的。在java1.5中引入了override注解，但不强制使用。而scala如果不写而覆盖了对应的属性或者方法的话，编译器就会报错了。在scala里，类继承有两点限制...
2019-02-22 10:06:08
1479
原创 spark spark-submit执行的结果映射到hive表中
1. spark执行的输出结果如何保存通常把hive表对应的路径当做spark执行的输出目录：/user/hive/warehouse/${hive_db_name}.db/$hive_tb_name一般日志的映射hive表要建成带分区的格式/user/hive/warehouse/${hive_db_name}.db/$hive_tb_name/dt=${dt}/hour=${dt}...
2019-02-21 19:52:06
970
转载 spark scala中的Option、Some、None
一、避免null的使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？二、Scala的Option的类型Option是针对Map等集合操作的为了让所有东西都...
2019-02-21 14:46:37
3832
原创 spark case关键字详解
spark中case关键字，很有用，很强大，case语法与java中的switch语法类似，但比switch更强大。一、case做模式匹配1.正则匹配val Pattern="(a.*)".r// val v1="spark"; val r=v1 match { case Pattern(v1)=> "start" case "1"=&...
2019-02-21 11:26:00
5587
原创 spark 第一个简单实例wordcount
背景：因为是在已经搭好的Maven项目上进行开发，环境是集群环境，不需要再配置，只是讲一下写时遇到的坑。1. 因为是采用idea开发，直接在maven项目上新建一个文件夹SparkWordCount和文件SparkWordCount.scala，利用maven打包后，spark-submit提交任务后，一直报错：19/02/20 19:34:23 ERROR yarn.Applica...
2019-02-21 10:05:44
1253
原创 spark 初学scala中的main方法及其参数
一：类和对象1. scala不用class作为类的关键字，而是使用object, object是scala中的静态类，不是对象;2.object作为scala中的一个关键字，相当于java中的public static class这样一个修饰符，意思是object中成员是静态的 所以例子中的main方法是静态的，不需要实例就可以直接被虚拟机调用，也是JVM平台的程序入口必备条件;3.“...
2019-02-19 10:57:39
6211
1
原创 spark-submit spark应用程序提交和运行
用于提交spark jarUsage: spark-submit [option] <app jar | python file> [app option]Options:--master Master_URL spark://host:port, mesos://host:port,yarn,or local --deploy-mode DEPLOY_MODE...
2019-02-19 10:13:13
1373
原创 leetcode 13. 罗马数字转整数
给定一个罗马数字，将其转换成整数。输入确保在 1 到 3999 的范围内。示例 1:输入: "III"输出: 3示例 2:输入: "IV"输出: 4示例 3:输入: "IX"输出: 9示例 4:输入: "LVIII"输出: 58解释: L = 50, V= 5, III = 3.示例 5:输入: "MCMXCIV"输出: 1994解...
2019-02-14 11:48:31
101
原创 leetcode 计数质数
统计所有小于非负整数 n 的质数的数量。示例:输入: 10输出: 4解释: 小于 10 的质数一共有 4 个, 它们是 2, 3, 5, 7 。 解题思路：开始暴力计算法，发现超时，查资料才知道有一个埃拉托色尼 算法大意是：要得到自然数n以内的全部质数，必须把不大于根号n的所有质数的倍数剔除，剩下的就是质数。所以：class Solution { ...
2019-01-23 23:10:53
127
原创 leetcode Fizz Buzz
写一个程序，输出从 1 到 n 数字的字符串表示。1. 如果 n 是3的倍数，输出“Fizz”；2. 如果 n 是5的倍数，输出“Buzz”；3.如果 n 同时是3和5的倍数，输出 “FizzBuzz”。示例：n = 15,返回:[ "1", "2", "Fizz", "4", "Buzz", "Fizz",
2019-01-23 18:07:47
173
原创 leetcode 打家劫舍
你是一个专业的小偷，计划偷窃沿街的房屋。每间房内都藏有一定的现金，影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统，如果两间相邻的房屋在同一晚上被小偷闯入，系统会自动报警。给定一个代表每个房屋存放金额的非负整数数组，计算你在不触动警报装置的情况下，能够偷窃到的最高金额。示例 1:输入: [1,2,3,1]输出: 4解释: 偷窃 1 号房屋 (金额 = 1) ，然后偷窃...
2019-01-21 23:06:16
57
原创 leetcode 最大子序和
给定一个整数数组 nums ，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。示例:输入: [-2,1,-3,4,-1,2,1,-5,4],输出: 6解释: 连续子数组 [4,-1,2,1] 的和最大，为 6。进阶:如果你已经实现复杂度为 O(n) 的解法，尝试使用更为精妙的分治法求解。 解题思路：分治法每次计算一个局部最优，拿局部最...
2019-01-21 12:00:22
98
原创 leetcode 买卖股票的最佳时机
给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例 1:输入: [7,1,5,3,6,4]输出: 5解释: 在第 2 天（股票价格 = 1）的时候买入，在第 5 天（股票价格 = 6）的时候卖出，最大利润 = 6-1 = 5 。 ...
2019-01-21 11:09:54
91
原创 leetcode 第一个错误的版本
你是产品经理，目前正在带领一个团队开发新的产品。不幸的是，你的产品的最新版本没有通过质量检测。由于每个版本都是基于之前的版本开发的，所以错误的版本之后的所有版本都是错的。假设你有 n 个版本 [1, 2, ..., n]，你想找出导致之后所有版本出错的第一个错误的版本。你可以通过调用 bool isBadVersion(version) 接口来判断版本号 version 是否在单元测试中出...
2019-01-18 18:27:12
242
原创 leetcode 爬楼梯
假设你正在爬楼梯。需要 n 阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？注意：给定 n 是一个正整数。示例 1：输入： 2输出： 2解释： 有两种方法可以爬到楼顶。1. 1 阶 + 1 阶2. 2 阶示例 2：输入： 3输出： 3解释： 有三种方法可以爬到楼顶。1. 1 阶 + 1 阶 + 1 阶2. ...
2019-01-18 18:24:36
86
原创 leetcode 合并两个有序数组
给定两个有序整数数组 nums1 和 nums2，将 nums2 合并到 nums1 中，使得 num1 成为一个有序数组。说明:初始化 nums1 和 nums2 的元素数量分别为 m 和 n。 你可以假设 nums1 有足够的空间（空间大小大于或等于 m + n）来保存 nums2 中的元素。示例:输入:nums1 = [1,2,3,0,0,0], m = 3nums2 ...
2019-01-18 11:10:34
173
原创 leetcode 二叉树的层次遍历
给定一个二叉树，返回其按层次遍历的节点值。 （即逐层地，从左到右访问所有节点）。例如:给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回其层次遍历结果：[ [3], [9,20], [15,7]]解题思路：层次遍历，必须借助队列，采用先进先出的规则，把每层的...
2019-01-18 10:07:15
131
原创 leetcode 对称二叉树
给定一个二叉树，检查它是否是镜像对称的。例如，二叉树 [1,2,2,3,4,4,3] 是对称的。 1 / \ 2 2 / \ / \3 4 4 3但是下面这个 [1,2,2,null,3,null,3] 则不是镜像对称的: 1 / \ 2 2 \ \ 3 3说明:如果你可以运用递归和迭代两种方法解...
2019-01-16 18:39:06
98
原创 leetcode 验证二叉搜索树
给定一个二叉树，判断其是否是一个有效的二叉搜索树。假设一个二叉搜索树具有如下特征：节点的左子树只包含小于当前节点的数。 节点的右子树只包含大于当前节点的数。 所有左子树和右子树自身必须也是二叉搜索树。示例 1:输入: 2 / \ 1 3输出: true示例 2:输入: 5 / \ 1 4 / \ 3 ...
2019-01-16 16:37:30
80
原创 leetcode 二叉树的最大深度
给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明: 叶子节点是指没有子节点的节点。示例：给定二叉树 [3,9,20,null,null,15,7]， 3 / \ 9 20 / \ 15 7返回它的最大深度 3 。 解题思路：利用递归1. 如果是空节点，深度为0，如果只有根节点，那深...
2019-01-16 14:33:32
184
原创 leetcode 环形链表
给定一个链表，判断链表中是否有环。为了表示给定链表中的环，我们使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 开始）。 如果 pos 是 -1，则在该链表中没有环。 示例 1：输入：head = [3,2,0,-4], pos = 1输出：true解释：链表中有一个环，其尾部连接到第二个节点。示例 2：输入：head = [1,2], pos =...
2019-01-16 11:44:09
224
原创 leetcode 回文链表
请判断一个链表是否为回文链表。示例 1:输入: 1->2输出: false示例 2:输入: 1->2->2->1输出: true进阶：你能否用 O(n) 时间复杂度和 O(1) 空间复杂度解决此题？ 解题思路：1. 先把链表一分为二。2. 把后半段进行反转链表（此处调用了写的回文链表方法）3. 将反转后的链表和前半部分依次...
2019-01-16 11:09:07
102
原创 leetcode 合并两个有序链表
将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例：输入：1->2->4, 1->3->4输出：1->1->2->3->4->4 解题思路：因为两个链表是有序的，利用归并排序的方法进行拼接要注意：1.先要把头指针保存下来，否则走到后面找不到头指针了2. 归并排序，...
2019-01-15 18:10:36
121
Hbase技术原理详解及案例分析
2019-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人