- 博客(40)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 IDEA下使用maven配置Spark开发环境
使用IDEA配置Spark开发环境使用到的软件安装包: https://pan.baidu.com/s/1fOKsPYBmOUhHupT50_6yqQ 提取码: d4731、安装Java点击下一步，点击下一步：2、配置环境变量环境变量设置：右键->我的电脑，选择属性点击高级系统设置点击环境变量：点击新建：变量名输入：JAVA_HOME然后点击浏览目录，选择C盘下的C:\Program Files (x86)\Java\jdk1.8.0_301文件夹，点击打开即可3、配置Had
2021-09-09 16:09:04
3178
2
原创 操作系统面试题
一、一个程序从开始到结束的完整过程：预处理：条件编译，头文件包含，宏替换的处理，生成.i文件。编译：将预处理后的文件转换成汇编语言，生成.s文件汇编：汇编变为目标代码(机器代码)生成.o的文件链接：连接目标代码,生成可执行程序二、进程和线程的关系一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程。线程是操作系统可识别的最小执行和调度单位资源分配给进程，同一进程的所有线程共享该进程的所有资源。同一进程中的多个线程共享代码段(代码和常量)，数据段(全局变量和静态变量)，扩展段
2020-11-30 23:23:03
283
原创 Spark面试题(持续更新)
spark简介Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎 Spark Core中提供了Spark最基础与最核心的功能 Spark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。 Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。 Spark主要功能主要是用于数据计算，所以其实Spark一直被认为是Hado
2020-11-29 19:42:24
285
原创 Hbase面试题(持续更新)
1、每天百亿数据存入HBase，如何保证数据的存储正确和在规定的时间里全部录入完毕，不残留数据1）百亿数据：证明数据量非常大2）存入HBase：证明是跟HBase的写入数据有关3）保证数据的正确：要设计正确的数据结构保证正确性4）在规定时间内完成：对存入速度是有要求的那么针对以上的四个问题我们来一一分析1）数据量百亿条，什么概念呢？假设一整天60x60x24 = 86400秒都在写入数据，那么每秒的写入条数高达100万条，HBase当然是支持不了每秒百万条数据的，所以这百亿条数据可能不是通过实时
2020-11-28 20:37:30
872
原创 Mysql面试题(持续更新)
1、事务的四大特性原子性：不可分割的操作单元，事务中所有操作，要么全部成功；要么撤回到执行事务之前的状态一致性：如果在执行事务之前数据库是一致的，那么在执行事务之后数据库也还是一致的；隔离性：事务操作之间彼此独立和透明互不影响。事务独立运行。这通常使用锁来实现。一个事务处理后的结果，影响了其他事务，那么其他事务会撤回。事务的100%隔离，需要牺牲速度。‘持久性：事务一旦提交，其结果就是永久的。即便发生系统故障，也能恢复。2、事务隔离级别未提交读(Read Uncommitted)：允许脏读
2020-11-28 19:29:34
121
原创 插入排序复杂度分析及Python代码
时间复杂度在最坏情况下，数组完全逆序，插入第2个元素时要考察前1个元素，插入第3个元素时，要考虑前2个元素，……，插入第N个元素，要考虑前 N - 1 个元素。因此，最坏情况下的比较次数是 1 + 2 + 3 + … + (N - 1)，等差数列求和，结果为 N^2 / 2，所以最坏情况下的复杂度为 O(N^2)。最好情况下，数组已经是有序的，每插入一个元素，只需要考查前一个元素，因此最好情况下，插入排序的时间复杂度为O(N)空间复杂度直接插入排序算法的时间复杂度为O(n^{2}),整个算法..
2020-11-27 22:45:39
751
原创 Flume面试题(持续更新)
1、Flume有哪些组件，具体有什么作用1）source：用于采集数据，Source 是产生数据流的地方，同时 Source 会将产生的数据流传输到 Channel，这个有点类似于 Java IO 部分的 Channel。2）channel：用于桥接 Sources 和 Sinks，类似于一个队列。3）sink：从 Channel 收集数据，将数据写到目标源(可以是下一个 Source，也可以是 HDFS或者 HBase)。2、什么是flumeflume最初是分布式、高可用的日志收集系统。
2020-11-27 22:07:51
797
原创 Hive面试题(持续更新)
1、Hive的架构2、Hive的特点数据存储位置Hive的数据存储在hdfs上，元数据可以存储在指定的地方比如mysql，PostgreSQL等。数据更新Hive处理数据时一般不对数据进行改写，因为它不支持行级别的增删操作，如果要进行更新数据，一般可以通过分区或者表直接覆盖。执行效率Hive 执行延迟较高。虽然在小数据量时传统数据库延迟更低，但是当数据规模大到超过传统数据库的处理能力的时候，Hive 的并行计算显然能体现出优势。数据规模Hive 支持大规模的数据计算，通常是PB级别的数
2020-11-27 22:05:53
202
原创 kafka常见面试题(持续更新)
1、什么是kafkaKafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2、kafka中的zookeeper起到什么作用，可以不用zookeeper么zookeeper 是一个分布式的协调组件，早期版本的kafka用zk做meta信息存储，consumer的消费状态，group的管理以及 offset的值。考虑到zk本身的一些因素以及整个架构较大概率存在单点问
2020-11-26 23:39:39
443
原创 Python版快速排序
快速排序# 内部排序def partition(arr,left,right): p = arr[left] while left < right: while left < right and arr[right]>p: right -= 1 arr[left],arr[right] = arr[right],arr[left] while left < right and arr[left
2020-11-26 21:18:04
81
原创 Rdis支持数据类型
Rdis支持的五种数据类型String(字符串)hash(哈希)list（列表）Set （集合）zset （有序集合）一、String（字符串）string 是 redis 最基本的类型，你可以理解成与 Memcached 一模一样的类型，一个 key 对应一个 value。string 类型是二进制安全的。意思是 redis 的 string 可以包含任何数据。比如jpg图片或者序列化的对象。string 类型是 Redis 最基本的数据类型，string 类型的值最大能存储 51
2020-11-25 11:41:43
98
原创 python中json.load()、json.loads()、json.dump()、json.dumps()的区别
python中json.load()、json.loads()、json.dump()、json.dumps()的区别区别：json.load()从文件中读取json字符串json.loads()将json字符串转换为字典类型json.dumps()将python中的字典类型转换为字符串类型json.dump()将json格式字符串写到文件中1.json.load()with open('text.json','r',encoding='utf-8') as f :pr
2020-11-24 22:17:42
126
原创 Spark作业提交的方式
Spark作业提交的方式在Spark中，支持4种运行模式：Local：开发时使用Standalone： 是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署Spark环境YARN：建议大家在生产上使用该模式，统一使用YARN进行整个集群作业(MR、Spark)的资源调度Mesos不管使用什么模式，Spark应用程序的代码是一模一样的，只需要在提交的时候通过–master参数来指定我们的运行模式即可1、Local模式提交Spark Applicatio
2020-11-22 22:21:14
277
原创 XGBoost采用GridSearch调参
import xgboost as xgbfrom sklearn.model_selection import train_test_splitfrom sklearn.datasets import load_breast_cancerfrom sklearn.model_selection import GridSearchCVcancer = load_breast_canc...
2020-03-18 15:48:32
1235
原创 hexo init时出现 Failed to install dependencies. Please run 'npm install' manually!
第一次安装hexo 时，出现：错误: 找不到或无法加载主类 install原因: java.lang.ClassNotFoundException: installWARN Failed to install dependencies. Please run 'npm install' manually!解决方法：先运行：nmp install再运行：hexo s出现...
2020-03-08 16:43:24
2697
1
转载 Java提高之泛型
泛型，即“参数化类型”。一提到参数，最熟悉的就是定义方法时有形参，然后调用此方法时传递实参。那么参数化类型怎么理解呢？顾名思义，就是将类型由原来的具体的类型参数化，类似于方法中的变量参数，此时类型也定义成参数形式（可以称之为类型形参），然后在使用/调用时传入具体的类型（类型实参）。泛型的本质是为了参数化类型（在不创建新的类型的情况下，通过泛型指定的不同类型来控制形参具体限制的类型）。也就是说在泛型使用过程中，操作的数据类型被指定为一个参数，这种参数类型可以用在类、接口和方法中，分别被称为泛型
2019-04-01 14:44:04
103
原创 约瑟夫环的求解及C语言及Java链表实现
循环链表的概念链表的使用，还可以把链表的两头连接，形成了一个环状链表，称为循环链表。和它名字的表意一样，只需要将表中最后一个结点的指针指向头结点，就形成了一个环。 图1 循环链表循环链表和动态链表相比，唯一的不同就是循环链表首尾相连，其他都完全一样。实际应用：约瑟夫环问题约瑟夫环问题，是一个经典的循环链...
2019-03-29 10:56:20
188
原创 Java中多态的总结
什么是多态？概念：同一操作作用于不同的对象，可以有不同的解释，产生不同的执行结果，这就是多态性。简单的说：就是用基类的引用指向子类的对象。举个例子：电脑上的F1按键，当不打开任何文件点击F!显示的是系统的帮助文档，当打开word文档点击F1显示的是word文档的帮助，同一个按钮但是能实现不同的处理方式。为什么要用多态？我们知道，封装可以隐藏实现细节，使得代码模块化...
2019-03-29 09:50:47
136
原创 15. 三数之和
一、题目给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，c ，使得 a + b + c = 0 ？找出所有满足条件且不重复的三元组。注意：答案中不可以包含重复的三元组。例如, 给定数组 nums = [-1, 0, 1, 2, -1, -4]，满足要求的三元组集合为：[ [-1, 0, 1], [-1, -1, 2]]二、思路...
2018-08-29 10:52:45
107
原创 12. 整数转罗马数字
一、题目罗马数字包含以下七种字符： I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两...
2018-08-21 11:24:19
95
原创 11. 盛最多水的容器
一、题目给定 n 个非负整数 a1，a2，...，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。说明：你不能倾斜容器，且 n 的值至少为 2。图中垂直线代表输入数组 [1,8,6,2,5,4,8,3,7]。在此情况下，容器...
2018-08-20 19:37:20
112
原创 8. 字符串转整数 (atoi)
一、题目实现 atoi，将字符串转为整数。在找到第一个非空字符之前，需要移除掉字符串中的空格字符。如果第一个非空字符是正号或负号，选取该符号，并将其与后面尽可能多的连续的数字组合起来，这部分字符即为整数的值。如果第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。字符串可以在形成整数的字符后面包括多余的字符，这些字符可以被忽略，它们对于函数没有影响。当字符串中的...
2018-08-19 19:30:41
120
原创 6. Z字形变换
一、题目将字符串 "PAYPALISHIRING" 以Z字形排列成给定的行数：P A H NA P L S I I GY I R之后从左往右，逐行读取字符："PAHNAPLSIIGYIR"实现一个将字符串进行指定行数变换的函数:string convert(string s, int numRows);示例 1:输入: s = "PAYP...
2018-08-19 11:19:36
155
原创 88. 合并两个有序数组
一、题目给定两个有序整数数组 nums1 和 nums2，将 nums2 合并到 nums1 中，使得 num1 成为一个有序数组。说明:初始化 nums1 和 nums2 的元素数量分别为 m 和 n。 你可以假设 nums1 有足够的空间（空间大小大于或等于 m + n）来保存 nums2 中的元素。示例:输入:nums1 = [1,2,3,0,0,0], m = 3...
2018-08-18 22:31:08
92
原创 83. 删除排序链表中的重复元素
一、题目给定一个排序链表，删除所有重复的元素，使得每个元素只出现一次。示例 1:输入: 1->1->2输出: 1->2示例 2:输入: 1->1->2->3->3输出: 1->2->3二、思路为了方便只用了一个节点遍历，基本思想是当前节点 node 和其下一节点 node.next 的值比较，如果值相等，直...
2018-08-18 14:51:53
197
原创 70、爬楼梯
一、题目假设你正在爬楼梯。需要 n 阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？注意：给定 n 是一个正整数。示例 1：输入： 2输出： 2解释： 有两种方法可以爬到楼顶。1. 1 阶 + 1 阶2. 2 阶示例 2：输入： 3输出： 3解释： 有三种方法可以爬到楼顶。1. 1 阶 + 1 阶 + 1 ...
2018-08-17 11:39:50
291
原创 69.x的平方根
一、题目实现 int sqrt(int x) 函数。计算并返回 x 的平方根，其中 x 是非负整数。由于返回类型是整数，结果只保留整数的部分，小数部分将被舍去。示例 1:输入: 4输出: 2示例 2:输入: 8输出: 2说明: 8 的平方根是 2.82842..., 由于返回类型是整数，小数部分将被舍去。二、思路采用二分查找的思想，每次把...
2018-08-16 18:58:45
1760
原创 67.二进制求和
一、题目给定两个二进制字符串，返回他们的和（用二进制表示）。输入为非空字符串且只包含数字 1 和 0。示例 1:输入: a = "11", b = "1"输出: "100"示例 2:输入: a = "1010", b = "1011"输出: "10101"二、思路本题和求两个链表的和有点类似，需要考虑进位，考虑最后一项的进位比如, 0+0 =
2018-08-16 10:39:35
568
原创 66. 加一
一、题目给定一个非负整数组成的非空数组，在该数的基础上加一，返回一个新的数组。最高位数字存放在数组的首位， 数组中每个元素只存储一个数字。你可以假设除了整数 0 之外，这个整数不会以零开头。示例 1:输入: [1,2,3]输出: [1,2,4]解释: 输入数组表示数字 123。示例 2:输入: [4,3,2,1]输出: [4,3,2,2]解释: 输入数组表...
2018-08-14 17:13:27
124
原创 58. 最后一个单词的长度
一、题目给定一个仅包含大小写字母和空格 ' ' 的字符串，返回其最后一个单词的长度。如果不存在最后一个单词，请返回 0 。说明：一个单词是指由字母组成，但不包含任何空格的字符串。示例:输入: "Hello World"输出: 5二、思路从后向前找单词，找到第一个不是空格的位置，然后开始向前统计不是空格的字符的个数，直到遇到空格为止。如果一开始末尾就空格，或者连续...
2018-08-11 19:20:03
184
原创 53.求最大子序和
一、题目给定一个整数数组 nums ，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。示例:输入: [-2,1,-3,4,-1,2,1,-5,4],输出: 6解释: 连续子数组 [4,-1,2,1] 的和最大，为 6。进阶:如果你已经实现复杂度为 O(n) 的解法，尝试使用更为精妙的分治法求解。 二、思路A.先考虑有正负数的情况 ...
2018-08-11 10:10:32
201
转载 学习斯坦福机器学习笔记—第五课
课程概要：1.生成学习算法（Generative learning algorithm）2.高斯判别分析（GDA，Gaussian Discriminant Analysis） 3.GDA与logistic模型的联系4.朴素贝叶斯（Naive Bayes） 5.拉普拉斯平滑（Laplace smoothing）一、生成学习算法两种学习算法的定义1 判别学习算法：直接学习p(y|x)，其中x是某类样...
2018-05-18 09:57:25
251
转载 学习斯坦福机器学习—第四课
1、最速下降法和牛顿法1.1 最速下降法计算步骤如下：（1）给定初始点x(1)∈R(n)x(1)∈R(n)，允许误差ϵϵ>0，置k=1k=1；（2）计算搜索方向d(k)=−▽f(x(k))d(k)=−▽f(x(k))；（3）若||d(k)||≤ϵ||d(k)||≤ϵ，则停止计算；否则，从x(k)x(k)沿d(k)d(k)进行一维搜索，求λkλk，使得f(x(k)+λkd(k))=min(f(...
2018-05-17 18:06:00
380
转载 机器学习算法之：指数族分布与广义线性模型
参考NG的lecture note1 part3 本文将首先简单介绍指数族分布，然后介绍一下广义线性模型（generalized linear model, GLM), 最后解释了为什么逻辑回归（logistic regression, LR) 是广义线性模型的一种。指数族分布指数族分布 (The exponential family distribution),区别于指数分布（exponenti...
2018-05-17 18:04:24
307
转载 机器学习第五章——Logistic回归算法
1：简单概念描述假设现在有一些数据点，我们用一条直线对这些点进行拟合(该线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合参数，使用的是最优化算法。这就是简单的线性回归问题，可以通过最小二乘法求解其参数，最小二乘法和最大似然估计见：http://blog.csdn.net/lu597203933/article/details/45032607。 但是当有一类情况如判断邮...
2018-05-17 16:03:39
327
转载 学习斯坦福机器学习笔记—第三课
Logistic Regression上一次的课程主要解决回归分析问题，这一次的课程主要为分类问题，分类问题也可看做将回归问题的连续性离散化。1.1 Classification先来谈谈二分类问题。课程中先给出了几个例子。 邮件是垃圾邮件还是非垃圾邮件；网上交易是的欺骗性（Y or N）；肿瘤是恶性的还是良性的。 对于这些问题，我们可以通过输出值y ϵϵ {0, 1} 来表示。 通过上次的课程，我...
2018-05-17 09:08:12
469
转载 学习斯坦福机器学习笔记—第二讲
本讲内容：1.linear regression(线性回归）2.gradient descent（梯度下降）3.normal equations（正规方程组） 首先引入一些符号：(1) 训练样本的数量(2) 输入变量/ 输入特征(3) 输出变量/ 目标变量(4) 第i个训练样本(5) 训练集(6) 特征的数量 监督学习流程图首先找到一个训练集合（m个样本），提供给学习算法，得到一...
2018-05-16 16:54:07
116
原创 学习斯坦福机器学习笔记—第一课
1.无监督、半监督和监督学习区别以及例子：1.1 无监督学习：无监督式学习(Unsupervised Learning )是人工智能网络的一种算法(algorithm)，其目的是去对原始资料进行分类，以便了解资料内部结构。有别于监督式学习网络，无监督式学习网络在学习时并不知道其分类结果是否正确，亦即没有受到监督式增强(告诉它何种学习是正确的)。其特点是仅对此种网络提供输入范例，而它会自动从这些范例...
2018-05-16 09:40:09
248
转载 EPOLL详解
epoll为什么这么快，epoll的实现原理:假设你在大学中读书,要等待一个朋友来访,而这个朋友只知道你在A号楼,但是不知道你具体住在哪里,于是你们约好了在A号楼门口见面.如果你使用的阻塞IO模型来处理这个问题,那么你就只能一直守候在A号楼门口等待朋友的到来,在这段时间里你不能做别的事情,不难知道,这种方式的效率是低下的.进一步解释select和epoll模型的差异.select版大妈做的是如下的
2018-01-17 21:59:18
736
SecureCRT绿色版
2018-08-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人