- 博客(35)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 NameNode启动过程详细剖析
NameNode启动过程详细剖析NameNode中几个关键的数据结构1. FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpoint.period参数定义），namenode会重新将内存中对整个HDFS的目录树
2021-06-24 15:48:29
801
1
原创 CombineInputFormat在hive和MapReduce的应用和原理
CombineInputFormat在hive和MapReduce的应用和原理CombineInputFormat应用Hive中可以设置MapReduce设置CombineInputFormat的原理**1.FileInputFormat的基本处理逻辑**2.文本类型TextInputFormat的使用3.CombineInputFormat原理与用法4.CombineInputFormat应用CombineFileInputFormat作用：将多个小文件打包成一个InputSplit提供给一个Map处理
2021-03-22 16:55:09
1685
原创 论jar包的重要性
论jar包的重要性作为Java的小白，在jar包依赖的踩坑之路第一坑 jar包冲突背景：kafka avro 初始化报错，找不到某类原因：hadoop-common中的vcore包和kafka的包冲突解决移除hadoop-common中的vcore包依赖第二坑 jar包引用和客户端冲突背景Java初始化客户端，使用filesystem.get与HDFS服务端连接时，报以下错误：+ java -cp HDFSPathMonitor-1.0-SNAPSHOT-jar-with-depen
2021-03-09 15:44:33
188
原创 kafka schema创建出错问题解答
背景将获取的数据通过kafka写入hive中，其流程为1.申请kafka的topic和schema2.创建producer，将数据写入kafka3.通过kafka-connector-HDFS自动消费kafka的数据到hdfs4.并在hive中自动创建表在步骤2中创建schema对象时，报如下错误：IllegalAccessError: tried to access method org.apache.avro.specific.SpecificData.<init>() fro
2021-03-02 11:25:30
615
原创 Hadoop实战-11-hive阅读笔记
Hadoop实战11章阅读笔记导言hive简介hive体系结构hive的数据存储hive的元数据存储hive安装、配置error logs错误日志hive表可存储的数据类型hive DDL创建表删除表修改表、分区语句创建、删除视图创建/删除函数展示描述语句数据操作导言hive是Hadoop的一个重要子项目，封装MapReduce编程技术，提供hive QL的类SQL的编程接口，方便快捷的访问和使用MapReduce。hive简介hive是一个基于Hadoop文件系统上的数据仓库结构，提供的功能：数据
2020-06-30 15:29:37
247
原创 leetcode 笔记day1
day1 – LeetCode1:两数之和（难度：简单）题目描述：给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1]...
2020-04-06 17:11:09
768
转载 汉诺塔问题
**起源汉诺塔（又称河内塔）问题是源于印度一个古老传说的益智玩具。大梵天创造世界的时候做了三根金刚石柱子，在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆放在另一根柱子上。并且规定，在小圆盘上不能放大圆盘，在三根柱子之间一次只能移动一个圆盘。抽象为数学问题如下图所示，从左到右有A、B、C三根柱子，其中A柱子上面有从小叠到大的n个圆盘，现要求...
2020-03-27 10:01:55
721
转载 贪心算法-加油站
一辆汽车加满油后可行驶n公里。旅途中有若干个加油站。设计一个有效算法，指出应在哪些加油站停靠加油，使沿途加油次数最少。对于给定的n(n <= 5000)和k(k <= 1000)个加油站位置，编程计算最少加油次数。并证明算法能产生一个最优解。要求：输入：第一行有2个正整数n和k，表示汽车加满油后可行驶n公里，且旅途中有k个加油站。接下来的1 行中，有k+1 个整数，表示第k个加油站...
2020-03-27 09:40:42
625
转载 gray码
今天看面经的时候遇到了gray码问题，不懂，就自行百度了一下，看到一个博客对格雷码进行了讲解，十分适合我这种第一次见gray码的，简单易懂，为了方便之后的复盘，我记录了下来。首先，是格雷码的定义，如下根据上述的思想，代码如下：#include<vector>#include<string>using namespace std;vector<strin...
2020-03-25 17:40:48
1972
转载 矩阵走法
————————————————版权声明：本文为CSDN博主「向前走别回头」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/weixin_39778570/article/details/80700123题目：在NxM的方格中，以左上角格子为起点，右下角格子为终点，每次只能向下走或者向右走，请问一共...
2020-03-25 10:49:06
744
原创 字符串求和（大数加法）
题目描述输入两个字符串a和b，字符串内容为二进制数字，求两个字符串相加的结果，加法计算方法以二进制方式计算，并返回对应的字符串结果。要求程序尽可能的高效。示例如下：/**@param a = “1101”@param b = “1100”@return “11001”*/public String add(String a, String b){ }输入描述:...
2020-03-21 17:04:29
3296
原创 数值的整数次方
题目：给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。保证base和exponent不同时为0思路：考虑以下几种情况：base=0时，0的任意次方都为0base=1时，1的任意次方都为1exponent=0时，任何数的0次方都为1exponent<0时, baseexponent =1 / baseexponen...
2020-03-21 16:31:05
183
原创 进制转换（大数除法+栈）
题目描述将一个长度最多为30位数字的十进制非负整数转换为二进制数输出。 输入描述:多组数据，每行为一个长度不超过30位的十进制非负整数。 （注意是10进制数字的个数可能有30个，而非30bits的整数）输出描述:每行输出对应的二进制数。示例1输入0138输出01111000思路：输入数据的存储：C++中没有能够直接存储30位10进制的数据结构，所以对...
2020-03-20 17:05:13
279
原创 刷题day1---digital root
题目：A digital root is the recursive sum of all the digits in a number. Given n, take the sum of the digits of n. If that value has more than one digit, continue reducing in this way until a single-dig...
2020-03-17 10:41:01
345
原创 刷题day1---valid braces
题目：All input strings will be nonempty, and will only consist of parentheses, brackets and curly braces: ()[]{}.What is considered Valid?A string of braces is considered valid if all braces are matc...
2020-03-17 10:15:30
287
原创 centos7下java编辑器Intellij idea安装
centos7下java编辑器Intellij idea安装你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。安装依赖包yum -y install gcc gcc-c++ gdb官网下载idea在centos的火狐浏览器地址栏中输入https://www....
2020-03-11 19:39:10
676
3
原创 LeetCode 121. 买卖股票的最佳时机(东方财富02)
买卖股票的最佳时机来自 作者：LeetCode 链接：https://leetcode-cn.com/problems/two-sum/solution/mai-mai-gu-piao-de-zui-jia-shi-ji-by-leetcode/题目描述：给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算...
2019-08-07 21:53:55
214
原创 LeetCode 97题（字符串）
LeetCode：97 交叉字符串（东方财富0807—1）题目描述：给定三个字符串 s1, s2, s3, 验证 s3 是否是由 s1 和 s2 交错组成的。示例 1:输入: s1 = “aabcc”, s2 = “dbbca”, s3 = “aadbbcbcac”输出: true示例 2:输入: s1 = “aabcc”, s2 = “dbbca”, s3 = “aadbbb...
2019-08-07 21:17:02
336
原创 64剑指offer题目记录
目录01 最大公约数01 最大公约数小O学习了辗转相除法以后，就开始实践这个算法在求解最大公约数。小S给小O处理一道不同寻常的求解最大公约数：求解a和b的最大公约数，但是a和b的范围特别大。输入：第一行数字a，第二行数字b1<=a<=10105,1<=b<=10181<=a<=10^{10^5},1&am...
2019-08-07 16:34:30
315
原创 #CodeLog 03 第一个只出现一次的字符
题目：在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1（需要区分大小写）.分析：其实主要还是hash，利用每个字母的ASCII码作hash来作为数组的index。首先，需要定义一个长度为58的数组来存储每个字母出现的次数。58的理由如下：因为区分大小写，大写A-Z对应的ASCII码为65-90...
2019-07-05 21:44:18
147
原创 #Code Log 02丑数
题目把只包含质因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含质因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。分析通俗易懂的解释：首先从丑数的定义我们知道，一个丑数的因子只有2,3,5，那么丑数p = 2 ^ x * 3 ^ y * 5 ^ z，换句话说一个丑数一定由另一个丑数乘以2或者乘以3或者乘以5得到，那么我...
2019-07-05 19:40:17
118
原创 #Code Log 01把数组排成最小的数
题目：输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接的所有数字中最小的一个。例如：输入数组{3,32,321}，则打印出这三个数字中能排成的最小数字为321323.解题思路：对vector容器中的数据进行排序。按照 将a和b转为string后，若a+b< b+a，a排在前面 的规则排序。如 2,21 因为212<221，所以排序为21,2tips：函数to...
2019-07-05 19:17:26
106
原创 stack的应用----一个简单的整数计算器
stack的应用----一个简单的整数计算器本例来自课本《c++语言程序设计（第4版）》第9章第9-9的案例本例实现一个简单的整数计算器，能够进行加、减、乘、除和乘方运算。使用时算式采用后缀输入法，每个操作数、操作符之间都以空白符分隔。例如，若要计算“3+5”则输入“3 5 +”。乘方运算符用“^”表示。每次运算在前次结果基础上进行，若要将前次运算结果清除，可输入“c”。当输入“q”时程序结束...
2019-07-03 13:27:02
667
原创 github使用 ----续篇
GitHub：本地项目如何与GitHub互连？这是我第一次正式提笔写教程，挺兴奋的，希望是个好的开始，O(∩_∩)O哈哈哈~Github的使用包含两部分，一个是在本地电脑安装客户端，创建本地仓库；另一个是在官网上申请账号，创建仓库，然后两个相互连接，实现本地仓库与远程仓库的同步更新。下面，开始我们的Git之旅吧~~安装Git我的电脑安装的系统的Windows，所以这里就以Windows为例...
2019-05-25 18:56:31
141
原创 Ubuntu terminal
有的Ubuntu 14.04没有自带右键打开终端功能，用起来非常不方便。今天偶尔想起来，网上搜了一下，方法如下：命令行下$ sudo apt-get install nautilus-open-terminal注销系统重新登录，即可。...
2019-05-25 18:27:25
536
原创 01 配置OTExtension运行环境
第一次尝试使用茫然传输，在github上找到了相关代码，代码详见OTExtension,本文环境配置借鉴博客&雨后&的01 ABY框架的Ubuntu依赖包安装 感谢精彩的记录过程，让我少走不少弯路呀2333333333.配置OTExtension的运行环境1、查看Ubuntu系统的版本号2、更新系统的apt包列表3、安装Git3、安装gcc4、安装g++5、安装cma...
2019-05-22 19:05:19
952
7
转载 Boost库配置----Linux篇
本文转自云端之上博客Boost库分为两个部分来使用，一是直接使用对应的头文件，二是需要编译安装相应的库才可以使用。下面是boost在Linux上安装和使用过程（整个boost库全部安装）：（1）在www.boost.org下载相应的代码包，我下载的是boost_1_64_0.tar.bz2（2）进入自己的工作目录执行解压等操作命令：bzip2 -d boost_1_64_0.tar.bz...
2019-05-22 14:05:12
215
原创 C++ 5大内存分区
在C++中，内存分成5个区，他们分别是堆、栈、自由存储区、全局/静态存储区和常量存储区。分区描述栈就是那些由编译器在需要的时候分配，在不需要的时候自动清楚的变量的存储区。里面的变量通常是局部变量、函数参数等堆就是那些由new分配的内存块，他们的释放编译器不去管，由我们的应用程序去控制，一般一个new就要对应一个delete。如果程序员没有释放掉，那么在程序结束后，操...
2019-04-30 17:15:03
322
转载 查找链表中倒数第k个结点
题目：输入一个单向链表，输出该链表中倒数第k个结点。链表的倒数第0个结点为链表的尾指针。链表结点定义如下：struct ListNode{ int m_nKey; ListNode* m_pNext;}; 分析：为了得到倒数第k个结点，很自然的想法是先走到链表的尾端，再从尾端回溯k步。可是输入的是单向链表，只有从前往后的指针而没有从后往前的指针。因此...
2019-04-25 16:44:22
1010
原创 调整数组顺序是奇数位于偶数前面
题目：输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。思路：创建两个数组，一个存储奇数，一个存储偶数，最后奇数在前，偶数在后，将两个数组合并。代码：void reOrderArray(vector<int> &array) { // ...
2019-04-25 16:26:21
97
原创 跳台阶，变态跳台阶，斐波那契及矩形覆盖 同类型剑指offer64题
在做剑指offer64题的时候，发现了四道题都是和斐波那契数列相关的题目，就在这里进行了总结：对于找规律的题目，都可以用递归来做。第一题：斐波那契数列斐波那契数列1 1 2 3 5 8 13 21 34 55…第一项和第2项都是1，从第三项开始，每一项等于第n-1项和n-2项的和，可以使用递归来实现。规律： f(n)=f(n-1)+f(n-2);class Solution {pub...
2019-04-24 20:15:42
132
原创 二进制中1的个数------剑指offer64题
题目：输入一个整数，输出该数二进制表示中1的个数，其中负数用补码表示。解析根据题目描述，第一反应是将数进行二进制分解然后统计一下1的个数，但是后来发现负数用补码表示。对于补码：正数：原码=补码=反码负数：原码， 反码=原码除符号位之外各位取反，补码=反码+1（如果加1之后有进位，要一直向前进位，包含符号位）所以打消了二进制分解后统计1的个数的想法。后来看别人的笔记发现了另一种方法：...
2019-04-24 20:02:32
133
原创 c++多行输入（逗号分隔），多组数组合并
c++多行输入（逗号分隔），多组数组合并题目：现在有多组整数数组，需要将他们合并成一个新数组。合并规则，从每个数组里按顺序取出固定长度的内容合并到新的数组中，取完的内容会删除掉，如果该行不足固定长度或者已经为空，则直接取出剩余部分的内容放到新的数组中，继续下一行。如样例1，获得长度3，先遍历第一行，获得2，5，6；再遍历第二行，获得1，7，4；再循环回到第一行，获得7，9，5；再遍历第二行获得...
2019-04-10 11:23:35
5104
1
原创 github安装、创建远程仓库及ssh设置
github安装、创建远程仓库及ssh设置@TOCGitHub，Git安装、创建远程仓库及ssh设置GitHub是分布式版本控制系统，对代码的每一个历史版本都有记录，很适合代码的版本控制，是程序员的不可或缺的工具，此外有助于多人协同工作。创建GitHub账户1.首先登陆其官网： 官网链接点击右上角的Sign Up，已有账号请点击Sign in并跳过第二步2.填写注册所需的个人信息...
2019-03-24 21:23:28
593
TA创建的收藏夹 TA关注的收藏夹
TA关注的人