- 博客(224)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1
（1）可能cmake 的版本过低导致，上述有提到，hadoop3.x依赖的cmake版本必须3.1或更高。一般手动安装应该不会有这个问题，yum安装可能会出现。（2）在安装hadoop编译所需的依赖环境时有遗漏，我的就是因为没有执行【环境依赖】中的2、3、4步骤；三、编译时报cmake问题：CMake failed with error code 1。（1）官方源码中编译之前对基础环境及版本的要求（重点是红色部分）（2）安装hadoop编译所需的环境依赖。（3）也有可能是openssl版本问题。
2023-01-16 16:57:22
1700
原创 FlinkSQL中关键字冲突引发的异常:Encountered “result“ at line 1, column 15.Was expecting one of
1、异常信息在用Flink Table &sql 跑一个demo案例时，报了如下异常：Caused by: org.apache.flink.sql.parser.impl.ParseException:Encountered "result" at line 1, column 15.Was expecting one of2、原因及解决原因自己编写的sql语句中存在表名或字段名和Flink Table&sql 中的关键字一样的冲突，这里我的是sql中的表名 "resul
2021-08-26 11:06:57
5950
原创 hbase-default.xml file seems to be for an older version of HBase (2.2.3), this version is 1.3.1
1、问题来源及可能的原因：在使用flink on yarn perJob 跑任务时报了一个hbase 版本冲突问题，可能的原因大概有两个。 1、自己编写的应用程序，maven的pom文件中引入的hbase-client-xxx.jar及相关的依赖版本过低。 2、flink 安装目录下lib下引入的hbase-sql-connector-hbase-xxx.jar 的版本和自己应用程序的hbase版本不一致。2、解决思路把flink 安装目录中lib下...
2021-08-24 09:43:30
882
原创 Spark SQL 创建局部视图和全局视图，以及找不到全局视图的问题解决
Spark SQL 中临时视图有两种，一种局部临时视图，只在当前SparkSession会话中有效；不能跨SparkSession访问。另一种是全局临时视图，作用于某个Spark应用程序的所有SparkSession会话。即全局临时视图是跨会话的。它的生命周期和Spark应用程序的生命周期相同，当应用程序终止时，它将自动删除。 默认保存在系统保留的global_temp数据库下。所以查询全局临时视图时需要在视图名前面加上数据库名。即global_temp.全局视图名。例如：select * fr.
2021-03-15 16:37:32
1493
原创 spark graphx：connectedComponents算子案例演示
一、Spark graphx中 connectedComponents算子用法：返回一个图中所有连通子图的顶点集合，其中每个元素是一个（key,value）形式的二元组，key是各连通子图的顶点，value是该连通子图中数值最小的顶点。二、代码演示：object GraphDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local[*]").setAppName(
2021-03-07 16:09:11
569
原创 Spark2.x整合Hive
一、开发环境spark:2.1.1hive:1.2.2hadoop:2.7.6开发工具：Idea二、在Idea中创建maven项目，pom文件引入以下依赖。<dependencies> <dependency> <groupId>junit</groupId> <artifactId>...
2019-02-21 11:41:25
1599
原创 azkaban的简单案例
一、主界面介绍(1)Projects：创建和显示已存在的工程，所有的flow都属于一个工程。(2)Scheduling：显示定时任务。(3)Executing：显示当前运行的任务。(4)History：显示历史任务。二、创建一个简单工程，包含一个job，以命令的形式打印出"hello world”。1、创建工程2、新建一个hello.job文件，添加如下内容：...
2019-02-15 14:56:51
406
原创 azkaban异常：Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job hello, sleep for 60
一、原因：azkaban默认情况下在开始运行job时会检测系统的内存，其最低要求的内存是3G，若系统内存不足3G，便会出现运行的job一直卡在那不动。二、解决办法：（1）增加系统内存（2）关闭检测内存的选项。具体办法为，在azkaban/azkaban-exec-server/plugins/jobtypes/目录下的commonprivate.properties的文件中添加一下内容...
2019-02-15 13:48:39
2882
原创 azkaban-3.6安装
一、下载源码，并编译1、下载地址：https://github.com/azkaban/azkaban/releases2、编译前所需环境安装 jdk1.8安装 mysql5.7安装 git2.15 参考https://www.cnblogs.com/fuyuanming/p/5804695.html 3、解压编译（1）解压azkaban-3.62.0.tar.gz...
2019-02-14 15:15:19
640
原创 spark两种自定义排序方式
一、目标对象添加隐式转换函数的方式实现自定义排序object MySort{ //为student类添加隐式转换函数 implicit val stuOrdering = new Ordering[student]{ override def compare(x: student, y: student) = { //自定义排序格式为：默认按年龄升序排序，当年龄相同时，...
2018-04-07 16:56:53
1465
原创 Spark Sql之两种方式构建DataFrame
一、通过定义类的方式指定schema来构建DataFrameobject GenerateDFByClass{ def main(args: Array[String]): Unit = { //1.创建配置对象 val conf = new SparkConf() .setAppName("generateDF") //指定应用名 .setMa...
2018-04-07 15:44:20
530
原创 SparkSQL中的UDF
一、UDF（User Defined Function）：spark SQL中用户自定义函数，用法和spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。二、UDF使用分为两步：（1）自定义UDF类，根据业务需要，实现UDF1/2/3....22中的接口之一，其中UDF后跟的数字，比如UDF1、UDF2；表示输入参数的个数，1表示有一个入参...
2018-03-22 22:28:38
2224
1
原创 Spark开窗函数之ROW_NUMBER()
一、row_number函数的用法： （1）Spark 1.5.x版本以后，在Spark SQL和DataFrame中引入了开窗函数,其中比较常用的开窗函数就是row_number 该函数的作用是根据表中字段进行分组，然后根据表中的字段排序；其实就是根据其排序顺序，给组中的每条记录添 加一个序号；且每组的序号都是从1开始，可利用它的这个特性进行分组取top-n...
2018-03-22 20:41:09
19615
原创 Spark集群搭建
一、环境准备（1）集群：hadoop01,hadoop02,hadoop03（2）jdk1.8、spark1.6二、集群搭建（1）解压安装包到linux下的:/usr/localtar -zxvf /home/spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local（2）进入解压目录的conf目录，修改spark-env.sh#指定jdk目录export...
2018-03-22 00:45:27
518
原创 mapreduce练习之数据去重
输入数据： 1997-01-02 phone 1998-10-01 window 1997-01-02 phone 2001-11-23 xbox 2013-08-16 vr 1997-01-02 phone 2001-11-23 xbox 2013-08-16 vr需求：去除其中的重复元素，每个日期对应的商品只保存一份 输出： 1997-01-02 phone 1998-...
2018-03-09 21:43:17
422
原创 NoSql数据库之redis数据库简介及安装
一、Redis数据库简介： Redis是用C语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止Redis支持的键值数据类型如下： 1、字符串类型（String) 2、散列类型（hash） 3、列表类型（List） 4、集合类型（Set） 5、...
2018-03-09 19:37:04
237
原创 mapreduce练习：多文件输出对象MultipleOutputs
一、需求：词频统计，根据单词的首字符的不同输出到不同的结果文件中去。输入文件内容如下：hello worldhello worldhello world123 123 456123 123 456123 123HELLO WORLDHU HA HELLOhello tomjack 123 678腾讯 百度 阿里天猫 腾讯 百度hello jack 456 678二、为了实现...
2018-03-08 09:34:11
654
原创 spark集群的启动流程
总体来说spark集群的启动流程可以分为五步，下面结合下图来具体分析一下spark集群在启动的流程。（1）、创建Master对象，启动了一条Master进程。然后，执行preStart生命周期方法，开启一个定时器定期检测超时的worker节点；如果发现超时的worker节点，则将其移除。（2）、加载slaves文件，启动worker节点。（3）、worker节点启动后，开始向master注册...
2018-03-07 21:38:11
1542
转载 spark集群的任务提交执行流程
本文转自：https://www.linuxidc.com/Linux/2018-02/150886.htm一、Spark on Standalone1.spark集群启动后，Worker向Master注册信息2.spark-submit命令提交程序后，driver和application也会向Master注册信息3.创建SparkContext对象：主要的对象包含DAGScheduler和Tas...
2018-03-07 20:41:30
17792
原创 hadoop总结及hdfs的读写流程
一、hadoop简介：hadoop是一个适合海量数据存储和计算的分布式基础框架，其起源于google三篇论文。其中，hadoop2.x的版本中，概括起来可分为三大核心或四大模块。三大核心是指：hdfs(分布式文件系统)、yarn(任务调度和资源管理）、mapreduce(分布式离线计算框架)；而四大模块除了包括上述的三个核心组件外，外加一个hadoop common组件(其为三大核心组件提供基础工...
2018-02-04 10:40:27
2610
原创 hadoop2.7.x搭建高可用集群
一、环境准备及规划（1）三台虚拟服务器，系统版本为centos6.5（2）分别在三台虚拟机上配置java运行环境，这里jdk的版本是1.8（3）zookeeper集群搭建，搭建过程略；详细过程请参考其他博文。（4）hadoop版本：hadoop2.7.1（5）三台虚拟机的基本信息及每台机器上需要部署的服务：主机名IP部署服务
2018-01-14 17:03:16
442
原创 zookeeper集群查看状态错误：Error contacting service. It is probably not running
今天用三台虚拟服务器搭了个zookeeper集群，在所有配置都设置好后；启动了一台机器上的zookeeper服务后；然后就兴冲冲的想去查看一下他的状态，结果就报了上述错误；而且发现无法登陆到本地的zookeeper服务。后来和同事讨论了一下，差点笑死，搞了这么久的zookeeper，竟然把它的一个很重要的特性给忘了。 zookeeper集群中，只有当有半数以上的机器能正常运行时
2018-01-12 21:14:53
1325
原创 对象反序列化异常原因：java.io.InvalidClassException
对象反序列化异常原因：java.io.InvalidClassException 晚上写了个序列化和反序列化的Demo，序列化时程序正常，不过在反序列化由于修改了被序列化类的源码，在反序列化是就报了上述异常；网上查了一下，自己邮箱了一下终于找到异常的原因。 原来，系统为每个实现序列化接口（serializable）的类都分配了一个可序列化I
2017-12-08 20:26:17
3236
原创 eclipse启动调试时不能从自己设置的断点处开始运行的问题
eclipse启动调试时不能从自己设置的断点处开始运行的问题今天用eclipse调试了一段代码，不过启动调试后发现软件是从一个URLclassLoader.class类里面开始运行，并不是从自己设置的断点开始运行问题解决：只要将断点框中的一个复选框勾选掉就可以了，具体如下图：
2017-09-05 18:57:58
1015
原创 JavaWeb---自定义标签的步骤
在JavaWeb开发中，为了代码的整洁和和统一，常在JSP中用标签来实现显示页面；而不是直接嵌入Java代码。除了内置标签和JSTL标签库外，在开发过程中用户也可以根据需要自定义一些标签。下面总结一下自定义标签的简要步骤：这里以JSP界面里显示一个登录框为例来说明，即自定义一个标签显示登录框。一、新建一个Web项目后，定义一个类，继承SimpleTagSupport类；并覆盖doTag()
2016-10-22 10:02:28
423
原创 动态规划之字符编码
/*动态规划---------字符编码(详解参考极客学院课程) 题目描述:一个只包含字母的消息被加密后变成只含有数字的字符串。加密的方式为： 'A'------------'1' 'B'------------'2' .......... 'Z'------------'26'现在给你一列数字字符串，问有多少中被解密的方法？解题思路:经典的dp问题,现假设
2016-06-27 11:16:05
475
原创 动态规划之字符编码
/*动态规划---------字符编码(详解参考极客学院课程) 题目描述:一个只包含字母的消息被加密后变成只含有数字的字符串。加密的方式为： 'A'------------'1' 'B'------------'2' .......... 'Z'------------'26'现在给你一列数字字符串，问有多少中被解密的方法？解题思路:经典的dp问题,现假设
2016-06-27 11:12:52
589
原创 二分图匹配知识
二部图及其最大匹配：二部图：对于无向图G（V，E），若能将其顶点分成V1，V2两个不相交的非空子集，使得G中的任何一条边的两个端点一个属于V1，另一个属于V2，那么该图就称为二部图。性质：一个无向图G（V，E）是二部图当且仅当G中不存在长度为奇数的回路。匹配：在图论中，一个「匹配」（matching）是一个边的集合，其中任意两条边都没有公共顶点。例如，图 3、图 4 中红色的边就是图
2016-04-28 21:06:20
4064
原创 东北大学重现赛-So Easy!!!（表达式求值）
Problem Descriptionyizhen has no girlfriend due to his stupid brain that he even can’t solve a simple arithmetic roblem. Can you help him? If you solve it and tell him the result, then he can find h
2016-04-28 19:55:39
834
原创 NYOJ42(dfs or 并查集)
一笔画问题时间限制：3000 ms | 内存限制：65535 KB难度：4描述zyc从小就比较喜欢玩一些小游戏，其中就包括画一笔画，他想请你帮他写一个程序，判断一个图是否能够用一笔画下来。规定，所有的边都只能画一次，不能重复画。 输入第一行只有一个正整数N(N每组测试数据的第一行有两个正整数P,Q(P随后的Q行，每行有两个正整数A
2016-04-26 19:01:45
417
原创 NYOJ-353
3D dungeon时间限制：1000 ms | 内存限制：65535 KB难度：2描述You are trapped in a 3D dungeon and need to find the quickest way out! The dungeon is composed of unit cubes which may or may not be filled with r
2016-04-26 18:13:57
394
原创 hdu1372(bfs)
Knight MovesTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 9660 Accepted Submission(s): 5671Problem DescriptionA friend of y
2016-04-26 16:47:53
325
原创 北京林业大学“计蒜客”杯程序设计竞赛 网络赛 A. 喝酒
王大钉喜欢喝酒，存货都喝完了，他就去楼下买，正好楼下的商店为了响应学校的 ACM 校赛推出了优惠活动：凡是在本店买的啤酒，喝完以后 33 个空瓶可以换一瓶，44 个瓶盖也可以换一瓶酒。王大钉觉得太合算了，决定多买，现在他手里的钱可以买 NN 瓶酒，但是他算不出来，通过活动兑换他一共可以喝到多少瓶？他很难过，你能帮他计算一下他能喝的酒的数量吗？输入格式：输入第一行
2016-04-26 15:32:38
545
原创 G. 易彰彪的一张表（kMP）
易彰彪的一张表时间限制(C/C++):1000MS/3000MS 运行内存限制:65536KByte总提交:42 测试通过:14描述易彰彪最近有点奇怪，一向爱打游戏他最近居然盯着一张全是大小写字母的表在看，好像在找什么东西。他说，这是他女神给他的一张表，他需要回答女神的问题--在忽略大小写（即大写字母和小写字母视为同一字母）的情况下，是否能在
2016-04-26 09:10:40
704
原创 北京林业大学“计蒜客”杯程序设计竞赛 网络赛-B大钉骑马走江湖
时间：1000ms 内存：32768k江湖是什么，对于在象棋界厮杀的大钉来说，江湖就是一个矩阵，他的目标，就是在江湖之中骑着马，从他的位置出发，走到终点。当然，大钉的马也遵从中国象棋中的“马走日”的规则，而且在矩阵中，也会有一些障碍物，马不能跳到障碍物上；如果大钉的马面前有障碍物，即被“别马腿”，那么他将不能跳向有障碍物的左前和右前这两个方向。请问最少需要多少步
2016-04-26 09:02:37
638
原创 hdu2063(二分图的最大匹配)
过山车Time Limit: 1000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 16974 Accepted Submission(s): 7406Problem DescriptionRPG girls今天和大家一起去游乐场玩，终于可
2016-04-24 10:59:59
294
原创 hdu5463(基础)
Clarke and minecraftTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/Others)Total Submission(s): 864 Accepted Submission(s): 430Problem DescriptionClarke
2016-04-22 17:25:37
460
原创 用vector实现邻接表的建图
一、vector 简介及基本操作：1、vector是c++中stl库中封装好的容器，常用定义不定长数组来构建无向图或有向图.2、基本操作：(1)头文件#include.(2)创建vector对象，vector vec;(3)尾部插入数字：vec.push_back(a);(4)使用下标访问元素，cout(5)使用迭代器访问元素.vector::ite
2016-04-18 19:42:57
7170
1
原创 NYOJ20(dfs)
吝啬的国度时间限制：1000 ms | 内存限制：65535 KB难度：3描述在一个吝啬的国度里有N个城市，这N个城市间只有N-1条路把这个N个城市连接起来。现在，Tom在第S号城市，他有张该国地图，他想知道如果自己要去参观第T号城市，必须经过的前一个城市是几号城市（假设你不走重复的路）。输入第一行输入一个整数M表示测试数据共有M(1每组测试数据
2016-04-18 13:08:31
391
原创 zzulioj1869
1869: Mathematics and GeometryTime Limit: 1 Sec Memory Limit: 128 MBSubmit: 249 Solved: 71SubmitStatusWeb BoardDescription给你一个n，求方程 2x + y + 2z = n 解的个数，其中x, y, z, n 都是非负整数Inpu
2016-04-16 18:28:37
333
svn_site-1.8.11-1.rar
2017-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人