钓的不是鱼-CSDN博客

原创 Could not write class xxx because it exceeds JVM code size limits...too large

记录工作中遇到的一个问题:Could not write class xxx because it exceeds JVM code size limits...too large问题描述开发环境报错原因解决方法参考文献问题描述自己写了一个很普通的sparksql代码，把所有的代码都写到了main方法中，但由于业务需求，建了一个特别大的宽表。。。balabala，总之就是main方法很多行写完后使用maven打包，报错Could not write class xxx because it ex

2020-10-29 00:41:11 643

转载 scala常见笔试题(囊括了scala的精髓)

scala最近几年很火，主要是因为其在大数据领域的应用。下面这些面试题，基本上是scala函数式编程的精髓。Q1 var，val和def三个关键字之间的区别？答：var是变量声明关键字，类似于Java中的变量，变量值可以更改，但是变量类型不能更改。 val常量声明关键字。 def 关键字用于创建方法（注意方法和函数的区别）还有一个lazy val（惰性val）声明，意思...

2019-03-19 09:51:58 4617 2

转载 C++经典面试题（最全，面中率最高）

1.new、delete、malloc、free关系 delete会调用对象的析构函数,和new对应free只会释放内存，new调用构造函数。malloc与free是C++/C语言的标准库函数，new/delete是C++的运算符。它们都可用于申请动态内存和释放内存。对于非内部数据类型的对象而言，光用maloc/free无法满足动态对象的要求。对象在创建的同时要自动执行构造函数，对象在消亡...

2019-03-08 13:44:30 334

转载轻松搞定面试中的二叉树题目

树是一种比较重要的数据结构，尤其是二叉树。二叉树是一种特殊的树，在二叉树中每个节点最多有两个子节点，一般称为左子节点和右子节点（或左孩子和右孩子），并且二叉树的子树有左右之分，其次序不能任意颠倒。二叉树是递归定义的，因此，与二叉树有关的题目基本都可以用递归思想解决，当然有些题目非递归解法也应该掌握，如非递归遍历节点等等。本文努力对二叉树相关题目做一个较全的整理总结，希望对找工作的同学有所...

2019-03-07 09:59:57 133

原创 zookeeper的简单例子带你认识zk的API

下面先写个简单的例子，把一个字符串写入到zookeeper当中。第一步，先引入pom依赖如下：<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> ...

2019-02-27 19:05:26 182

原创 spark算子--action篇

spark算子分为两大种，一种是transformation算子，另一种是action算子。transformation又叫转换算子，它从一个RDD到另一个RDD是延迟执行的，不会马上触发作业的提交，只有在后续遇到某个action算子时才执行；action算子会触发SparkContext提交Job，并将数据输出spark系统。今天举例讲解一下action算子。1) count就是...

2019-02-27 18:04:38 2222

原创 spark算子--transformation篇

spark算子分为两大种，一种是transformation算子，另一种是action算子。其实细分的话transformation算子又可以细分为value型和k-v型，个人感觉没必要，也就不细化了，省得把大家搞晕。transformation又叫转换算子，它从一个RDD到另一个RDD是延迟执行的，不会马上触发作业的提交，只有在后续遇到某个action算子时才执...

2019-02-22 11:43:17 623

原创二、storm任务提交原理

storm任务提交原理

2017-09-28 13:16:13 282

原创 linux找不到eth0，只有lo回环口的解决方法

linux找不到eth0，只有lo回环口的解决方法

2017-09-28 13:04:45 13318

原创一、storm基础概念

1.1什么是stormstorm是分布式实时计算框架。类似Hadoop MapReduce，用户按照规定的编程规范实现一个任务，然后将这个任务递交给Storm框架，Storm将这个任务跑起来，并且按7 * 24小时运行起来。只计算，不存储。开发语言：Clojure原语：Google的MapReduce：为我们提供了map,reduce原语；Twitter的Storm...

2017-08-29 17:45:17 326

转载 Hive数据倾斜

map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完，此称之为数据倾斜。1.万能膏药：hive.groupby.skewindata=tru

2017-03-02 18:38:18 327

原创 storm集成kafka报错org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for ...

写了一个storm集成kfaka的程序，kafkaSpout消费的数据作为storm的数据源。运行报错如下：java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brok

2017-02-05 22:22:44 23803 3

转载 storm集成kafka

本文主要介绍如何在Storm编程实现与Kafka的集成　　一、实现模型　　　数据流程：　　　　1、Kafka Producter生成topic1主题的消息　　　　　2、Storm中有个Topology，包含了KafkaSpout、SenqueceBolt、KafkaBolt三个组件。其中KafkaSpout订阅了topic1主题消息，然后发送　　　　　　给S

2017-02-05 19:51:21 450

原创 storm流式计算之集群安装

storm环境搭建

2016-10-17 22:16:20 373

原创在hdfs上搭建hbase环境

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zke

2016-10-01 19:17:15 2191

原创 hadoop在windows平台下的本地模式配置

在运行mapreduce程序时，如果频繁在集群上操作，或者写完代码打成jar包丢到集群上运行，势必影响开发效率，太慢。不便于代码调试，如果可以在windows端使用eclipse开发调试mapreduce程序便会方便很多。本文讲介绍如何在window平台开启本地模式进行开发。第一步，首先下载一个hadoop源码包。我使用的是hadoop2.6.1, 编译完成后bin里面会有.cmd .exe

2016-09-27 14:29:38 2492

原创在写反射的时候myeclipse报错The type javax.servlet.ServletContext cannot be resolved. It is indirectly referen

public class MyReflect {public String className = null;public Class personClass= null;@Beforepublic void init() throws ClassNotFoundException{className = "cn.ustb.reflect.Person";personC

2016-09-20 17:29:16 5081 1

原创 ubuntu下安装编辑神器sublime-text 3

第一步，打开命令窗口，添加sublime text 3的仓库：输入命令sudo add-apt-repository ppa:webupd8team/sublime-text-3 回车，出现很多信息。但是我们看看图片最后字知道，这地方在等待我们确认是否添加这个仓库，按enter键继续，按crtl+c取消。

2016-08-08 16:03:45 276

原创在ubuntu安装vim时失败，报错缺少包依赖

The following packages have unmet dependencies: vim : Depends: vim-common (= 2:7.3.429-2ubuntu2) but 2:7.3.429-2ubuntu2.1 is to be installed解决办法：使用sudo apt-get remove vim-common命令卸载vim-com

2016-08-08 08:40:08 1580 5

原创在ubuntu中ipython命令import requests提示错误

python中导入模块：import requests提示错误，错误信息描述如下：>>>import requestsTraceback (most recent last): File "", line 1, in ImportError:No module named requests意思就是说没有名为requests的模块，解决方案是在命令行下使用 pip install r

2016-08-08 00:06:09 852 1

原创 struts2出现Unable to load configuration. - bean - jar:file:/...struts-default.xml问题

新建了一个struts2.1.6项目，代码什么的都没有添加呢，就一个Hello world , web.xml与struts.xml配置正常，发布项目到tomcat7.0中，当启动tomcat时报错：Unable to load configuration. - bean - jar:file:/D:..........lib/struts2-core-2.1.6.jar!/struts-d

2016-08-06 18:24:26 4076 1

windows本地模式hadoop-2.6.1第3部分（共3部分）

windows下本地模式hadoop-2.6.1。方便在本地调试hadoop mr代码，无需启动集群。使用方法如下： 1.将三个压缩包解压，这三个压缩包是一个大文件夹切分成的 2.配置HADOOP_HOME环境变量， 3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压（Haozip）生成，请使用2345好压来解压。 2345好压下载地址:http://haozip.2345.com/ 分卷文件共有以下3个： hadoop-2.6.1.haozip01.zip hadoop-2.6.1.haozip02.zip hadoop-2.6.1.haozip03.zip ---------------------------------- 如有任何疑问可留言咨询我

2016-10-14