NUllBoss-CSDN博客

原创计算FTP所有目录文件大小

计算FTP所有目录文件大小import org.apache.commons.net.ftp.FTPClient;import org.apache.commons.net.ftp.FTPFile;import org.apache.commons.net.ftp.FTPReply;import java.io.IOEx...

2019-12-16 16:31:31 1446

原创 spark整体概述

Spark整体概述1.1整体概念Apache Spark是一个开源的通用集群计算系统，他提供了High-level编程API，支持Scala，Java和Python三种编程语言。Spark内核使用scala编写，通过基于Scalade 函数式编程特性，在不同的计算层面进行抽象。1.2 RDD抽象RDD(Resilient Distributer Datasets),弹性分布...

2019-10-14 16:46:48 192

转载自：http://www.tuicool.com/articles/7VNfyif王联辉，曾在腾讯，Intel 等公司从事大数据相关的工作。2013 年 - 2016 年先后负责腾讯 Yarn 集群和 Spark 平台的运营与研发。曾负责 Intel Hadoop 发行版的 Hive 及 HBase 版本研发。参与过百度用户行为数据仓库的建设和开发，以及淘宝数据魔方和淘宝指数的数据开发工作...

2019-10-14 15:42:21 222

原创 Spark 任务生成以及提交总结

对spark任务提交源码进行初步阅读梳理下流程其中stage的划分： Spark调度阶段的划分是由DAGScheduler实现的，DAGScheduler会从最后一个Rdd出发，使用广度优先遍历整个依赖树，从而划分调度阶段，依据是否为宽依赖，当某些Rdd操作是Shuffle时，以该Shuffle操作为界限划分前后两个调度阶段。...

2019-10-08 16:09:58 256 1

原创数据库导入到hive中出现Can't open file: './mxw20_g107/log_action.frm' (errno: 24 - Too many open files)

解决办法修改数据库中open_files_limit的大小使用 mysqlvariables like 'open_files_limit'; 查看数据库文件限制的参数修改为65536；如果mysql 5.6.29 open files limit 设置不生效vim /etc/systemd/system/mysql.service 加入 LimitNOFILE=65...

2018-08-29 11:40:22 575

转载配置HUE 遇到Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found解决方法：yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

2018-08-24 15:43:35 637

原创关于hue在centos7下编译错误的问题

在编译hue过程中出现了如下的问题OpenSSL/crypto/crl.c:6:23: error: static declaration of ‘X509_REVOKED_dup’ follows non-static declaration static X509_REVOKED * X509_REVOKED_dup(X509_REVOKED *orig) { ...

2018-08-23 15:55:13 3034 2

原创关于org.mongodb的casbah依赖在使用Maven打包时报错

因为在Casbah的模块中，没有jar文件，有一个主pom文件，可以通过SBT或maven构建工具进行安装所以我们需要明确指定类型如;需要明确指定pom类型：<dependency> <groupId> org.mongodb </ groupId> <artifactId> casbah_2.10 </ artifactId> <...

2018-06-27 18:29:18 682

原创 Spring框架无法正常解析component-scan

改原因是因为自己疏忽导致xml头文件漏写了 http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd"导致的，因此在编写过程中，一定要多加注意小心谨慎...

2018-06-24 22:07:28 1319

原创关于spark连接elasticSearch集群失败问题Connection error (check network and/or proxy settings)- all nodes faile

在用spark 向elasticSearch集群写入数据时爆出 Connection error (check network and/or proxy settings)- all nodes faile 的错误这个错误是未能连接到elasticSearch集群的一个错误，要排除这个错误1.检查elasticSearch集群是否可用使用JPS查看2 .查看代码中的端口是否与elast...

2018-06-20 12:21:48 4652

原创 SSM框架整合与使用

一新建一个web项目并引入相关jar包二建一个mybatisGenerator.xml 和一个test类用逆向工程生成代码 @Test public void test() throws Exception{ List<String> warnings = new ArrayList<String>(); boolean overwrite = tru...

2018-06-15 11:36:15 182

原创 java常见集合类区别

hashmap: 线程不安全，key可以为null，不可多线程，效率高hashtable：线程安全，key不可以为null，内部的方法基本都经过synchronized修饰，效率低下ConCurrentHashMap：，在hashtable的基础上进行分割，锁住分割的一部分而不是整个map，线程安全，key不能为null，效率相对hashtable较高。hashmap可用Collections.s...

2018-06-14 19:41:55 598

转载 volatile关键字

原文出处：https://www.jianshu.com/p/7798161d7472作者：Ruheng链接：https://www.jianshu.com/p/7798161d7472來源：简书一、Java内存模型想要理解volatile为什么能确保可见性，就要先理解Java中的内存模型是什么样的。Java内存模型规定了所有的变量都存储在主内存中。每条线程中还有自己的工作内存，线程的工作内存中保...

2018-04-17 20:20:25 104

翻译判定对象是否存活

一.引用计数算法（淘汰）给对象中添加一个引用计数器，每当有一个地方引用它时，计数值加1，引用失效时，计数值减1，任何时刻计数器为0时对象就不可能再被使用。无法解决对象之间相互循环引用问题。二.可达性分析当一个对象到GC ROOTS 没有任何引用链相连接，则证明此对象不可用。可作为GCroots的对象包括以下几种： 1.虚拟机栈中引用对象。 2.方...

2018-04-17 20:14:39 147

a1031891160的博客